Les modèles d'embedding multimodal convertissent le texte, les images et les vidéos en embeddings au sein d'un espace sémantique partagé. Cette fonctionnalité permet la recherche intermodale, la classification de contenu et la recherche par similarité.
Fonctionnalités principales
- Recherche intermodale : Effectuez des recherches sémantiques entre différents types de contenu, par exemple du texte vers l'image, de la vidéo vers l'image ou d'une image à une autre.
- Similarité sémantique : Mesurez la proximité sémantique entre divers types de contenus dans un espace d'embedding unifié.
- Classification et clustering de contenu : Regroupez, étiquetez et organisez le contenu en clusters selon les embeddings sémantiques.
Fonctionnalité clé : Les embeddings de toutes les modalités (texte, images et vidéo) partagent le même espace sémantique, ce qui permet la comparaison et la mise en correspondance directes entre modalités via des méthodes telles que la similarité cosinus. Consultez Embedding textuel et multimodal pour plus de détails sur la sélection et l'utilisation des modèles.
Types d'embeddings
Le modèle d'embedding multimodal prend en charge deux méthodes de génération d'embeddings :
-
Embedding indépendant multimodal : Génère un embedding distinct pour chaque entrée (texte, image, vidéo ou plusieurs images) spécifiée dans
contents. Par exemple, une requête contenant une chaîne de texte et une image renvoie deux embeddings indépendants. Cette méthode convient parfaitement à la comparaison d'éléments individuels, comme lors de recherches image-image ou texte-image. -
Embedding fusionné multimodal : Fusionne toutes les entrées de
contentsen un seul embedding afin d'obtenir une représentation sémantique intermodale unifiée. Ce mode est adapté aux scénarios nécessitant une compréhension globale du contenu multimodal, par exemple la fusion d'une image produit avec sa description textuelle pour faciliter la recherche. Pourqwen3-vl-embedding, activez la fusion en définissantenable_fusion=true. L'embedding fusionné prend en charge les combinaisons suivantes :- Fusion de texte et d'image
- Fusion de texte et de vidéo
- Fusion de plusieurs images avec du texte (en passant plusieurs entrées
image) - Fusion combinant images, vidéo et texte
Pour une présentation des modèles, des conseils de sélection et des instructions d'utilisation, consultez Embedding textuel et multimodal.tongyi-embedding-vision-plusettongyi-embedding-vision-flashprennent en charge uniquement les embeddings indépendants.
Aperçu des modèles
- Singapore
- China (Beijing)
Modèle | Dimensions de l'embedding | Limite de longueur du texte | Limite de taille d'image | Limite de taille vidéo | Prix (pour 1 M de tokens) | Quota gratuit(Remarque) |
|---|---|---|---|---|---|---|
tongyi-embedding-vision-plus | 1152 (par défaut), 1024, 512, 256, 128, 64 | 1 024 tokens | Jusqu'à 3 Mo par image. Prend en charge jusqu'à 8 images. | Jusqu'à 10 Mo par fichier vidéo | Image/Vidéo : 0,09 $ Texte : 0,09 $ | 1 million de tokens Ce quota gratuit est valable pendant 90 jours à compter de la date d'activation de Model Studio, de la publication du modèle ou de l'approbation de la demande, selon la date la plus tardive. |
tongyi-embedding-vision-flash | 768 (par défaut), 512, 256, 128, 64 | Image/Vidéo : 0,03 $ Texte : 0,09 $ |
Formats d'entrée et limites d'utilisation
| Modèle multimodal fusionné | ||||
|---|---|---|---|---|
| Modèle | Texte | Image | Vidéo | Limite de requête |
| qwen3-vl-embedding | Prend en charge 33 langues principales, dont le chinois, l'anglais, le japonais, le coréen, le français et l'allemand.
Toutes les langues prises en charge Chinois, japonais, coréen, indonésien, vietnamien, thaï, anglais, français, allemand, russe, portugais, espagnol, italien, suédois, danois, tchèque, norvégien, néerlandais, finnois, turc, polonais, swahili, roumain, serbe, grec, kazakh, ouzbek, cebuano, arabe, ourdou, persan, hindi/devanagari et hébreu. | JPEG, PNG, WEBP, BMP, TIFF, ICO, DIB, ICNS et SGI (URL ou Base64 pris en charge) | MP4, AVI et MOV (URL uniquement) | Le nombre total d'éléments de contenu dans une requête unique ne peut pas dépasser 20. Le nombre d'images ne peut pas excéder 5. Les images, le texte et les vidéos partagent cette limite. |
| Modèle multimodal indépendant | ||||
| Modèle | Texte | Image | Vidéo | Limite de requête |
| tongyi-embedding-vision-plus | Chinois/Anglais | JPG, PNG et BMP (URL ou Base64 pris en charge) | MP4, MPEG, AVI, MOV, MPG, WEBM, FLV et MKV (URL uniquement) | Aucune limite sur le nombre d'éléments de contenu. Le nombre total de tokens d'entrée ne doit pas dépasser la limite de tokens. |
| tongyi-embedding-vision-flash | ||||
| multimodal-embedding-v1 | Le nombre total d'éléments de contenu dans une requête unique ne peut pas dépasser 20. Une requête peut contenir au maximum une image, une vidéo et 20 entrées de texte. Ces éléments partagent la limite totale. | |||
Tous les modèles acceptent des entrées de texte, d'image et de vidéo, individuellement ou combinées. Les modèlestongyi-embedding-vision-plus,tongyi-embedding-vision-flashprennent également en chargemulti_imagespour les séquences d'images.
Capacités des modèles
Modèle | Dimension par défaut | Type de vecteur | Entrées prises en charge | Description |
qwen3-vl-embedding | 2560 | Indépendant / Fusion | texte, image, vidéo, images multiples | Le mode fusion, activé via le paramètre |
tongyi-embedding-vision-plus | 1152 | Indépendant uniquement | Prend en charge les séquences | |
tongyi-embedding-vision-flash | 768 | |||
multimodal-embedding-v1 | 1024 | texte, image, vidéo | La dimension du vecteur est fixée à 1 024 et ne peut pas être configurée. |
Prérequis
Obtenir une clé API et exporter la clé API en tant que variable d'environnement. Si vous utilisez un SDK pour effectuer vos appels, installez le SDK DashScope.
Appel HTTP
POST https://dashscope.aliyuncs.com/api/v1/services/embeddings/multimodal-embedding/multimodal-embedding
Requête |
L'exemple suivant utilise le modèle |
En-têtes de requête | |
Content-Type string (Obligatoire)Le type de contenu de la requête. Doit être application/json. | |
Authorization string (Obligatoire)Authentifie la requête avec une clé API Model Studio. Exemple : Bearer sk-xxxx. | |
Corps de la requête | |
model string(obligatoire)Le nom du modèle. Sélectionnez un modèle dans l'Aperçu des modèles. | |
input object(obligatoire)Le contenu d'entrée.
Propriétés contents array(obligatoire)Les éléments de contenu à traiter. Chaque élément est un dictionnaire ou une chaîne spécifiant le type de contenu et la valeur au format {"modality_type": "input_string_or_image/video_url"}. Les types de modalité pris en charge sont text, image, video et multi_images.Le modèle
object (facultatif)Paramètres de traitement de l'embedding. Pour les appels HTTP, vous devez encapsuler ces paramètres dans l'objet parameters. Pour les appels SDK, vous pouvez utiliser ces paramètres directement.
Propriétés output_type string (facultatif)Le format de représentation de l'embedding en sortie. Actuellement, seul le format dense est pris en charge. Les autres valeurs sont ignorées sans erreur et le format dense est renvoyé.dimension integer (facultatif)La dimension de l'embedding en sortie. Les valeurs prises en charge varient selon le modèle :
float (facultatif)Le taux d'échantillonnage des frames vidéo. Une valeur plus faible extrait moins de frames. La plage valide est [0, 1] et la valeur par défaut est 1,0. Les valeurs hors de cette plage ne provoquent pas d'erreur.instruct string (facultatif)Une description personnalisée de la tâche pour aider le modèle à comprendre l'intention de la requête. Des instructions en anglais sont recommandées et peuvent améliorer les performances de 1 % à 5 %.enable_fusion bool (facultatif)Spécifie s'il faut générer un embedding fusionné. Ce paramètre est pris en charge uniquement par le modèle qwen3-vl-embedding. Lorsqu'il est défini sur true, tout le contenu multimodal du tableau contents est fusionné en un seul embedding. La valeur par défaut est false, ce qui génère un embedding indépendant pour chaque modalité. Les embeddings fusionnés prennent en charge des combinaisons telles que texte et image, texte et vidéo, images multiples et texte (en passant plusieurs éléments d'image), ainsi qu'un mélange d'images, de vidéos et de texte. Cela convient aux scénarios de recherche nécessitant une compréhension complète du contenu multimodal. |
Réponse |
Le champ usage varie selon le modèle. Consultez les descriptions suivantes :
|
output objectSortie de la tâche.
Propriétés embeddings arrayUne liste des embeddings résultants, où chaque objet correspond à un élément d'entrée.
Propriétés index intL'index du résultat dans la liste d'entrée.embedding arrayLa dimension du tableau d'embeddings généré dépend du modèle et du paramètre dimension.type stringLe type d'entrée pour ce résultat. text, image, video et multi_images correspondent respectivement aux entrées de texte, d'image, de vidéo et d'images multiples. Les types spéciaux incluent : fusion est le type renvoyé par le modèle qwen3-vl-embedding en mode d'embedding fusionné ; vl est le type renvoyé par le modèle qwen3-vl-embedding en mode d'embedding indépendant. | |
request_id stringIdentifiant unique de la requête pour le suivi et le dépannage. | |
code stringCode d'erreur. Renvoyé uniquement pour les requêtes ayant échoué. Consultez Codes d'erreur. | |
message stringMessage d'erreur détaillé. Renvoyé uniquement pour les requêtes ayant échoué. Consultez Codes d'erreur. | |
usage objectStatistiques sur l'utilisation des tokens.
Propriétés input_tokens intLe nombre de tokens dans le contenu d'entrée pour la requête actuelle. Pour le modèle qwen3-vl-embedding, cette valeur inclut uniquement les tokens de texte (y compris les tokens de modèle système) et n'inclut pas les tokens d'image ou de vidéo. Pour les modèles de la série tongyi-embedding-vision-*, cette valeur inclut le nombre total de tokens de texte, d'image et de vidéo.input_tokens_details objectUne ventilation détaillée des tokens d'entrée. Ce champ est renvoyé uniquement par les modèles de la série tongyi-embedding-vision-*. Il n'est pas renvoyé par les modèles qwen3-vl-embedding ou multimodal-embedding-v1.
Propriétés image_tokens intLe nombre de tokens pour les images ou vidéos d'entrée.text_tokens intLe nombre de tokens pour le texte d'entrée.intLe nombre de tokens dans la sortie pour la requête actuelle. Ce champ est renvoyé uniquement par les modèles de la série tongyi-embedding-vision-*.total_tokens intLe nombre total de tokens d'entrée et de sortie. Ce champ est renvoyé par les modèles qwen3-vl-embedding et tongyi-embedding-vision-*, mais pas par le modèle multimodal-embedding-v1. Pour le modèle qwen3-vl-embedding, total_tokens = input_tokens + image_tokens.image_tokens intLe nombre de tokens pour les images ou vidéos d'entrée dans la requête actuelle. Le système échantillonne des frames à partir des vidéos d'entrée, le nombre maximal de frames étant contrôlé par la configuration système, puis calcule les tokens en fonction du résultat traité. Ce champ est renvoyé en tant que champ de premier niveau uniquement par les modèles qwen3-vl-embedding et multimodal-embedding-v1. Pour les modèles de la série tongyi-embedding-vision-*, le nombre de tokens d'image est inclus dans input_tokens_details.image_tokens.image_count intLe nombre d'images dans l'entrée pour la requête actuelle. Ce champ est renvoyé uniquement par le modèle multimodal-embedding-v1.duration intLa durée de la vidéo d'entrée en secondes. Ce champ est renvoyé uniquement par le modèle multimodal-embedding-v1. |
Utilisation du SDK
Le paramètreinputdu SDK correspond àinput.contentsdans le corps de la requête HTTP, mais leurs structures sont différentes .
Exemples de code
- Embedding d'image
- Embedding vidéo
- Embedding de texte
- Embedding fusionné
- Embedding fusionné multi-images
- Version snapshot 2026-03-06
- URL d'image
- Image locale