Le modèle Qwen-Omni accepte des entrées multimodales et génère des réponses sous forme de texte ou de parole. Il produit des voix naturelles et prend en charge la sortie vocale dans plusieurs langues et dialectes. Les cas d'usage incluent la modération de contenu, la création de texte, la reconnaissance visuelle et l'interaction audio-vidéo.
Régions prises en charge : Singapour, Pékin. Utilisez la clé API correspondant à votre région.
Prérequis
Toutes les requêtes adressées à Qwen-Omni doivent définir
Configurez les paramètres, les invites et la durée des médias pour trouver l'équilibre entre coût, rapidité et qualité.
L'exemple suivant illustre comment soumettre une image et un fichier audio dans une requête unique pour une analyse multimodale.
Chaque requête comprend du texte ainsi qu'une autre modalité (vidéo, audio ou image). Tous les modèles Qwen-Omni prennent en charge ce fonctionnement.
La série Qwen3.5-Omni prend en charge la recherche web pour récupérer des informations en temps réel et effectuer un raisonnement.
Au sein de la série Qwen-Omni, seul le modèle Qwen3-Omni-Flash est un modèle de réflexion hybride. Utilisez le paramètre
Lors de l'utilisation des modèles Qwen-Omni pour des conversations multi-tours, tenez compte des points suivants :
Les modèles Qwen-Omni produisent l'audio sous forme de flux de données encodées en Base64. Pendant la génération, maintenez une variable chaîne de caractères et ajoutez-y les données Base64 de chaque fragment retourné. Une fois la génération terminée, décodez la chaîne complète en Base64 pour obtenir le fichier audio. Vous pouvez également décoder et lire chaque fragment en temps réel.
Pour consulter les paramètres d'entrée et de sortie, reportez-vous à Compatible OpenAI - Chat.
Règles de facturation
La facturation de Qwen-Omni repose sur les tokens consommés selon les modalités (audio, image et vidéo). Consultez les détails de facturation dans la console.
Quota gratuit
Pour réclamer, consulter ou utiliser votre quota gratuit, reportez-vous à Quota gratuit pour les nouveaux utilisateurs.
Limites de taux
Pour connaître les règles de limitation de taux et consulter la FAQ, reportez-vous à Limitation de taux.
Si l'appel du modèle échoue et renvoie un message d'erreur, consultez la rubrique Codes d'erreur pour obtenir une solution.
Pour consulter la liste des voix disponibles pour le modèle Qwen-Omni, reportez-vous à la Liste des voix.
Prise en main
Prérequis
- Obtenez une clé API et définissez-la comme variable d'environnement.
- Le modèle Qwen-Omni prend uniquement en charge les appels compatibles avec OpenAI. Vous devez donc installer le dernier SDK. Les versions minimales requises sont 1.52.0 pour le SDK Python OpenAI et 4.68.0 pour le SDK Node.js.
python
Réponse
Réponse
Après l'exécution du code L'exécution du code
Python ou Node.js, la réponse textuelle s'affiche dans la console et un fichier audio nommé audio_assistant.wav est enregistré dans le même répertoire que votre fichier de code.HTTP retourne directement du texte et des données audio encodées en Base64 dans le champ audio.Sélection du modèle
-
Série Qwen3.5-Omni : Idéale pour l'analyse de vidéos longues, les résumés de réunions, la génération de sous-titres, la modération de contenu et l'interaction audio-vidéo.
- Limites d'entrée : jusqu'à 3 heures d'audio ou 1 heure de vidéo.
- Contrôle audio : permet d'ajuster le volume, la vitesse d'élocution et l'émotion via des instructions.
- Capacité visuelle : équivalente à celle de Qwen3.5. Comprend les images, la parole, les effets sonores et autres entrées multimodales.
- Entrée multimodale combinée : accepte toute combinaison de texte avec des images, de l'audio et de la vidéo dans une seule requête.
- Clonage vocal : prend en charge les voix personnalisées (uniquement qwen3.5-omni-plus et qwen3.5-omni-flash ; les versions snapshot ne sont pas prises en charge). Pour plus de détails, consultez Clonage vocal.
-
Série Qwen3-Omni-Flash : Conçue pour l'analyse de vidéos courtes et les scénarios sensibles aux coûts.
- Limites d'entrée : entrées audio et vidéo jusqu'à 150 secondes.
- Mode réflexion : seul modèle de la série Qwen-Omni à prendre en charge ce mode.
- Modalité d'entrée : accepte uniquement une combinaison de texte avec une seule autre modalité (image, audio ou vidéo).
| Série | Description audio-vidéo | Réflexion approfondie | Recherche Web | Langues audio d'entrée | Langues audio de sortie | Voix prises en charge |
|---|---|---|---|---|---|---|
| Qwen3.5-OmniModèle omni-modal de dernière génération | Élevée | Non pris en charge | Pris en charge | 113
74 langues et 39 dialectes Langues : Chinois, Anglais, Allemand, Français, Italien, Tchèque, Indonésien, Thaï, Coréen, Polonais, Japonais, Vietnamien, Finnois, Portugais, Espagnol, Néerlandais, Russe, Malais, Catalan, Suédois, Turc, Ukrainien, Roumain, Slovaque, Danois, Islandais, Norvégien (Bokmål), Macédonien, Grec, Hongrois, Galicien, Filipino, Croate, Bosniaque, Slovène, Bulgare, Kazakh, Biélorusse, Letton, Estonien, Azéri, Ouïghour, Swahili, Hindi, Espéranto, Kirghize, Tadjik, Cebuano, Afrikaans, Arabe, Lituanien, Javanais, Bengali, Persan, Hébreu, Pendjabi, Gujarati, Mongol, Asturien, Kannada, Marathi, Interlingua, Malayalam, Maltais, Norvégien Nynorsk, Télougou, Ourdou, Géorgien, Basque, Tamoul, Odia, Serbe, MaoriDialectes : Mandarin du Nord-Est, Dialecte du Guizhou, Cantonais, Dialecte du Henan, Cantonais de Hong Kong, Shanghaïen, Dialecte du Shaanxi, Dialecte de Tianjin, Hokkien taïwanais, Dialecte du Yunnan, Dialecte de l'Anhui, Dialecte du Fujian, Dialecte du Gansu, Dialecte du Guangdong, Dialecte du Hubei, Dialecte du Hunan, Dialecte du Jiangxi, Dialecte du Shandong, Dialecte du Shanxi, Dialecte du Sichuan, Dialecte du Guangxi, Dialecte du Hainan, Dialecte de Chongqing, Dialecte de Changsha, Dialecte de Hangzhou, Dialecte de Hefei, Dialecte de Yinchuan, Dialecte de Zhengzhou, Dialecte de Shenyang, Dialecte de Wenzhou, Dialecte de Wuhan, Dialecte de Kunming, Dialecte de Taiyuan, Dialecte de Nanchang, Dialecte de Jinan, Dialecte de Lanzhou, Dialecte de Nanjing, Hakka, Minnan | 36
29 langues et 7 dialectes Langues :Chinois, Anglais, Allemand, Italien, Portugais, Espagnol, Japonais, Coréen, Français, Russe, Thaï, Indonésien, Arabe, Vietnamien, Turc, Finnois, Polonais, Hindi, Néerlandais, Tchèque, Ourdou, Tagalog, Suédois, Danois, Hébreu, Islandais, Malais, Norvégien, Persan Dialectes :Dialecte du Sichuan, Dialecte de Pékin, Dialecte de Tianjin, Dialecte de Nanjing, Dialecte du Shaanxi, Cantonais, Minnan | 55 |
| Qwen3-Omni-FlashModèle à réflexion hybride | Plus faible | Pris en charge | Non pris en charge | 19
11 langues et 8 dialectes Langues :Chinois, Anglais, Allemand, Français, Italien, Thaï, Coréen, Japonais, Russe, Espagnol, PortugaisDialectes :Dialecte du Sichuan, Shanghaïen, Cantonais, Minnan, Dialecte du Shaanxi, Dialecte de Nanjing, Dialecte de Tianjin, Dialecte de Pékin | 19
11 langues et 8 dialectes Langues :Chinois, Anglais, Allemand, Français, Italien, Thaï, Coréen, Japonais, Russe, Espagnol, PortugaisDialectes :Sichuanais, Shanghaïen, Cantonais, Hokkien, Dialecte du Shaanxi, Dialecte de Nanjing, Dialecte de Tianjin, Dialecte de Pékin | 17 à 49Varie selon la version |
Pour les noms des modèles, les fenêtres de contexte, les tarifs et les versions snapshot, consultez la console Model Studio. Pour les limites de taux, reportez-vous à Limitation du taux .
Performances du modèle
Analyse de contenu audio et vidéo
Générez une description complète et horodatée de cette vidéo. | 00:00.000 – 00:02.500Une rue urbaine trempée par la pluie remplit le cadre grand angle. La photographie à longue exposition crée des traînées de lumières rouges et bleues de voitures sur le pavé mouillé. Un homme solitaire, vêtu d'un trench-coat sombre mi-long et d'une chemise claire avec cravate, marche vers la caméra sur le trottoir de droite. Des gouttes de pluie s'accrochent à ses épaules et à ses cheveux. Chaque pas produit un bruit sourd sur le béton humide. Un bourdonnement électronique grave et menaçant souligne les sons ambiants, tandis qu'une pluie régulière crépite tout autour. Des graffitis colorés couvrent le mur de briques à côté de lui, et des enseignes néon brillent au loin — l'une affiche clairement une écriture cursive orange-rouge indiquant « Nice », tandis qu'une autre enseigne verticale montre les lettres « AT » à sa base.......00:12.300 – 00:14.533La caméra bascule vers le bas. Dans le faisceau d'une lampe torche, une feuille unique jaunie et vieillie repose dans une flaque peu profonde, ses bords carbonisés et ses coins recroquevillés. Des paragraphes encrés couvrent la majeure partie de sa surface, mais l'humidité et les traces de brûlure rendent le texte illisible. L'homme s'agenouille, tendant ses doigts gantés vers le document. Des ondulations se propagent vers l'extérieur alors que sa main s'approche. Les sirènes atteignent leur apogée puis commencent à s'estomper légèrement, tandis que le bourdonnement ambiant reste constant. La scène se fige juste avant que le papier tremblant ne soit touché, terminant ainsi le clip.Seuls certains horodatages sont affichés. |
Compréhension multidialectale
Décrivez les caractéristiques vocales, l'état émotionnel et les paroles complètes des chanteurs s'exprimant dans différents dialectes chinois. | Cet extrait audio présente des performances de rap par des chanteurs de diverses régions de Chine, mettant en valeur une riche diversité dialectale. Voici les descriptions détaillées des traits vocaux, de l'état émotionnel et des paroles correspondantes pour chaque chanteur :Dialecte de Hangzhou (Wu)Traits vocaux :La voix du chanteur masculin est douce et suave, avec la fluidité et la chaleur distinctives du dialecte Wu. Son intonation monte et descend doucement, et son rythme est léger et rapide, créant un effet de narration détendu.État émotionnel :Détendu, confortable et ancré dans le quotidien. Il décrit le rythme de vie lent de Hangzhou et les changements urbains, exprimant son attachement à sa ville natale et ses réflexions sur le développement moderne. Globalement, il dégage une atmosphère chaleureuse et familière.Paroles :> Dialecte de Hangzhou, écoutez bien ! Notre culture inclut la prononciation locale avec erhua.> Comme des fleurs qui éclosent au bord du lac de l'Ouest, pas besoin d'enquête culturelle — nous comprenons cela mieux que quiconque.> Aucun de vous ne comprend. « San bu da men », « ge'r », « lao'r », « fen'r », « ya'r »... comment un étranger pourrait-il les distinguer ?> Allons-y ! Les transports sont rapides — des métros partout. On va jeter un œil.> Bienvenue à l'Asie du Sud-Est et à la Thaïlande, en regardant les émissions « Thirteen Ta ». Fiers de notre ville, directs dans notre personnalité.> Alors vous n'êtes venus que pour l'expérience du « passage du pont », et parce que la saveur est différente, vous ne revenez pas ?Seuls des résultats partiels sont affichés. |
Génération de sous-titres de paroles
Transcrivez les paroles de la chanson et fournissez les horodatages pour chaque ligne dans ce format : [00:00:15,020 --> 00:00:28,085] : When you walk through a storm, hold your head up high.[00:00:28,085 --> 00:00:40,200] And don't be afraid of the dark. ...... | [00:00:12,680 --> 00:00:16,960] Cat thread sways past moonlight on trees.[00:00:18,400 --> 00:00:22,800] Radiators hum 1998 chart hits.[00:00:24.160 → 00:00:28.080] Time parts the mist-like heat waves.[00:00:28,920 --> 00:00:33,000] Neon from the screen shines on my nose bridge.......[00:03:16,720 --> 00:03:21,680] We nestle in the softest ring of the tree trunk.[00:03:22,400 --> 00:03:27,000] Breathing turns residual warmth into honey-sugar.[00:03:28,160 --> 00:03:33,200] The sofa sinks into cloud-fluff shape.[00:03:34,000 --> 00:03:38,800] Every pore soaks in sunshine.[00:04:09,000 --> 00:04:10,020] (End)Seuls des résultats partiels sont affichés. |
Programmation audio-vidéo
Utilisation
Sortie en streaming
Toutes les requêtes adressées à Qwen-Omni doivent définir stream=True.
Configuration du modèle
Configurez les paramètres, les invites et la durée des médias pour trouver l'équilibre entre coût, rapidité et qualité.
- Compréhension audio-vidéo
- Compréhension audio
| Cas d'usage | Durée vidéo recommandée | Invite recommandée | max_pixels recommandé |
| Examen rapide, faible coût | ≤ 60 minutes | Invite simple de moins de 50 mots | 230 400 |
| Extraction de contenu (segmentation vidéo longue) | ≤ 60 minutes | 921 600 ~ 2 073 600 | |
| Analyse standard (tagging vidéo courte) | ≤ 4 minutes | Utilisez l'invite structurée ci-dessous
Invite recommandée | 921 600 ~ 2 073 600 |
| Analyse fine (plusieurs intervenants / scènes complexes) | ≤ 2 minutes | 2 073 600 |
Vous pouvez segmenter au préalable les vidéos longues afin d'obtenir des descriptions plus précises.
Entrée multimodale combinée
L'entrée multimodale combinée est prise en charge uniquement par la série Qwen3.5-Omni. Vous avez la possibilité de fournir des données dans plusieurs modalités au sein d'une même requête, par exemple une combinaison d'images, d'audio et de texte, ou encore de vidéos, d'images et de texte.
Compatible OpenAI
python
- Compatible OpenAI
python
Entrée unimodale
Chaque requête comprend du texte ainsi qu'une autre modalité (vidéo, audio ou image). Tous les modèles Qwen-Omni prennent en charge ce fonctionnement.
- Entrée vidéo et texte
- Entrée audio et texte
- Entrée image et texte
Fournissez la vidéo sous forme de liste d'images ou de fichier vidéo (avec prise en charge de l'audio).
- Fichier vidéo (prend en charge l'audio intégré)
- Format de liste d'images
-
Nombre de fichiers :
- Série Qwen3.5-Omni : jusqu'à 512 fichiers via des URL publiques et jusqu'à 250 fichiers avec l'encodage Base64.
- Séries Qwen3-Omni-Flash : un seul fichier autorisé.
-
Taille des fichiers :
-
Via des URL publiques :
- Série Qwen3.5-Omni : jusqu'à 2 Go
- Qwen3-Omni-Flash : jusqu'à 256 Mo
- Avec l'encodage Base64 : la chaîne Base64 encodée doit être inférieure à 10 Mo
-
Via des URL publiques :
-
Limites de durée :
- Série Qwen3.5-Omni : 1 heure
- Qwen3-Omni-Flash : 150 secondes
- Formats de fichiers pris en charge : MP4, AVI, MKV, MOV, FLV et WMV.
- Les informations visuelles et audio du fichier vidéo sont facturées séparément.
- Compatible OpenAI
python
Résoudre les erreurs de décodage vidéo
Résoudre les erreurs de décodage vidéo
Si une requête signale une erreur de décodage vidéo, telle que
Invalid data found when processing input, vérifiez le fichier localement, puis réencodez-le. Les commandes suivantes nécessitent FFmpeg avec l’encodeur libx264.-
Vérifiez que le fichier entier peut être décodé.
-xerrorarrête le traitement en cas d’erreur et-f null -supprime la sortie sans créer de fichier. Si la commande se termine normalement, sans erreur, le fichier a réussi cette vérification de décodage. -
Réencodez la vidéo en H.264 et l’audio en AAC. Enregistrez le résultat dans un nouveau fichier pour conserver l’original.
-
Vérifiez à nouveau le fichier obtenu. Une fois la vérification réussie et la durée, l’image et le son contrôlés, importez-le à nouveau et relancez la requête au modèle.
Recherche web
La série Qwen3.5-Omni prend en charge la recherche web pour récupérer des informations en temps réel et effectuer un raisonnement.
- Cette fonctionnalité est disponible uniquement avec la série Qwen3.5-Omni. Le paramètre
search_strategyaccepte exclusivement la valeuragent. - Pour plus de détails sur la facturation, consultez la politique
agentdans la rubrique Facturation.
enable_search et search_strategy sur agent :
- OpenAI compatible
python
Activer ou désactiver le mode de réflexion
Au sein de la série Qwen-Omni, seul le modèle Qwen3-Omni-Flash est un modèle de réflexion hybride. Utilisez le paramètre enable_thinking pour activer ou désactiver ce mode :
truefalse(valeur par défaut)
En mode de réflexion, la sortie audio n'est pas prise en charge.
- OpenAI compatible
python
Réponse
Réponse
Conversation multi-tours
Lors de l'utilisation des modèles Qwen-Omni pour des conversations multi-tours, tenez compte des points suivants :
-
Message de l'assistant
Les messages de l'assistant dans le tableau
messagesne peuvent contenir que des données textuelles. - Message utilisateur Un message utilisateur peut combiner du texte avec une autre modalité. Au fil des tours de conversation, il est possible d'intégrer différentes modalités dans des messages utilisateurs distincts.
- OpenAI compatible
python
Analyse des données audio encodées en Base64 issues de la sortie
Les modèles Qwen-Omni produisent l'audio sous forme de flux de données encodées en Base64. Pendant la génération, maintenez une variable chaîne de caractères et ajoutez-y les données Base64 de chaque fragment retourné. Une fois la génération terminée, décodez la chaîne complète en Base64 pour obtenir le fichier audio. Vous pouvez également décoder et lire chaque fragment en temps réel.
python
Fichier local encodé en Base64 en entrée
Lors de l'envoi de fichiers via un encodage Base64, la chaîne Base64 résultante ne doit pas dépasser 10 Mo.
- Images
- Audio
- Vidéo
Cet exemple utilise le fichier enregistré localement eagle.png.
python
Référence de l'API
Pour consulter les paramètres d'entrée et de sortie, reportez-vous à Compatible OpenAI - Chat.
Facturation et limites de taux
Règles de facturation
La facturation de Qwen-Omni repose sur les tokens consommés selon les modalités (audio, image et vidéo). Consultez les détails de facturation dans la console.
Règles de conversion des tokens pour l'audio, les images et les vidéos
Règles de conversion des tokens pour l'audio, les images et les vidéos
- Audio
- Images
- Vidéo
-
Qwen3.5-Omni series:- Formule pour l'audio en entrée :
Total tokens = Audio duration (seconds) * 7 - Formule pour l'audio en sortie :
Total tokens = Audio duration (seconds) * 12.5
- Formule pour l'audio en entrée :
-
Qwen3-Omni-Flash: Pour l'audio en entrée comme en sortie,Total tokens = Audio duration (seconds) * 12.5