Skip to main content

Qwen-Omni

Le modèle Qwen-Omni accepte des entrées multimodales et génère des réponses sous forme de texte ou de parole. Il produit des voix naturelles et prend en charge la sortie vocale dans plusieurs langues et dialectes. Les cas d'usage incluent la modération de contenu, la création de texte, la reconnaissance visuelle et l'interaction audio-vidéo.

Régions prises en charge : Singapour, Pékin. Utilisez la clé API correspondant à votre région.

Prise en main

Prérequis
  • Obtenez une clé API et définissez-la comme variable d'environnement.
  • Le modèle Qwen-Omni prend uniquement en charge les appels compatibles avec OpenAI. Vous devez donc installer le dernier SDK. Les versions minimales requises sont 1.52.0 pour le SDK Python OpenAI et 4.68.0 pour le SDK Node.js.
Cet exemple envoie une invite textuelle à l'API Qwen-Omni et retourne une réponse en streaming contenant à la fois du texte et de l'audio.
python
import os
import base64
import soundfile as sf
import numpy as np
from openai import OpenAI

# 1. Initialize the client
client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),  # Confirm that the environment variable is set
    # Région Singapour. Saisissez l’ID de votre espace de travail dans l’exemple. Les URL varient selon la région.
    base_url="https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1",
)

# 2. Send the request
try:
    completion = client.chat.completions.create(
        model="qwen3.5-omni-plus",
        messages=[{"role": "user", "content": "Who are you?"}],
        modalities=["text", "audio"],  # Specify text and audio output
        audio={"voice": "Tina", "format": "wav"},
        stream=True,  # Must be set to True
        stream_options={"include_usage": True},
    )

    # 3. Process the streaming response and decode the audio
    print("Model response:")
    audio_base64_string = ""
    for chunk in completion:
        # Process the text part
        if chunk.choices and chunk.choices[0].delta.content:
            print(chunk.choices[0].delta.content, end="")

        # Collect the audio part
        if chunk.choices and hasattr(chunk.choices[0].delta, "audio") and chunk.choices[0].delta.audio:
            audio_base64_string += chunk.choices[0].delta.audio.get("data", "")

    # 4. Save the audio file
    if audio_base64_string:
        wav_bytes = base64.b64decode(audio_base64_string)
        audio_np = np.frombuffer(wav_bytes, dtype=np.int16)
        sf.write("audio_assistant.wav", audio_np, samplerate=24000)
        print("\nAudio file saved to: audio_assistant.wav")

except Exception as e:
    print(f"Request failed: {e}")
Après l'exécution du code Python ou Node.js, la réponse textuelle s'affiche dans la console et un fichier audio nommé audio_assistant.wav est enregistré dans le même répertoire que votre fichier de code.
Model response:
I am a large language model developed by Alibaba Cloud. My name is Qwen. How can I help you?
L'exécution du code HTTP retourne directement du texte et des données audio encodées en Base64 dans le champ audio.
data: {"choices":[{"delta":{"content":"I"},"finish_reason":null,"index":0,"logprobs":null}],"object":"chat.completion.chunk","usage":null,"created":1757647879,"system_fingerprint":null,"model":"qwen3.5-omni-plus","id":"chatcmpl-a68eca3b-c67e-4666-a72f-73c0b4919860"}
data: {"choices":[{"delta":{"content":"am"},"finish_reason":null,"index":0,"logprobs":null}],"object":"chat.completion.chunk","usage":null,"created":1757647879,"system_fingerprint":null,"model":"qwen3.5-omni-plus","id":"chatcmpl-a68eca3b-c67e-4666-a72f-73c0b4919860"}
......
data: {"choices":[{"delta":{"audio":{"data":"/v8AAAAAAAAAAAAAAA...","expires_at":1757647879,"id":"audio_a68eca3b-c67e-4666-a72f-73c0b4919860"}},"finish_reason":null,"index":0,"logprobs":null}],"object":"chat.completion.chunk","usage":null,"created":1757647879,"system_fingerprint":null,"model":"qwen3.5-omni-plus","id":"chatcmpl-a68eca3b-c67e-4666-a72f-73c0b4919860"}
data: {"choices":[{"finish_reason":"stop","delta":{"content":""},"index":0,"logprobs":null}],"object":"chat.completion.chunk","usage":null,"created":1764763585,"system_fingerprint":null,"model":"qwen3.5-omni-plus","id":"chatcmpl-e8c82e9e-073e-4289-a786-a20eb444ac9c"}
data: {"choices":[],"object":"chat.completion.chunk","usage":{"prompt_tokens":207,"completion_tokens":103,"total_tokens":310,"completion_tokens_details":{"audio_tokens":83,"text_tokens":20},"prompt_tokens_details":{"text_tokens":207}},"created":1757940330,"system_fingerprint":null,"model":"qwen3.5-omni-plus","id":"chatcmpl-9cdd5a26-f9e9-4eff-9dcc-93a878165afc"}

Sélection du modèle

  • Série Qwen3.5-Omni : Idéale pour l'analyse de vidéos longues, les résumés de réunions, la génération de sous-titres, la modération de contenu et l'interaction audio-vidéo.
    • Limites d'entrée : jusqu'à 3 heures d'audio ou 1 heure de vidéo.
    • Contrôle audio : permet d'ajuster le volume, la vitesse d'élocution et l'émotion via des instructions.
    • Capacité visuelle : équivalente à celle de Qwen3.5. Comprend les images, la parole, les effets sonores et autres entrées multimodales.
    • Entrée multimodale combinée : accepte toute combinaison de texte avec des images, de l'audio et de la vidéo dans une seule requête.
    • Clonage vocal : prend en charge les voix personnalisées (uniquement qwen3.5-omni-plus et qwen3.5-omni-flash ; les versions snapshot ne sont pas prises en charge). Pour plus de détails, consultez Clonage vocal.
  • Série Qwen3-Omni-Flash : Conçue pour l'analyse de vidéos courtes et les scénarios sensibles aux coûts.
    • Limites d'entrée : entrées audio et vidéo jusqu'à 150 secondes.
    • Mode réflexion : seul modèle de la série Qwen-Omni à prendre en charge ce mode.
    • Modalité d'entrée : accepte uniquement une combinaison de texte avec une seule autre modalité (image, audio ou vidéo).
SérieDescription audio-vidéoRéflexion approfondieRecherche WebLangues audio d'entréeLangues audio de sortieVoix prises en charge
Qwen3.5-OmniModèle omni-modal de dernière générationÉlevéeNon pris en chargePris en charge113
Langues : Chinois, Anglais, Allemand, Français, Italien, Tchèque, Indonésien, Thaï, Coréen, Polonais, Japonais, Vietnamien, Finnois, Portugais, Espagnol, Néerlandais, Russe, Malais, Catalan, Suédois, Turc, Ukrainien, Roumain, Slovaque, Danois, Islandais, Norvégien (Bokmål), Macédonien, Grec, Hongrois, Galicien, Filipino, Croate, Bosniaque, Slovène, Bulgare, Kazakh, Biélorusse, Letton, Estonien, Azéri, Ouïghour, Swahili, Hindi, Espéranto, Kirghize, Tadjik, Cebuano, Afrikaans, Arabe, Lituanien, Javanais, Bengali, Persan, Hébreu, Pendjabi, Gujarati, Mongol, Asturien, Kannada, Marathi, Interlingua, Malayalam, Maltais, Norvégien Nynorsk, Télougou, Ourdou, Géorgien, Basque, Tamoul, Odia, Serbe, MaoriDialectes :
Mandarin du Nord-Est, Dialecte du Guizhou, Cantonais, Dialecte du Henan, Cantonais de Hong Kong, Shanghaïen, Dialecte du Shaanxi, Dialecte de Tianjin, Hokkien taïwanais, Dialecte du Yunnan, Dialecte de l'Anhui, Dialecte du Fujian, Dialecte du Gansu, Dialecte du Guangdong, Dialecte du Hubei, Dialecte du Hunan, Dialecte du Jiangxi, Dialecte du Shandong, Dialecte du Shanxi, Dialecte du Sichuan, Dialecte du Guangxi, Dialecte du Hainan, Dialecte de Chongqing, Dialecte de Changsha, Dialecte de Hangzhou, Dialecte de Hefei, Dialecte de Yinchuan, Dialecte de Zhengzhou, Dialecte de Shenyang, Dialecte de Wenzhou, Dialecte de Wuhan, Dialecte de Kunming, Dialecte de Taiyuan, Dialecte de Nanchang, Dialecte de Jinan, Dialecte de Lanzhou, Dialecte de Nanjing, Hakka, Minnan

36
Langues :Chinois, Anglais, Allemand, Italien, Portugais, Espagnol, Japonais, Coréen, Français, Russe, Thaï, Indonésien, Arabe, Vietnamien, Turc, Finnois, Polonais, Hindi, Néerlandais, Tchèque, Ourdou, Tagalog, Suédois, Danois, Hébreu, Islandais, Malais, Norvégien, Persan
Dialectes :Dialecte du Sichuan, Dialecte de Pékin, Dialecte de Tianjin, Dialecte de Nanjing, Dialecte du Shaanxi, Cantonais, Minnan
55
Qwen3-Omni-FlashModèle à réflexion hybridePlus faiblePris en chargeNon pris en charge19
Langues :Chinois, Anglais, Allemand, Français, Italien, Thaï, Coréen, Japonais, Russe, Espagnol, PortugaisDialectes :Dialecte du Sichuan, Shanghaïen, Cantonais, Minnan, Dialecte du Shaanxi, Dialecte de Nanjing, Dialecte de Tianjin, Dialecte de Pékin
19
Langues :Chinois, Anglais, Allemand, Français, Italien, Thaï, Coréen, Japonais, Russe, Espagnol, PortugaisDialectes :Sichuanais, Shanghaïen, Cantonais, Hokkien, Dialecte du Shaanxi, Dialecte de Nanjing, Dialecte de Tianjin, Dialecte de Pékin
17 à 49
Varie selon la version
Pour les noms des modèles, les fenêtres de contexte, les tarifs et les versions snapshot, consultez la console Model Studio. Pour les limites de taux, reportez-vous à Limitation du taux .

Performances du modèle

Analyse de contenu audio et vidéo

Générez une description complète et horodatée de cette vidéo.
00:00.000 – 00:02.500Une rue urbaine trempée par la pluie remplit le cadre grand angle. La photographie à longue exposition crée des traînées de lumières rouges et bleues de voitures sur le pavé mouillé. Un homme solitaire, vêtu d'un trench-coat sombre mi-long et d'une chemise claire avec cravate, marche vers la caméra sur le trottoir de droite. Des gouttes de pluie s'accrochent à ses épaules et à ses cheveux. Chaque pas produit un bruit sourd sur le béton humide. Un bourdonnement électronique grave et menaçant souligne les sons ambiants, tandis qu'une pluie régulière crépite tout autour. Des graffitis colorés couvrent le mur de briques à côté de lui, et des enseignes néon brillent au loin — l'une affiche clairement une écriture cursive orange-rouge indiquant « Nice », tandis qu'une autre enseigne verticale montre les lettres « AT » à sa base.......00:12.300 – 00:14.533La caméra bascule vers le bas. Dans le faisceau d'une lampe torche, une feuille unique jaunie et vieillie repose dans une flaque peu profonde, ses bords carbonisés et ses coins recroquevillés. Des paragraphes encrés couvrent la majeure partie de sa surface, mais l'humidité et les traces de brûlure rendent le texte illisible. L'homme s'agenouille, tendant ses doigts gantés vers le document. Des ondulations se propagent vers l'extérieur alors que sa main s'approche. Les sirènes atteignent leur apogée puis commencent à s'estomper légèrement, tandis que le bourdonnement ambiant reste constant. La scène se fige juste avant que le papier tremblant ne soit touché, terminant ainsi le clip.
Seuls certains horodatages sont affichés.

Compréhension multidialectale

Décrivez les caractéristiques vocales, l'état émotionnel et les paroles complètes des chanteurs s'exprimant dans différents dialectes chinois.
Cet extrait audio présente des performances de rap par des chanteurs de diverses régions de Chine, mettant en valeur une riche diversité dialectale. Voici les descriptions détaillées des traits vocaux, de l'état émotionnel et des paroles correspondantes pour chaque chanteur :Dialecte de Hangzhou (Wu)Traits vocaux :La voix du chanteur masculin est douce et suave, avec la fluidité et la chaleur distinctives du dialecte Wu. Son intonation monte et descend doucement, et son rythme est léger et rapide, créant un effet de narration détendu.État émotionnel :Détendu, confortable et ancré dans le quotidien. Il décrit le rythme de vie lent de Hangzhou et les changements urbains, exprimant son attachement à sa ville natale et ses réflexions sur le développement moderne. Globalement, il dégage une atmosphère chaleureuse et familière.Paroles :> Dialecte de Hangzhou, écoutez bien ! Notre culture inclut la prononciation locale avec erhua.> Comme des fleurs qui éclosent au bord du lac de l'Ouest, pas besoin d'enquête culturelle — nous comprenons cela mieux que quiconque.> Aucun de vous ne comprend. « San bu da men », « ge'r », « lao'r », « fen'r », « ya'r »... comment un étranger pourrait-il les distinguer ?> Allons-y ! Les transports sont rapides — des métros partout. On va jeter un œil.> Bienvenue à l'Asie du Sud-Est et à la Thaïlande, en regardant les émissions « Thirteen Ta ». Fiers de notre ville, directs dans notre personnalité.> Alors vous n'êtes venus que pour l'expérience du « passage du pont », et parce que la saveur est différente, vous ne revenez pas ?
Seuls des résultats partiels sont affichés.

Génération de sous-titres de paroles

Transcrivez les paroles de la chanson et fournissez les horodatages pour chaque ligne dans ce format : [00:00:15,020 --> 00:00:28,085] : When you walk through a storm, hold your head up high.[00:00:28,085 --> 00:00:40,200] And don't be afraid of the dark. ......
[00:00:12,680 --> 00:00:16,960] Cat thread sways past moonlight on trees.[00:00:18,400 --> 00:00:22,800] Radiators hum 1998 chart hits.[00:00:24.160 → 00:00:28.080] Time parts the mist-like heat waves.[00:00:28,920 --> 00:00:33,000] Neon from the screen shines on my nose bridge.......[00:03:16,720 --> 00:03:21,680] We nestle in the softest ring of the tree trunk.[00:03:22,400 --> 00:03:27,000] Breathing turns residual warmth into honey-sugar.[00:03:28,160 --> 00:03:33,200] The sofa sinks into cloud-fluff shape.[00:03:34,000 --> 00:03:38,800] Every pore soaks in sunshine.[00:04:09,000 --> 00:04:10,020] (End)
Seuls des résultats partiels sont affichés.

Programmation audio-vidéo

Utilisation

Sortie en streaming

Toutes les requêtes adressées à Qwen-Omni doivent définir stream=True.

Configuration du modèle

Configurez les paramètres, les invites et la durée des médias pour trouver l'équilibre entre coût, rapidité et qualité.
  • Compréhension audio-vidéo
  • Compréhension audio
Cas d'usageDurée vidéo recommandéeInvite recommandéemax_pixels recommandé
Examen rapide, faible coût≤ 60 minutesInvite simple de moins de 50 mots230 400
Extraction de contenu (segmentation vidéo longue)≤ 60 minutes921 600 ~ 2 073 600
Analyse standard (tagging vidéo courte)≤ 4 minutesUtilisez l'invite structurée ci-dessous
Provide a detailed description of the video.
It should explicitly include three sections:
1. A structured chronological storyline of **every noticeable audio and visual detail**
2. A structured list of all visible text. For each text element, include start timestamp, end timestamp, the exact text content, and the appearance characteristics. If no text appears, explicitly state so.
3. A structured speech-to-text transcription, include speaker (corresponding to the character or voice‑over in Section 1, including their accent and tone), exact spoken content, start timestamp, end timestamp, and speaking state (prosody, emotion, and style). If no speech appears, explicitly state so.
Aside from these three required sections, you are free to organize any additional content in any way you find helpful. This additional content can include global information about the entire video or localized information about specific moments. You may choose the topic of this extra content freely.
Output Format:
```
## Storyline
<xx:xx.xxx> - <xx:xx.xxx>
<an unstructured long paragraph in natural language describing what happened during this period, blending both audio and video details.>
<xx:xx.xxx> - <xx:xx.xxx>
<an unstructured long paragraph in natural language describing what happened during this period, blending both audio and video details.>
<xx:xx.xxx> - <xx:xx.xxx>
<an unstructured long paragraph in natural language describing what happened during this period, blending both audio and video details.>
...
## Visible Text
<xx:xx.xxx> - <xx:xx.xxx>
“<element>”: <appearance>
“<element>”: <appearance>
<xx:xx.xxx> - <xx:xx.xxx>
“<element>”: <appearance>
“<element>”: <appearance>
“<element>”: <appearance>
<xx:xx.xxx> - <xx:xx.xxx>
“<element>”: <appearance>
...
## Speakers and Transcript
Speaker profiles:
<speaker> - <profile>
<speaker> - <profile>
<speaker> - <profile>
...
<xx:xx.xxx> - <xx:xx.xxx>
Speaker: <speaker>
State: <description>
Content: “<content>”
<xx:xx.xxx> - <xx:xx.xxx>
Speaker: <speaker>
State: <description>
Content: “<content>”
<xx:xx.xxx> - <xx:xx.xxx>
Speaker: <speaker>
State: <description>
Content: “<content>”
...
## <another section>
<paragraphs>
## <another section>
<paragraphs>
...
```
921 600 ~ 2 073 600
Analyse fine (plusieurs intervenants / scènes complexes)≤ 2 minutes2 073 600
Vous pouvez segmenter au préalable les vidéos longues afin d'obtenir des descriptions plus précises.

Entrée multimodale combinée

L'entrée multimodale combinée est prise en charge uniquement par la série Qwen3.5-Omni. Vous avez la possibilité de fournir des données dans plusieurs modalités au sein d'une même requête, par exemple une combinaison d'images, d'audio et de texte, ou encore de vidéos, d'images et de texte.
L'exemple suivant illustre comment soumettre une image et un fichier audio dans une requête unique pour une analyse multimodale.

Compatible OpenAI

python
import os
from openai import OpenAI

client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # Région Singapour. Saisissez l’ID de votre espace de travail dans l’exemple. Les URL varient selon la région.
    base_url="https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1",
)

completion = client.chat.completions.create(
    model="qwen3.5-omni-plus",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20241022/emyrja/dog_and_girl.jpeg"
                    },
                },
                {
                    "type": "input_audio",
                    "input_audio": {
                        "data": "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250211/tixcef/cherry.wav",
                        "format": "wav"
                    },
                },
                {"type": "text", "text": "Describe the image content and tell me what the audio is about."},
            ],
        },
    ],
    modalities=["text", "audio"],
    audio={"voice": "Tina", "format": "wav"},
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in completion:
    if chunk.choices:
        print(chunk.choices[0].delta)
    else:
        print(chunk.usage)
  • Compatible OpenAI
python
import os
from openai import OpenAI

client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    base_url="https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1",
)

completion = client.chat.completions.create(
    model="qwen3.5-omni-plus",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20241022/emyrja/dog_and_girl.jpeg"
                    },
                },
                {
                    "type": "input_audio",
                    "input_audio": {
                        "data": "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250211/tixcef/cherry.wav",
                        "format": "wav"
                    },
                },
                {"type": "text", "text": "Describe the image content and tell me what the audio is about."},
            ],
        },
    ],
    modalities=["text", "audio"],
    audio={"voice": "Tina", "format": "wav"},
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in completion:
    if chunk.choices:
        print(chunk.choices[0].delta)
    else:
        print(chunk.usage)

Entrée unimodale

Chaque requête comprend du texte ainsi qu'une autre modalité (vidéo, audio ou image). Tous les modèles Qwen-Omni prennent en charge ce fonctionnement.
  • Entrée vidéo et texte
  • Entrée audio et texte
  • Entrée image et texte
Fournissez la vidéo sous forme de liste d'images ou de fichier vidéo (avec prise en charge de l'audio).
  • Fichier vidéo (prend en charge l'audio intégré)
  • Format de liste d'images
  • Nombre de fichiers :
    • Série Qwen3.5-Omni : jusqu'à 512 fichiers via des URL publiques et jusqu'à 250 fichiers avec l'encodage Base64.
    • Séries Qwen3-Omni-Flash : un seul fichier autorisé.
  • Taille des fichiers :
    • Via des URL publiques :
      • Série Qwen3.5-Omni : jusqu'à 2 Go
      • Qwen3-Omni-Flash : jusqu'à 256 Mo
    • Avec l'encodage Base64 : la chaîne Base64 encodée doit être inférieure à 10 Mo
  • Limites de durée :
    • Série Qwen3.5-Omni : 1 heure
    • Qwen3-Omni-Flash : 150 secondes
  • Formats de fichiers pris en charge : MP4, AVI, MKV, MOV, FLV et WMV.
  • Les informations visuelles et audio du fichier vidéo sont facturées séparément.
  • Compatible OpenAI
python
import os
from openai import OpenAI

client = OpenAI(
    # API keys for the Singapore and Beijing regions are different. Get an API key: https://www.alibabacloud.com/help/en/model-studio/get-api-key
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # Région Singapour. Saisissez l’ID de votre espace de travail dans l’exemple. Les URL varient selon la région.
    base_url="https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1",
)

completion = client.chat.completions.create(
    model="qwen3.5-omni-plus", # For Qwen3-Omni-Flash, run in non-thinking mode.
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "video_url",
                    "video_url": {
                        "url": "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20241115/cqqkru/1.mp4"
                    },
                },
                {"type": "text", "text": "What is the video about?"},
            ],
        },
    ],
    # Set the output modality. Two options are currently supported: ["text","audio"] and ["text"]
    modalities=["text", "audio"],
    audio={"voice": "Tina", "format": "wav"},
    # stream must be set to True, otherwise an error occurs.
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in completion:
    if chunk.choices:
        print(chunk.choices[0].delta)
    else:
        print(chunk.usage)
Si une requête signale une erreur de décodage vidéo, telle que Invalid data found when processing input, vérifiez le fichier localement, puis réencodez-le. Les commandes suivantes nécessitent FFmpeg avec l’encodeur libx264.
  1. Vérifiez que le fichier entier peut être décodé. -xerror arrête le traitement en cas d’erreur et -f null - supprime la sortie sans créer de fichier. Si la commande se termine normalement, sans erreur, le fichier a réussi cette vérification de décodage.
    ffmpeg -v error -xerror -i input.mp4 -f null -
    
  2. Réencodez la vidéo en H.264 et l’audio en AAC. Enregistrez le résultat dans un nouveau fichier pour conserver l’original.
    ffmpeg -i input.mp4 -c:v libx264 -c:a aac reencoded.mp4
    
  3. Vérifiez à nouveau le fichier obtenu. Une fois la vérification réussie et la durée, l’image et le son contrôlés, importez-le à nouveau et relancez la requête au modèle.
    ffmpeg -v error -xerror -i reencoded.mp4 -f null -
    
Le réencodage ne restaure pas le contenu perdu. Si des images ou du son manquent encore, ou si l’image reste déformée, exportez à nouveau la vidéo à partir des fichiers source.

Recherche web

La série Qwen3.5-Omni prend en charge la recherche web pour récupérer des informations en temps réel et effectuer un raisonnement.
  • Cette fonctionnalité est disponible uniquement avec la série Qwen3.5-Omni. Le paramètre search_strategy accepte exclusivement la valeur agent.
  • Pour plus de détails sur la facturation, consultez la politique agent dans la rubrique Facturation.
Pour activer la recherche web, définissez les paramètres enable_search et search_strategy sur agent :
  • OpenAI compatible
python
# Prerequisites:
# pip install openai

import os
from openai import OpenAI

# Initialize the client
client = OpenAI(
    # API Keys differ between Singapore and Beijing regions. Get API Key:https://www.alibabacloud.com/help/en/model-studio/get-api-key
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # Région Singapour. Saisissez l’ID de votre espace de travail dans l’exemple. Les URL varient selon la région.
    base_url="https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1",
)

# Send request (with web search enabled)
try:
    completion = client.chat.completions.create(
        model="qwen3.5-omni-plus",
        messages=[{
            "role": "user",
            "content": "What is today's date and day of the week, and what important holidays are there today?"
        }],
        stream=True,
        stream_options={"include_usage": True},
        # Enable web search
        extra_body={
            "enable_search": True
        }
    )

    print("Model response (with real-time information):")
    for chunk in completion:
        if chunk.choices and chunk.choices[0].delta.content:
            print(chunk.choices[0].delta.content, end="")
    print()

except Exception as e:
    print(f"Request failed:{e}")

Activer ou désactiver le mode de réflexion

Au sein de la série Qwen-Omni, seul le modèle Qwen3-Omni-Flash est un modèle de réflexion hybride. Utilisez le paramètre enable_thinking pour activer ou désactiver ce mode :
  • true
  • false (valeur par défaut)
En mode de réflexion, la sortie audio n'est pas prise en charge.
  • OpenAI compatible
python
import os
from openai import OpenAI

client = OpenAI(
    # API keys for the Singapore and Beijing regions are different. Get an API key: https://www.alibabacloud.com/help/en/model-studio/get-api-key
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # Région Singapour. Saisissez l’ID de votre espace de travail dans l’exemple. Les URL varient selon la région.
    base_url="https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1",
)

completion = client.chat.completions.create(
    model="qwen3-omni-flash",
    messages=[{"role": "user", "content": "Who are you?"}],

    extra_body={'enable_thinking': True},

    # Set the output modality. Two options are supported in non-thinking mode: ["text","audio"] and ["text"]. Only ["text"] is supported in thinking mode.
    modalities=["text"],

    # Set the voice. The audio parameter is not supported in thinking mode.
    # audio={"voice": "Tina", "format": "wav"},
    # stream must be set to True, otherwise an error occurs.
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in completion:
    if chunk.choices:
        print(chunk.choices[0].delta)
    else:
        print(chunk.usage)
data: {"choices":[{"delta":{"content":null,"role":"assistant","reasoning_content":""},"index":0,"logprobs":null,"finish_reason":null}],"object":"chat.completion.chunk","usage":null,"created":1757937336,"system_fingerprint":null,"model":"qwen3-omni-flash","id":"chatcmpl-ce3d6fe5-e717-4b7e-8b40-3aef12288d4c"}
data: {"choices":[{"finish_reason":null,"logprobs":null,"delta":{"content":null,"reasoning_content":"Hmm"},"index":0}],"object":"chat.completion.chunk","usage":null,"reated":1757937336,"system_fingerprint":null,"model":"qwen3-omni-flash","id":"chatcmpl-ce3d6fe5-e717-4b7e-8b40-3aef12288d4c"}
data: {"choices":[{"delta":{"content":null,"reasoning_content":","},"finish_reason":null,"index":0,"logprobs":null}],"object":"chat.completion.chunk","usage":null,"reated":1757937336,"system_fingerprint":null,"model":"qwen3-omni-flash","id":"chatcmpl-ce3d6fe5-e717-4b7e-8b40-3aef12288d4c"}
......
data: {"choices":[{"delta":{"content":"Tell me"},"finish_reason":null,"index":0,"logprobs":null}],"object":"chat.completion.chunk","usage":null,"created":1757937336,"tem_fingerprint":null,"model":"qwen3-omni-flash","id":"chatcmpl-ce3d6fe5-e717-4b7e-8b40-3aef12288d4c"}
data: {"choices":[{"delta":{"content":"!"},"finish_reason":null,"index":0,"logprobs":null}],"object":"chat.completion.chunk","usage":null,"created":1757937336,"systm_fingerprint":null,"model":"qwen3-omni-flash","id":"chatcmpl-ce3d6fe5-e717-4b7e-8b40-3aef12288d4c"}
data: {"choices":[{"finish_reason":"stop","delta":{"content":"","reasoning_content":null},"index":0,"logprobs":null}],"object":"chat.completion.chunk","usage":null,"created":1757937336,"system_fingerprint":null,"model":"qwen3-omni-flash","id":"chatcmpl-ce3d6fe5-e717-4b7e-8b40-3aef12288d4c"}
data: {"choices":[],"object":"chat.completion.chunk","usage":{"prompt_tokens":11,"completion_tokens":363,"total_tokens":374,"completion_tokens_details":{"reasoning_tokens":195,"text_tokens":168},"prompt_tokens_details":{"text_tokens":11}},"created":1757937336,"system_fingerprint":null,"model":"qwen3-omni-flash","id":"chatcmpl-ce3d6fe5-e717-4b7e-8b40-3aef12288d4c"}

Conversation multi-tours

Lors de l'utilisation des modèles Qwen-Omni pour des conversations multi-tours, tenez compte des points suivants :
  • Message de l'assistant Les messages de l'assistant dans le tableau messages ne peuvent contenir que des données textuelles.
  • Message utilisateur Un message utilisateur peut combiner du texte avec une autre modalité. Au fil des tours de conversation, il est possible d'intégrer différentes modalités dans des messages utilisateurs distincts.
  • OpenAI compatible
python
import os
from openai import OpenAI

client = OpenAI(
    # API keys for the Singapore and Beijing regions are different. Get an API key: https://www.alibabacloud.com/help/en/model-studio/get-api-key
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # Région Singapour. Saisissez l’ID de votre espace de travail dans l’exemple. Les URL varient selon la région.
    base_url="https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1",
)

completion = client.chat.completions.create(
    model="qwen3.5-omni-plus", # For Qwen3-Omni-Flash, run in non-thinking mode.
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "input_audio",
                    "input_audio": {
                        "data": "https://dashscope.oss-cn-beijing.aliyuncs.com/audios/welcome.mp3",
                        "format": "mp3",
                    },
                },
                {"type": "text", "text": "What is this audio about"},
            ],
        },
        {
            "role": "assistant",
            "content": [{"type": "text", "text": "This audio says: Welcome to Alibaba Cloud"}],
        },
        {
            "role": "user",
            "content": [{"type": "text", "text": "Tell me about this company."}],
        },
    ],
    # Set the output modality. Two options are currently supported: ["text","audio"] and ["text"]
    modalities=["text"],
    # stream must be set to True, otherwise an error occurs.
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in completion:
    if chunk.choices:
        print(chunk.choices[0].delta)
    else:
        print(chunk.usage)

Analyse des données audio encodées en Base64 issues de la sortie

Les modèles Qwen-Omni produisent l'audio sous forme de flux de données encodées en Base64. Pendant la génération, maintenez une variable chaîne de caractères et ajoutez-y les données Base64 de chaque fragment retourné. Une fois la génération terminée, décodez la chaîne complète en Base64 pour obtenir le fichier audio. Vous pouvez également décoder et lire chaque fragment en temps réel.
python
# Installation instructions for pyaudio:
# APPLE Mac OS X
#   brew install portaudio
#   pip install pyaudio
# Debian/Ubuntu
#   sudo apt-get install python-pyaudio python3-pyaudio
#   or
#   pip install pyaudio
# CentOS
#   sudo yum install -y portaudio portaudio-devel && pip install pyaudio
# Microsoft Windows
#   python -m pip install pyaudio

import os
from openai import OpenAI
import base64
import numpy as np
import soundfile as sf

client = OpenAI(
    # API keys for the Singapore and Beijing regions are different. Get an API key: https://www.alibabacloud.com/help/en/model-studio/get-api-key
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # Région Singapour. Saisissez l’ID de votre espace de travail dans l’exemple. Les URL varient selon la région.
    base_url="https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1",
)

completion = client.chat.completions.create(
    model="qwen3.5-omni-plus", # For Qwen3-Omni-Flash, run in non-thinking mode.
    messages=[{"role": "user", "content": "Who are you?"}],
    # Set the output modality. Two options are currently supported: ["text","audio"] and ["text"]
    modalities=["text", "audio"],
    audio={"voice": "Tina", "format": "wav"},
    # stream must be set to True, otherwise an error occurs.
    stream=True,
    stream_options={"include_usage": True},
)

# Method 1: Decode after generation is complete
audio_string = ""
for chunk in completion:
    if chunk.choices:
        if hasattr(chunk.choices[0].delta, "audio"):
            try:
                audio_string += chunk.choices[0].delta.audio["data"]
            except Exception as e:
                print(chunk.choices[0].delta.content)
    else:
        print(chunk.usage)

wav_bytes = base64.b64decode(audio_string)
audio_np = np.frombuffer(wav_bytes, dtype=np.int16)
sf.write("audio_assistant_py.wav", audio_np, samplerate=24000)

# Method 2: Decode while generating (comment out the code for Method 1 to use Method 2)
# # Initialize PyAudio
# import pyaudio
# import time
# p = pyaudio.PyAudio()
# # Create an audio stream
# stream = p.open(format=pyaudio.paInt16,
#                 channels=1,
#                 rate=24000,
#                 output=True)

# for chunk in completion:
#     if chunk.choices:
#         if hasattr(chunk.choices[0].delta, "audio"):
#             try:
#                 audio_string = chunk.choices[0].delta.audio["data"]
#                 wav_bytes = base64.b64decode(audio_string)
#                 audio_np = np.frombuffer(wav_bytes, dtype=np.int16)
#                 # Play the audio data directly
#                 stream.write(audio_np.tobytes())
#             except Exception as e:
#                 print(chunk.choices[0].delta.content)

# time.sleep(0.8)
# # Clean up resources
# stream.stop_stream()
# stream.close()
# p.terminate()

Fichier local encodé en Base64 en entrée

Lors de l'envoi de fichiers via un encodage Base64, la chaîne Base64 résultante ne doit pas dépasser 10 Mo.
  • Images
  • Audio
  • Vidéo
Cet exemple utilise le fichier enregistré localement eagle.png.
python
import os
from openai import OpenAI
import base64

client = OpenAI(
    # API keys for the Singapore and Beijing regions are different. Get an API key: https://www.alibabacloud.com/help/en/model-studio/get-api-key
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # Région Singapour. Saisissez l’ID de votre espace de travail dans l’exemple. Les URL varient selon la région.
    base_url="https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1",
)

# Base64 encoding format
def encode_image(image_path):
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode("utf-8")

base64_image = encode_image("eagle.png")

completion = client.chat.completions.create(
    model="qwen3.5-omni-plus", # For Qwen3-Omni-Flash, run in non-thinking mode.
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image_url",
                    "image_url": {"url": f"data:image/png;base64,{base64_image}"},
                },
                {"type": "text", "text": "What scene is depicted in the image?"},
            ],
        },
    ],
    # Set the output modality. Two options are currently supported: ["text","audio"] and ["text"]
    modalities=["text", "audio"],
    audio={"voice": "Tina", "format": "wav"},
    # stream must be set to True, otherwise an error occurs.
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in completion:
    if chunk.choices:
        print(chunk.choices[0].delta)
    else:
        print(chunk.usage)

Référence de l'API

Pour consulter les paramètres d'entrée et de sortie, reportez-vous à Compatible OpenAI - Chat.

Facturation et limites de taux

Règles de facturation La facturation de Qwen-Omni repose sur les tokens consommés selon les modalités (audio, image et vidéo). Consultez les détails de facturation dans la console.
  • Audio
  • Images
  • Vidéo
  • Qwen3.5-Omni series :
    • Formule pour l'audio en entrée : Total tokens = Audio duration (seconds) * 7
    • Formule pour l'audio en sortie : Total tokens = Audio duration (seconds) * 12.5
  • Qwen3-Omni-Flash : Pour l'audio en entrée comme en sortie, Total tokens = Audio duration (seconds) * 12.5
Toute durée audio inférieure à 1 seconde est comptabilisée comme 1 seconde.
Quota gratuit Pour réclamer, consulter ou utiliser votre quota gratuit, reportez-vous à Quota gratuit pour les nouveaux utilisateurs. Limites de taux Pour connaître les règles de limitation de taux et consulter la FAQ, reportez-vous à Limitation de taux.

Codes d'erreur

Si l'appel du modèle échoue et renvoie un message d'erreur, consultez la rubrique Codes d'erreur pour obtenir une solution.

Liste des voix

Pour consulter la liste des voix disponibles pour le modèle Qwen-Omni, reportez-vous à la Liste des voix.