Événements client de Qwen-Omni-Realtime API.
Cette page est la référence des événements de Qwen-Omni-Realtime. Les définitions d’événements reposent sur la connexion WebSocket. AOQ et WebRTC utilisent leurs canaux de données respectifs pour envoyer et recevoir les événements du modèle, et les pistes de médias pour transmettre les médias. Lisez d’abord Connexion WebSocket, Connexion WebRTC ou Connexion AOQ.
session.update
Après avoir ouvert la connexion WebSocket, vous pouvez envoyer session.update pour configurer la session. Pour modifier ensuite la configuration, envoyez seulement les paramètres à changer ; les autres conservent leur valeur actuelle.
Le serveur valide les paramètres reçus. Si la validation réussit, il renvoie la configuration complète mise à jour dans session.updated. Si elle échoue, il renvoie un événement error.
typestring(obligatoire)Type de l'événement. La valeur doit être session.update. | |
sessionobject(facultatif)Configuration de la session.Pour Qwen3.8-Omni-Flash-Realtime, session est obligatoire lors de la mise à jour d’une session. La limite totale des tokens d’entrée est de 196608, calculée selon les mêmes règles que Qwen3.5-Omni-Realtime.
Propriétés modalities array(facultatif)Modalités de sortie du modèle. Valeurs autorisées :
string(facultatif)Voix utilisée pour la sortie audio du modèle. Pour les voix prises en charge, consultez Liste des voix.Voix par défaut :
object (facultatif)Configuration audio d’entrée et de sortie. Les champs omis conservent leurs valeurs par défaut existantes.
Propriétés input object (facultatif)Configuration audio d’entrée utilisateur.
Propriétés format object (facultatif)Format d’entrée et fréquence d’échantillonnage. Configurez-les pendant que la session est à l’état IDLE, avant l’envoi du premier segment audio. Ils ne peuvent plus changer après le début de l’entrée audio.
Propriétés type string (facultatif)Pour qwen3.5-omni-plus-realtime et qwen3.5-omni-flash-realtime : pcm (par défaut, PCM brut mono 16-bit) ou wav (PCM mono 16-bit dans un conteneur WAV). L’entrée multicanal de Qwen3.8-Omni-Flash-Realtime nécessite pcm, qui est la valeur par défaut.sample_rateinteger (facultatif)Pour qwen3.5-omni-plus-realtime et qwen3.5-omni-flash-realtime : 8000, 16000 (par défaut), 24000 ou 48000 Hz. L’entrée multicanal de Qwen3.8-Omni-Flash-Realtime nécessite 16000 Hz, qui est la valeur par défaut.Les quatre champs suivants s’appliquent à l’entrée multicanal Qwen3.8-Omni-Flash-Realtime sur WebSocket :sample_formatstring (facultatif)Format des échantillons PCM. Seul s16le est pris en charge ; valeur par défaut : s16le.channelsinteger (facultatif)Nombre de canaux d’entrée : 1 (par défaut), 2 ou 4. L’audio spatial à deux ou quatre canaux utilise deux fois plus de tokens d’entrée que l’audio ordinaire. Consultez Calcul des tokens.packingstring (facultatif)Organisation des échantillons. Seul interleaved est pris en charge ; valeur par défaut : interleaved.channel_layoutstring (facultatif)La valeur par défaut dépend de channels : mono pour un canal, raw_mic_array pour deux et foa_ambix pour quatre. Une valeur explicite doit correspondre à channels.L’entrée multicanal nécessite des échantillons PCM à 16000 Hz, s16le et interleaved. Les champs omis utilisent leurs valeurs par défaut ; les champs fournis doivent avoir des types et valeurs valides. N’envoyez pas null au lieu d’omettre un champ.object (facultatif)Configuration audio de sortie du modèle.
Propriétés format object (facultatif)Format de sortie et fréquence d’échantillonnage. Configurez-les au début de la session, avant toute interaction audio.
Propriétés type string (facultatif)Pour qwen3.5-omni-plus-realtime et qwen3.5-omni-flash-realtime : pcm (par défaut, PCM brut mono 16-bit) ou wav (PCM mono 16-bit dans un conteneur WAV).sample_rateinteger (facultatif)Pour qwen3.5-omni-plus-realtime et qwen3.5-omni-flash-realtime : 8000, 16000, 24000 (par défaut) ou 48000 Hz.string (facultatif)Pour Qwen3.8-Omni-Flash-Realtime, la voix de sortie par défaut est Tina. Consultez la liste des voix pour les voix disponibles et leurs valeurs voice. session.voice reste disponible pour les intégrations existantes. Pour les nouvelles intégrations, utilisez session.audio.output.voice. Si les deux champs sont définis, la sortie audio utilise la voix indiquée par session.audio.output.voice.object | null (facultatif)Configuration de transcription de l’audio d’entrée. Définissez-la sur null pour la désactiver.
Propriétés model string (obligatoire)La valeur est fixée à qwen3-asr-flash-realtime. Définissez {"model":"qwen3-asr-flash-realtime"} pour activer la transcription ; la valeur de model ne peut pas être modifiée. enable_input_audio_transcription du SDK Python est un argument de la méthode update_session, et non un champ de premier niveau de session.update.string(facultatif)Format de l'audio d'entrée utilisateur. Seul le format pcm est actuellement pris en charge. L'audio d'entrée doit être un flux audio PCM avec une fréquence d'échantillonnage de 16 kHz.output_audio_formatstring(facultatif)Format de l'audio de sortie du modèle. Seul le format pcm est actuellement pris en charge. L'audio de sortie est un flux audio PCM avec une fréquence d'échantillonnage de 24 kHz.smooth_outputboolean | null(facultatif)S'applique uniquement au modèle qwen3-omni-flash-realtime-2025-09-15.Active ou non un style de réponse conversationnel. Valeurs autorisées :
string(facultatif)Message système qui définit le rôle ou l'objectif du modèle. Toute nouvelle valeur de instructions remplace entièrement la valeur précédente de instructions, sans y ajouter de contenu. Pour garder le rôle, envoyez sa configuration existante avec les nouvelles exigences.turn_detectionobject(facultatif)Configuration de la détection d'activité vocale (VAD). Lors de la configuration initiale de la session, omettre ce champ active le VAD avec les paramètres par défaut. Définissez-le sur null pour désactiver le VAD et laisser le client déclencher les réponses du modèle manuellement.
Propriétés type string(facultatif)Type de VAD. Valeurs autorisées :
float(facultatif)Sensibilité du VAD. Une valeur plus faible rend le VAD plus sensible, augmentant la probabilité de détecter des sons faibles comme de la parole, y compris le bruit de fond. Une valeur plus élevée nécessite une parole plus claire et plus forte pour déclencher la détection.Plage valide : [-1.0, 1.0]. Valeur par défaut : 0,5.silence_duration_msinteger(facultatif)Durée minimale de silence après la fin de la parole, en millisecondes. Au-delà de ce seuil, le modèle génère une réponse. Une valeur plus faible accélère les réponses mais peut provoquer des déclenchements intempestifs lors de brèves pauses.Valeur par défaut : 800. Plage valide : [200, 6000].idle_timeout_msinteger(facultatif)S'applique uniquement aux modèles qwen3.5-omni-plus-realtime et qwen3.5-omni-flash-realtime en mode server_vad.Délai d'inactivité en millisecondes. Une fois la lecture audio terminée par le serveur, si l'utilisateur reste silencieux au-delà de cette durée (aucun événement speech.started n'est déclenché), le modèle génère proactivement une réponse pour inviter l'utilisateur à poursuivre la conversation en fonction du contexte actuel. Ce délai commence après la fin de la lecture audio de la dernière réponse du modèle.Plage valide : [5000, 30000].boolean(facultatif)S'applique uniquement à la série Qwen3.5-Omni-Realtime.Active ou non la recherche web. Valeur par défaut : false. Lorsque cette option est activée, le modèle décide de manière autonome d'effectuer une recherche pour répondre aux questions en temps réel.Les outils (tools) et enable_search sont incompatibles. Ne les activez pas simultanément.search_options object(facultatif)Configuration de la recherche web. Prend effet uniquement lorsque enable_search est activé.
Propriétés enable_source boolean(facultatif)Indique s'il faut retourner la liste des sources des résultats de recherche. Définissez cette valeur sur true pour activer l'option.object (facultatif)Configuration de l’entrée vidéo pour Qwen3.8-Omni-Flash-Realtime.
Propriétés input object (facultatif)Paramètres d’entrée vidéo.
Propriétés representation_compact string (facultatif)Agrégation des représentations vidéo. La valeur initiale par défaut de la session est none, qui conserve tous les détails fins de l’entrée. normal agrège les représentations pour réduire le calcul lorsque les détails visuels fins sont inutiles ; pour la même vidéo d’entrée, il utilise un quart des tokens de none. Consultez Calcul des tokens. Définissez ce champ avant le premier segment audio ; il ne peut plus changer après le début de l’entrée audio.array(facultatif)Liste des définitions d’outils. Le modèle décide d’appeler un outil selon l’entrée utilisateur. Pour Qwen3.8-Omni-Flash-Realtime, les outils Function Calling et MCP peuvent être configurés dans la même session. Les éléments du tableau sont distingués par type ; tools et enable_search ne peuvent pas être activés ensemble.
Properties type string (obligatoire)La valeur doit être function.functionobject (obligatoire)Définition de la fonction personnalisée.
Propriétés name string (obligatoire)Nom de la fonction de l'outil, correspondant au nom réel de la fonction, tel que get_current_weather ou get_current_time.descriptionstring (facultatif)Description de la fonction. Le modèle l’utilise pour décider d’appeler l’outil.parametersobject (facultatif)Description des paramètres d'entrée de l'outil. Le modèle s'en sert pour extraire les valeurs des paramètres à partir de l'entrée utilisateur. Omettez ce champ si l'outil ne prend aucune entrée.
Propriétés type string (obligatoire)La valeur doit être object.propertiesobject (facultatif)Définit chaque paramètre d’entrée par son nom. Dans l’exemple à droite, location est un nom de paramètre personnalisé ; son type et sa description décrivent le type de données et son rôle.requiredarray (facultatif)Indique les paramètres obligatoires.
MCP (type=mcp) Pour le déroulement de la configuration et des appels MCP de Qwen3.8-Omni-Flash-Realtime, consultez Déroulement des interactions.Les champs obligatoires doivent être fournis lorsque cet élément MCP est présent dans le tableau. Chaque ajout ou mise à jour nécessite à la fois server_label et server_url ; le seul libellé ne permet pas de réutiliser une configuration existante. Mettez à jour la configuration MCP uniquement en l’absence de Response active. Les connexions, la découverte et les appels sont soumis à des quotas et délais d’attente. Consultez Limites des appels MCP.typestring (obligatoire)Doit valoir mcp.server_labelstring (obligatoire)Libellé unique du serveur MCP dans la session. Longueur : 1–64 caractères ; uniquement des lettres, chiffres, traits de soulignement et traits d’union.server_urlstring (obligatoire)Point de terminaison MCP Streamable HTTP. Doit être une adresse HTTPS publique sur le port 443, d’au plus 4096 caractères, sans nom d’utilisateur, mot de passe ou fragment. Son domaine doit se résoudre vers des adresses publiques.authorizationstring (facultatif)Valeur Authorization sortante, jusqu’à 8192 caractères ASCII imprimables.headersobject (facultatif)En-têtes HTTP sortants supplémentaires, jusqu’à 16 paires chaîne-chaîne. Les noms doivent comporter 1–128 caractères autorisés dans les noms d’en-têtes HTTP standard. Les valeurs doivent être en ASCII imprimable et comporter au plus 8192 caractères.Les noms ne peuvent pas commencer par mcp-, proxy- ou x-forwarded-, ni être égaux à host, authorization, connection, content-length, transfer-encoding, accept, content-type, forwarded, cookie, origin, upgrade, te ou trailer.allowed_toolsarray of strings (facultatif)Filtre appliqué après la découverte. L’omission autorise tous les outils ; un tableau vide n’en expose aucun. Chaque nom comporte 1–64 caractères, avec uniquement des lettres, chiffres, traits de soulignement, points et traits d’union.require_approvalstring (facultatif)Politique d’approbation : always (par défaut) ou never.server_url, authorization et headers sont utilisés uniquement pour la connexion côté serveur et ne sont pas renvoyés dans session.updated. Ne reconstituez pas les paramètres sensibles à partir de cet événement. | |
temperaturefloat(facultatif)Température d'échantillonnage contrôlant la diversité des sorties. Une valeur élevée produit un contenu plus varié, tandis qu'une valeur faible génère des sorties plus déterministes.Plage valide : [0, 2).Puisque temperature et top_p contrôlent tous deux la diversité, n'en configurez qu'un seul.Valeurs par défaut :
| |
top_pfloat(facultatif)Seuil de probabilité pour l'échantillonnage nucléaire, contrôlant la diversité des sorties. Une valeur élevée produit un contenu plus varié, tandis qu'une valeur faible génère des sorties plus déterministes.Plage valide : (0, 1.0].Puisque temperature et top_p contrôlent tous deux la diversité, n'en configurez qu'un seul.Valeurs par défaut :
| |
top_kinteger(facultatif)Taille de l'ensemble de candidats pour l'échantillonnage. Par exemple, une valeur de 50 limite chaque étape de génération aux 50 tokens ayant obtenu le meilleur score. Une valeur plus grande augmente l'aléatoire, tandis qu'une valeur plus petite accroît le déterminisme. Définissez cette valeur sur null ou sur une valeur supérieure à 100 pour désactiver top_k ; dans ce cas, seul top_p s'applique.Valeur minimale : 0.Valeurs par défaut :
| |
max_tokensinteger(facultatif)Nombre maximal de tokens à retourner.Le paramètrePour qwen3.8-omni-flash-realtime, la plage valide est [1, 65536]. Pour les autres modèles, les valeurs par défaut et maximale sont égales à la longueur de sortie maximale du modèle. Consultez Liste des modèles.Utilisez max_tokens pour limiter la longueur de sortie lors de tâches telles que le résumé, l’extraction de mots-clés, le contrôle des coûts ou la réduction de latence. | |
repetition_penaltyfloat(facultatif)Contrôle la répétition dans la sortie du modèle. Une valeur plus élevée réduit les répétitions ; 1.0 signifie aucune pénalité. qwen3.8-omni-flash-realtime accepte également 0. Pour les autres modèles, la valeur doit être supérieure à 0.Valeurs par défaut :
| |
presence_penalty float(facultatif)Contrôle la répétition du contenu dans la sortie du modèle.Plage valide : [-2.0, 2.0]. Une valeur positive réduit les répétitions, tandis qu'une valeur négative les augmente.Valeurs par défaut :
| |
seedinteger(facultatif)Rend la génération plus déterministe. Fournissez la même valeur de seed avec des paramètres inchangés pour obtenir des résultats cohérents entre plusieurs exécutions.Plage valide : 0 à 231−1. Valeur par défaut : -1. |
Exemple de configuration des outils
Remplacez le point de terminaison, les informations d’authentification et le nom d’outil par ceux de votre serveur MCP.
Exemples de configuration audio
Configuration à deux canaux :
session.audio.output.voice utilisant la voix Long An Ling Xin, dont la valeur voice est longanlingxin :
Exemple de configuration vidéo
Exemple d’agrégation vidéo :
response.create
L’événement response.create demande au serveur de générer une réponse du modèle. En mode VAD, le serveur démarre normalement les réponses selon l’activité vocale ; les continuations avec des outils suivent le déroulement explicite ci-dessous. Pour Function Calling, envoyez cet événement après avoir renvoyé le résultat de l’outil via conversation.item.create pour poursuivre la génération. Pour les outils MCP de Qwen3.8-Omni-Flash-Realtime, le serveur exécute l’appel ; si une continuation du modèle est nécessaire, envoyez un seul response.create après le response.done de la Response contenant cet appel MCP, sans joindre les résultats MCP.
Le serveur répond par un événement response.created, suivi d'un ou plusieurs événements d'élément et de contenu — tels que conversation.item.created et response.content_part.added — et enfin un événement response.done.
typestring(obligatoire)Type de l'événement. La valeur doit être response.create. |
response.cancel
Envoyez cet événement pour annuler une réponse en cours. Si aucune réponse n'est en cours de génération, le serveur renvoie une erreur.
typestring(obligatoire)Type de l'événement. La valeur doit être response.cancel. |
input_audio_buffer.append
Pour une connexion WebSocket, ajoute des octets audio au tampon audio d’entrée.
typestring(obligatoire)Type de l'événement. La valeur doit être input_audio_buffer.append. | |
audiostring(obligatoire)Données audio encodées en Base64. |
input_audio_buffer.commit
Valide le tampon audio d'entrée, créant ainsi un nouvel élément de message utilisateur dans la conversation. Si le tampon est vide, le serveur renvoie une erreur.
- Mode VAD : Le client n'a pas besoin d'envoyer cet événement. Le serveur valide le tampon audio automatiquement.
- Mode manuel : Le client doit valider le tampon audio pour créer un élément de message utilisateur.
input_audio_buffer.committed.
Si le client a envoyé un événement input_image_buffer.append , l'événement input_audio_buffer.commit valide également le tampon d'images.
typestring(obligatoire)Type de l'événement. La valeur doit être input_audio_buffer.commit. |
input_audio_buffer.clear
Efface les octets audio du tampon. Le serveur répond par un événement input_audio_buffer.cleared.
typestring(obligatoire)Type de l'événement. La valeur doit être input_audio_buffer.clear. |
input_image_buffer.append
Pour une connexion WebSocket, ajoute des données image au tampon d’images. Les images peuvent provenir d’un fichier local ou être capturées en temps réel depuis un flux vidéo.
Les limites suivantes s'appliquent aux entrées d'images :
- Format : JPG ou JPEG. Résolution recommandée : 480p ou 720p ; maximum : 1080p.
- Une image unique après encodage Base64 ne doit pas dépasser 256 Ko. Nous recommandons de conserver la taille de l'image brute sous 190 Ko avant l'encodage.
- Les données d'image doivent être encodées en Base64.
- Fréquence d'envoi recommandée : 1 image par seconde.
- Envoyez au moins un événement
input_audio_buffer.appendavant d'envoyer un événementinput_image_buffer.append.
Le tampon d'images est validé conjointement avec le tampon audio via l'événement input_audio_buffer.commit .
typestring(obligatoire)Type de l'événement. La valeur doit être input_image_buffer.append. | |
imagestring(obligatoire)Données d'image encodées en Base64. |
conversation.item.create
Envoyez cet événement pour créer un élément de conversation : un résultat Function Calling ou, pour Qwen3.8-Omni-Flash-Realtime, une réponse d’approbation MCP. Pour Function Calling, exécutez l’outil localement, renvoyez son résultat comme function_call_output, puis envoyez response.create. Le serveur exécute les outils MCP ; utilisez mcp_approval_response pour l’approbation et suivez la séquence de continuation de la réponse d’approbation.
event_idstring (facultatif)ID d’événement généré par le client pour le suivi.typestring(obligatoire)Type de l'événement. La valeur doit être conversation.item.create. | |
itemobject(obligatoire)Élément de conversation à créer. Ne peut pas être vide.
Propriétés id string (facultatif)ID de l'élément de conversation. Spécifiez-en un pour l'aligner sur l'état local ; sinon, le serveur en génère un.typestring (obligatoire)Utilisez function_call_output pour un résultat Function Calling ou mcp_approval_response pour une réponse d’approbation MCP de Qwen3.8-Omni-Flash-Realtime.call_idstring (conditionally required)Obligatoire uniquement pour function_call_output. Utilisez le call_id renvoyé dans response.function_call_arguments.done.outputstring (conditionally required)Obligatoire uniquement pour function_call_output. Résultat de l’exécution de la fonction d’outil.approval_request_idstring (conditionally required)Obligatoire uniquement pour mcp_approval_response. Doit correspondre exactement à l’item.id d’une mcp_approval_request non traitée.approveboolean (conditionally required)Obligatoire uniquement pour mcp_approval_response. true autorise l’exécution ; false rejette l’appel, qui passe à failed. |
Réponse d’approbation MCP (Qwen3.8-Omni-Flash-Realtime)
Lorsque require_approval vaut always ou est omis, le serveur peut envoyer mcp_approval_request. Répondez avec les champs conversation.item.create ci-dessus et item.type="mcp_approval_response". Le serveur exécute l’outil MCP. Si une continuation du modèle est nécessaire, attendez le response.done de la Response contenant cet appel MCP, puis envoyez un seul response.create sans résultats MCP.
Les ID de demande d’approbation, d’élément et d’événement renvoyés par le serveur sont des chaînes opaques. Ne vous appuyez pas sur leur longueur, leur préfixe ou leurs règles de génération.
Consultez Qwen-Omni-Realtime.