Cette rubrique décrit les événements du serveur de l'API de traduction audio et vidéo en temps réel Qwen, notamment leurs types, paramètres et exemples.
Référence : Traduction audio et vidéo en temps réel - Qwen
Cette page est la référence des événements de Qwen-LiveTranslate-Realtime. Les définitions d’événements reposent sur la connexion WebSocket. AOQ et WebRTC utilisent leurs canaux de données respectifs pour envoyer et recevoir les événements du modèle, et les pistes de médias pour transmettre les médias. Lisez d’abord Connexion WebSocket, Connexion WebRTC ou Connexion AOQ.
error
Message d'erreur renvoyé par le serveur.
event_idstringIdentifiant unique de cet événement. | |
typestringType de l'événement. La valeur est toujours error. | |
errorobjectInformations détaillées sur l'erreur.
Properties type stringType de l'erreur.codestringCode d'erreur.messagestringMessage d'erreur.paramstringParamètre associé à l'erreur, par exemple session.modalities. |
session.created
Lorsqu'un client se connecte, le serveur renvoie d'abord cet événement avec la configuration de session par défaut.
event_idstringIdentifiant unique de cet événement. | S'applique à qwen3.8-livetranslate-flash-realtime.qwen3.5-livetranslate-flash-realtime : |
typestringType de l'événement. La valeur est toujours session.created. | |
sessionobjectConfiguration de la session.
Properties id stringIdentifiant unique de la session.objectstringLa valeur est toujours realtime.session.modelstringModèle utilisé.input_modalitiesarrayS'applique à qwen3.8-livetranslate-flash-realtime. Modalités d'entrée, par exemple ["audio"].output_modalitiesarrayS'applique à qwen3.8-livetranslate-flash-realtime. Modalités de sortie : ["text"] ou ["text", "audio"].audioobjectS'applique à qwen3.8-livetranslate-flash-realtime. Configuration audio d'entrée et de sortie.
Propriétés input.format objectFormat d'entrée. La valeur par défaut de type est pcm et celle de sample_rate est 16000 Hz.input.turn_detectionobjectConfiguration de détection des tours. Par défaut, type est speaker_detection, threshold est 0.5 et silence_duration_ms est 1000.output.formatobjectFormat de sortie. La valeur par défaut de type est pcm et celle de sample_rate est 24000 Hz.output.voicestringVoix de sortie. La valeur par défaut est Tina.arrayS'applique aux modèles tels que qwen3.5-livetranslate-flash-realtime.Paramètres de modalité de sortie du modèle.voicestringS'applique aux modèles tels que qwen3.5-livetranslate-flash-realtime.Voix utilisée pour l'audio généré par le modèle.input_audio_formatstringS'applique aux modèles tels que qwen3.5-livetranslate-flash-realtime.Format de l'audio d'entrée. La valeur par défaut est pcm.sample_rateintegerS'applique aux modèles tels que qwen3.5-livetranslate-flash-realtime.Fréquence d'échantillonnage de l'audio d'entrée, en Hz.output_audio_formatstringS'applique aux modèles tels que qwen3.5-livetranslate-flash-realtime.Format de l'audio de sortie. La valeur par défaut est pcm.turn_detectionobjectS'applique aux modèles tels que qwen3.5-livetranslate-flash-realtime.Configuration VAD (Voice Activity Detection).translationobject(Optional)Configuration de la traduction.
Properties language string (Optional)Langue cible pour la traduction.corpusobject(Optional)Configuration de terminologie personnalisée pour améliorer la précision de la traduction des termes spécifiques au domaine.
Properties corpus.phrases object(Optional)Mappage des termes de la langue source vers leurs traductions dans la langue cible. Pour plus de détails, consultez Langues prises en charge. |
session.updated
Renvoyé après une requête session.update réussie. Si la requête échoue, un événement error est renvoyé à la place.
event_idstringIdentifiant unique de cet événement. | S'applique à qwen3.8-livetranslate-flash-realtime.qwen3.5-livetranslate-flash-realtime : |
typestringType de l'événement. La valeur est toujours session.updated. | |
sessionobjectConfiguration de la session.
Properties id stringIdentifiant unique de la session.objectstringLa valeur est toujours realtime.session.modelstringModèle utilisé.input_modalitiesarrayS'applique à qwen3.8-livetranslate-flash-realtime. Modalités d'entrée, par exemple ["audio"].output_modalitiesarrayS'applique à qwen3.8-livetranslate-flash-realtime. Modalités de sortie : ["text"] ou ["text", "audio"].audioobjectS'applique à qwen3.8-livetranslate-flash-realtime. Configuration audio d'entrée et de sortie.
Propriétés input.format objectFormat d'entrée. La valeur par défaut de type est pcm et celle de sample_rate est 16000 Hz.input.turn_detectionobjectConfiguration de détection des tours. Par défaut, type est speaker_detection, threshold est 0.5 et silence_duration_ms est 1000.output.formatobjectFormat de sortie. La valeur par défaut de type est pcm et celle de sample_rate est 24000 Hz.output.voicestringVoix de sortie. La valeur par défaut est Tina.arrayS'applique aux modèles tels que qwen3.5-livetranslate-flash-realtime.Paramètres de modalité de sortie du modèle.voicestringS'applique aux modèles tels que qwen3.5-livetranslate-flash-realtime.Voix utilisée pour l'audio généré par le modèle.sample_rateinteger(Optional)S'applique aux modèles tels que qwen3.5-livetranslate-flash-realtime.Fréquence d'échantillonnage de l'audio d'entrée, en Hz.input_audio_formatstringS'applique aux modèles tels que qwen3.5-livetranslate-flash-realtime.Format de l'audio d'entrée. La valeur est toujours pcm.output_audio_formatstringS'applique aux modèles tels que qwen3.5-livetranslate-flash-realtime.Format de l'audio de sortie. La valeur est toujours pcm.input_audio_transcriptionobjectConfiguration de la transcription audio d'entrée. Renvoyée uniquement lorsque le paramètre input_audio_transcription.model est configuré dans la session.
Properties model stringModèle de reconnaissance vocale.languagestringLangue de reconnaissance vocale configurée.objectS'applique aux modèles tels que qwen3.5-livetranslate-flash-realtime.Configuration VAD (Voice Activity Detection). Ce champ n'est pas renvoyé en mode manuel (lorsque le client définit ce paramètre sur null dans session.update).
Properties type stringType de VAD. La valeur est toujours server_vad.thresholdfloatSensibilité de détection du VAD.prefix_padding_msintegerDurée d'audio (en millisecondes) conservée avant le début de la parole, afin d'éviter de perdre le début de l'énoncé.silence_duration_msintegerDurée minimale de silence (en millisecondes) requise après la fin de la parole pour considérer que l'énoncé est terminé.create_responsebooleanIndique s'il faut déclencher automatiquement une réponse de traduction après que le VAD a détecté la fin de la parole.interrupt_responsebooleanIndique s'il faut interrompre la réponse de traduction en cours de génération lorsque le VAD détecte un nouveau tour de parole.object(Optional)Configuration de la traduction.
Properties language string (Optional)Langue cible pour la traduction.corpusobject(Optional)Configuration de terminologie personnalisée pour améliorer la précision de la traduction des termes spécifiques au domaine.
Properties corpus.phrases object(Optional)Mappage des termes de la langue source vers leurs traductions dans la langue cible.booleanIndique si le clonage vocal est activé.voice_clone_optionsobjectParamètres de contrôle du clonage vocal. Renvoyés uniquement lorsque enable_voice_clone est défini sur true.
Properties frequency stringFréquence du clonage vocal. |
session.finished
La session est terminée et toutes les traductions audio sont achevées.
Cet événement est renvoyé après l’envoi de session.finish par le client. Après réception, si une lecture est nécessaire, le client doit terminer la lecture locale de l’audio traduit restant avant de se déconnecter volontairement.
event_idstringIdentifiant unique de cet événement. | |
typestringType de l'événement. La valeur est toujours session.finished. |
response.created
Renvoyé lorsque le serveur génère une nouvelle réponse du modèle.
event_idstringIdentifiant unique de cet événement. | |
typestringType de l'événement. La valeur est toujours response.created. | |
responseobjectObjet de réponse.
Properties id stringIdentifiant unique de la réponse.conversation_id stringIdentifiant unique de la session en cours.object stringType d'objet. Pour cet événement, la valeur est toujours realtime.response.status stringÉtat de la réponse. Valeurs valides :
arrayModalité de la réponse.voice stringVoix de l'audio généré.output_audio_format stringFormat de l'audio de sortie.output arrayCet événement est actuellement vide. |
response.done
Renvoyé une fois la génération de la réponse terminée. Contient tous les éléments de sortie, à l'exception des données audio brutes.
event_id stringIdentifiant unique de cet événement. | |
type stringType de l'événement. La valeur est toujours response.done. | |
response objectObjet de réponse.
Properties id stringIdentifiant unique de la réponse.conversation_id stringIdentifiant unique de la session en cours.object stringType d'objet. Pour cet événement, la valeur est toujours realtime.response.status stringÉtat de la réponse.modalities arrayModalité de la réponse.voice stringVoix utilisée pour l'audio généré par le modèle.output_audio_format stringFormat de l'audio de sortie.output objectSortie de la réponse.
Properties id stringIdentifiant unique de la sortie de réponse.type stringType de l'élément de sortie. Actuellement, la valeur est toujours message.object stringType d'objet de l'élément de sortie. Actuellement, la valeur est toujours realtime.item.status stringÉtat de l'élément de sortie.role stringRôle de l'élément de sortie.content arrayContenu de l'élément de sortie.
Properties type stringType du contenu de sortie. La valeur est text pour une sortie en texte brut et audio lorsque la sortie inclut de l'audio.text stringContenu textuel de la sortie.transcript stringTranscription textuelle du contenu audio.objectUtilisation cumulée des tokens de la session jusqu’à la réponse actuelle. Chaque response.done renvoie les valeurs cumulées à cet instant. Pour obtenir le total de la session, utilisez le dernier rapport usage sans additionner les rapports.
Propriétés total_tokens integerTotal des tokens d’entrée et de sortie, soit la somme de input_tokens et output_tokens.input_tokens integerNombre de tokens d’entrée.output_tokens integerNombre de tokens de sortie.input_tokens_details objectRépartition des tokens d’entrée.
Propriétés text_tokens integerTokens de texte du prompt système fixe du modèle. Non facturés.audio_tokens integerNombre de tokens audio en entrée.video_tokens integerNombre de tokens d’image en entrée, facturés comme entrée d’image.objectRépartition des tokens de sortie.
Propriétés text_tokens integerNombre de tokens de texte en sortie.audio_tokens integerNombre de tokens audio en sortie. |
response.text.text
Renvoyé pour les sorties texte uniquement, lorsque le modèle génère du texte de manière incrémentielle.
event_idstringIdentifiant unique de l'événement. | |
typestringType de l'événement. La valeur est toujours response.text.text. | |
textstringTexte incrémentiel renvoyé. | |
response_idstringID de la réponse. | |
item_idstringIdentifiant unique de l'élément de message. | |
output_indexintegerActuellement, la valeur est toujours 0. | |
content_indexintegerActuellement, la valeur est toujours 0. | |
stashstringTexte temporaire généré par le modèle. Concaténez stash avec le text actuel pour former un résultat intermédiaire. Le système met à jour text et stash en continu via des événements response.text.text jusqu'à la réception d'un événement response.text.done. Le texte final complet est alors disponible dans le champ text. |
response.text.done
Renvoyé lorsque la génération de texte se termine pour une sortie texte uniquement, ou si la réponse est interrompue, incomplète ou annulée.
event_idstringIdentifiant unique de cet événement. | |
typestringType de l'événement. La valeur est toujours response.text.done. | |
response_idstringIdentifiant unique de la réponse. | |
item_idstringIdentifiant unique de l'élément de message. | |
output_indexintegerActuellement, la valeur est toujours 0. | |
content_indexintegerActuellement, la valeur est toujours 0. | |
text stringTexte de sortie complet du modèle. |
response.audio.delta
Pour une connexion WebSocket, le serveur renvoie cet événement lorsque les modalités de sortie incluent l’audio et que le modèle génère de nouvelles données audio de manière incrémentale.
event_idstringIdentifiant unique de l'événement. | |
typestringType de l'événement. La valeur est toujours response.audio.delta. | |
response_idstringIdentifiant unique de la réponse. | |
item_idstringIdentifiant unique de l'élément de message. | |
| output_index integerLa valeur est toujours 0. | |
content_index integerLa valeur est toujours 0. | |
delta stringDonnées audio incrémentielles produites par le modèle. Les données sont encodées en Base64. |
response.audio.done
Renvoyé lorsque la génération audio est terminée. Également renvoyé si la réponse est interrompue, incomplète ou annulée. Ne contient pas les données audio complètes.
event_idstringIdentifiant unique de cet événement. | |
typestringType de l'événement. La valeur est toujours response.audio.done. | |
response_idstringIdentifiant unique de la réponse. | |
item_idstringIdentifiant unique de l'élément de message. | |
output_indexintegerLa valeur est toujours 0. | |
content_indexintegerLa valeur est toujours 0. |
input_audio_buffer.speech_started
Renvoyé lorsque le VAD (Voice Activity Detection) côté serveur détecte que l'utilisateur a commencé à parler.
event_idstringIdentifiant unique de cet événement. | |
typestringType de l'événement. La valeur est toujours input_audio_buffer.speech_started. | |
audio_start_msintegerInstant (en millisecondes) où le début de la parole a été détecté, exprimé en décalage par rapport au début du flux audio. | |
item_idstringIdentifiant unique de l'élément de message associé. |
input_audio_buffer.speech_stopped
Renvoyé lorsque le VAD côté serveur détecte que l'utilisateur a cessé de parler, indiquant la fin du tour de parole d'entrée en cours. Comme la réponse de traduction est générée de manière synchrone avec le flux audio d'entrée, la réponse de traduction effective peut avoir déjà commencé pendant le processus d'entrée vocale, sans qu'il soit nécessaire d'attendre cet événement.
event_idstringIdentifiant unique de cet événement. | |
typestringType de l'événement. La valeur est toujours input_audio_buffer.speech_stopped. | |
audio_end_msintegerInstant (en millisecondes) où la fin de la parole a été détectée, exprimé en décalage par rapport au début du flux audio. | |
item_idstringIdentifiant unique de l'élément de message associé. |
input_audio_buffer.committed
En mode manuel (lorsque turn_detection est défini sur null), après l'envoi d'un événement input_audio_buffer.commit par le client, le serveur renvoie cet événement comme confirmation et commence automatiquement à générer la réponse de traduction.
event_idstringIdentifiant unique de cet événement. | |
typestringType de l'événement. La valeur est toujours input_audio_buffer.committed. |
input_audio_buffer.cleared
Après l'envoi d'un événement input_audio_buffer.clear par le client, le serveur renvoie cet événement pour confirmer que les données audio non validées dans le tampon ont été effacées.
event_idstringIdentifiant unique de cet événement. | |
typestringType de l'événement. La valeur est toujours input_audio_buffer.cleared. |
conversation.item.created
Renvoyé lorsqu'un nouvel élément de message est créé dans la conversation. Cet événement se déclenche dans les scénarios suivants :
- Lorsque le serveur commence à générer une réponse de traduction, il crée un élément de message assistant correspondant (à ce stade,
contentest un tableau vide, et le contenu se remplit progressivement avec la réponse en streaming). - En mode manuel, après l'envoi d'un événement
input_audio_buffer.commitpar le client, le serveur crée en outre un élément de message correspondant à l'audio d'entrée de l'utilisateur (contentcontient{"type": "input_audio"}).
event_idstringIdentifiant unique de cet événement. | |
typestringType de l'événement. La valeur est toujours conversation.item.created. | |
itemobjectInformations sur l'élément de message.
Properties id stringIdentifiant unique de l'élément de message.typestringLa valeur est toujours message.objectstringLa valeur est toujours realtime.item.statusstringÉtat de l'élément de message.rolestringRôle du message. Valeurs valides : assistant ou user.contentarrayContenu du message. Lors de la création initiale d'une réponse, il s'agit d'un tableau vide qui se remplit progressivement avec la réponse en streaming. Pour les éléments de message utilisateur créés par validation en mode manuel, il contient {"type": "input_audio"}. |
conversation.item.input_audio_transcription.text
Lorsque input_audio_transcription.model est configuré, le serveur diffuse en streaming les résultats de reconnaissance vocale dans la langue source d'origine.
event_idstringIdentifiant unique de cet événement. | |
typestringType de l'événement. La valeur est toujours conversation.item.input_audio_transcription.text. | |
item_idstringIdentifiant unique de l'élément de message. | |
content_indexintegerActuellement, la valeur est toujours 0. | |
textstringTexte de reconnaissance confirmé. | |
stashstringTexte de reconnaissance en attente de confirmation. Ce texte peut être corrigé par des événements ultérieurs. | |
languagestringLangue source détectée. | |
emotionstringÉmotion détectée dans l'audio reconnu. Les émotions prises en charge sont les suivantes :
|
conversation.item.input_audio_transcription.completed
Lorsque input_audio_transcription.model est configuré, renvoie le résultat final de reconnaissance une fois la reconnaissance vocale terminée.
event_idstringIdentifiant unique de cet événement. | |
typestringType de l'événement. La valeur est toujours conversation.item.input_audio_transcription.completed. | |
item_idstringIdentifiant unique de l'élément de message. | |
content_indexintegerActuellement, la valeur est toujours 0. | |
transcriptstringRésultat complet de la reconnaissance vocale dans la langue source d'origine. | |
languagestringLangue source détectée. | |
emotionstringÉmotion détectée dans l'audio reconnu. Émotions prises en charge :
|
conversation.item.input_audio_transcription.failed
Renvoyé lorsqu'une entrée audio a été reçue mais que la reconnaissance vocale a échoué. Cet événement est traité séparément des autres événements error, ce qui permet au client d'identifier plus facilement l'élément spécifique associé.
typestringType de l'événement. La valeur est toujours conversation.item.input_audio_transcription.failed. | |
item_idstringID de l'élément de conversation associé. | |
content_indexintegerIndex de la partie de contenu contenant l'audio. | |
error.codestringCode d'erreur. | |
error.messagestringMessage d'erreur. |
response.audio_transcript.text
Renvoyé pour les sorties audio afin d'afficher la traduction en temps réel.
event_idstringIdentifiant unique de cet événement. | |
typestringType de l'événement. La valeur est toujours response.audio_transcript.text. | |
response_idstringIdentifiant unique de la réponse. | |
item_idstringIdentifiant unique de l'élément de message. | |
output_index integerActuellement, la valeur est toujours 0. | |
content_index integerActuellement, la valeur est toujours 0. | |
textstringSegment de texte de traduction confirmé. | |
stashstringTexte de traduction temporaire, concaténé avec text pour former des résultats intermédiaires. Le système met à jour text et stash en continu via des événements response.audio_transcript.text jusqu'à la réception d'un événement response.audio_transcript.done. Récupérez ensuite la traduction finale depuis transcript. |
response.audio_transcript.done
Renvoyé lorsque la sortie audio est activée et que la génération de texte est terminée.
event_idstringIdentifiant unique de cet événement. | |
typestringType de l'événement. La valeur est toujours response.audio_transcript.done. | |
response_idstringIdentifiant unique de la réponse. | |
item_idstringIdentifiant unique de l'élément de message. | |
output_index integerActuellement, la valeur est toujours 0. | |
content_index integerActuellement, la valeur est toujours 0. | |
transcriptstringTexte complet. |
response.output_item.added
Renvoyé lorsqu'un nouvel élément de sortie est ajouté lors de la génération de la réponse.
event_idstringIdentifiant unique de cet événement. | |
typestringType de l'événement. La valeur est toujours response.output_item.added. | |
response_idstringIdentifiant unique de la réponse. | |
output_index integerActuellement, la valeur est toujours 0. | |
item objectInformations sur l'élément de sortie.
Properties id stringIdentifiant unique de l'élément de sortie.typestringLa valeur est toujours message.objectstringLa valeur est toujours realtime.item.statusstringÉtat de l'élément de sortie.rolestringRôle du message.contentstringContenu du message. |
response.output_item.done
Renvoyé lorsqu'un élément de sortie est terminé.
event_idstringIdentifiant unique de cet événement. | |
typestringType de l'événement. La valeur est toujours response.output_item.done. | |
response_idstringIdentifiant unique de la réponse. | |
output_indexintegerActuellement, la valeur est toujours 0. | |
itemobjectInformations sur l'élément de sortie.
Properties id stringIdentifiant unique de l'élément de sortie.objectstringLa valeur est toujours realtime.item.typestringLa valeur est toujours message.statusstringÉtat de l'élément de sortie.rolestringRôle de l'expéditeur du message.contentstringContenu du message. |
response.content_part.added
Renvoyé lorsqu'une nouvelle partie de contenu est ajoutée.
event_id stringID unique de l'événement. | |
type stringType de l'événement. La valeur est toujours response.content_part.added. | |
response_id stringID unique de la réponse. | |
item_id stringID unique de l'élément de message. | |
output_index integerLa valeur est toujours 0. | |
content_index integerLa valeur est toujours 0. | |
part objectInformations sur l'élément de sortie.
Properties type stringType de la partie de contenu.text stringTexte de la partie de contenu. |
response.content_part.done
Renvoyé lorsqu'une partie de contenu est terminée.
event_idstringIdentifiant unique de cet événement. | |
typestringType de l'événement. La valeur est toujours response.content_part.done. | |
response_idstringIdentifiant unique de la réponse. | |
item_idstringIdentifiant unique de l'élément de message. | |
output_index integerLa valeur est toujours 0. | |
content_index integerLa valeur est toujours 0. | |
part objectInformations sur la partie de contenu.
Properties type stringType de la partie de contenu.textstringTexte de la partie de contenu. |