Skip to main content

Événements serveur Qwen-LiveTranslate-Realtime

Cette rubrique décrit les événements du serveur de l'API de traduction audio et vidéo en temps réel Qwen, notamment leurs types, paramètres et exemples.

Référence : Traduction audio et vidéo en temps réel - Qwen
Cette page est la référence des événements de Qwen-LiveTranslate-Realtime. Les définitions d’événements reposent sur la connexion WebSocket. AOQ et WebRTC utilisent leurs canaux de données respectifs pour envoyer et recevoir les événements du modèle, et les pistes de médias pour transmettre les médias. Lisez d’abord Connexion WebSocket, Connexion WebRTC ou Connexion AOQ.
Pour utiliser le SDK WebSocket, consultez SDK Python et SDK Java. Pour sélectionner un modèle et un protocole, consultez Vue d’ensemble.

error

Message d'erreur renvoyé par le serveur.
event_idstringIdentifiant unique de cet événement.
{
      "event_id": "event_RoUu4T8yExPMI37GKwaOC",
      "type": "error",
      "error": {
        "type": "invalid_request_error",
        "code": "invalid_value",
        "message": "Invalid modalities: ['audio']. Supported combinations are: ['text'] and ['audio', 'text'].",
        "param": "session.modalities"
      }
    }
typestringType de l'événement. La valeur est toujours error.
errorobjectInformations détaillées sur l'erreur.

Properties

typestringType de l'erreur.codestringCode d'erreur.messagestringMessage d'erreur.paramstringParamètre associé à l'erreur, par exemple session.modalities.

session.created

Lorsqu'un client se connecte, le serveur renvoie d'abord cet événement avec la configuration de session par défaut.
event_idstringIdentifiant unique de cet événement.S'applique à qwen3.8-livetranslate-flash-realtime.
{
  "event_id": "event_example",
  "type": "session.created",
  "session": {
    "id": "sess_example",
    "object": "realtime.session",
    "model": "qwen3.8-livetranslate-flash-realtime",
    "input_modalities": [
      "audio"
    ],
    "output_modalities": [
      "text",
      "audio"
    ],
    "audio": {
      "input": {
        "format": {
          "type": "pcm",
          "sample_rate": 16000
        },
        "turn_detection": {
          "type": "speaker_detection",
          "threshold": 0.5,
          "silence_duration_ms": 1000
        }
      },
      "output": {
        "format": {
          "type": "pcm",
          "sample_rate": 24000
        },
        "voice": "Tina"
      }
    },
    "translation": {
      "language": "en"
    }
  }
}
Exemple pour qwen3.5-livetranslate-flash-realtime :
{
        "event_id": "event_QxBGpjBDmDDQQWDtrqBKB",
        "type": "session.created",
        "session": {
            "id": "sess_OozZ1vtbPt2muDflHODIH",
            "object": "realtime.session",
            "model": "qwen3.5-livetranslate-flash-realtime",
            "modalities": [
                "text",
                "audio"
            ],
            "voice": "Cherry",
            "input_audio_format": "pcm",
            "sample_rate": 16000,
            "output_audio_format": "pcm",
            "turn_detection": {
                "type": "server_vad",
                "threshold": 0.2,
                "silence_duration_ms": 1000
            },
            "translation": {
               "language": "en",
               "corpus": {
                   "phrases": {
                       "人工智能": "Artificial Intelligence",
                       "机器学习": "Machine Learning"
                   }
               }
            }
        }
    }
typestringType de l'événement. La valeur est toujours session.created.
sessionobjectConfiguration de la session.

Properties

idstringIdentifiant unique de la session.objectstringLa valeur est toujours realtime.session.modelstringModèle utilisé.input_modalitiesarrayS'applique à qwen3.8-livetranslate-flash-realtime. Modalités d'entrée, par exemple ["audio"].output_modalitiesarrayS'applique à qwen3.8-livetranslate-flash-realtime. Modalités de sortie : ["text"] ou ["text", "audio"].audioobjectS'applique à qwen3.8-livetranslate-flash-realtime. Configuration audio d'entrée et de sortie.

Propriétés

input.formatobjectFormat d'entrée. La valeur par défaut de type est pcm et celle de sample_rate est 16000 Hz.input.turn_detectionobjectConfiguration de détection des tours. Par défaut, type est speaker_detection, threshold est 0.5 et silence_duration_ms est 1000.output.formatobjectFormat de sortie. La valeur par défaut de type est pcm et celle de sample_rate est 24000 Hz.output.voicestringVoix de sortie. La valeur par défaut est Tina.
modalitiesarrayS'applique aux modèles tels que qwen3.5-livetranslate-flash-realtime.Paramètres de modalité de sortie du modèle.voicestringS'applique aux modèles tels que qwen3.5-livetranslate-flash-realtime.Voix utilisée pour l'audio généré par le modèle.input_audio_formatstringS'applique aux modèles tels que qwen3.5-livetranslate-flash-realtime.Format de l'audio d'entrée. La valeur par défaut est pcm.sample_rateintegerS'applique aux modèles tels que qwen3.5-livetranslate-flash-realtime.Fréquence d'échantillonnage de l'audio d'entrée, en Hz.output_audio_formatstringS'applique aux modèles tels que qwen3.5-livetranslate-flash-realtime.Format de l'audio de sortie. La valeur par défaut est pcm.turn_detectionobjectS'applique aux modèles tels que qwen3.5-livetranslate-flash-realtime.Configuration VAD (Voice Activity Detection).translationobject(Optional)Configuration de la traduction.

Properties

language string (Optional)Langue cible pour la traduction.corpusobject(Optional)Configuration de terminologie personnalisée pour améliorer la précision de la traduction des termes spécifiques au domaine.

Properties

corpus.phrasesobject(Optional)Mappage des termes de la langue source vers leurs traductions dans la langue cible. Pour plus de détails, consultez Langues prises en charge.

session.updated

Renvoyé après une requête session.update réussie. Si la requête échoue, un événement error est renvoyé à la place.
event_idstringIdentifiant unique de cet événement.S'applique à qwen3.8-livetranslate-flash-realtime.
{
  "event_id": "event_example",
  "type": "session.updated",
  "session": {
    "id": "sess_example",
    "object": "realtime.session",
    "model": "qwen3.8-livetranslate-flash-realtime",
    "input_modalities": [
      "audio"
    ],
    "output_modalities": [
      "text",
      "audio"
    ],
    "audio": {
      "input": {
        "format": {
          "type": "pcm",
          "sample_rate": 16000
        },
        "turn_detection": {
          "type": "speaker_detection",
          "threshold": 0.5,
          "silence_duration_ms": 1000
        }
      },
      "output": {
        "format": {
          "type": "pcm",
          "sample_rate": 24000
        },
        "voice": "Tina"
      }
    },
    "translation": {
      "language": "en"
    }
  }
}
Exemple pour qwen3.5-livetranslate-flash-realtime :
{
        "event_id": "event_QxBGpjBDmDDQQWDtrqBKB",
        "type": "session.updated",
        "session": {
            "id": "sess_OozZ1vtbPt2muDflHODIH",
            "object": "realtime.session",
            "model": "qwen3.5-livetranslate-flash-realtime",
            "modalities": [
                "text",
                "audio"
            ],
            "voice": "Ethan",
            "sample_rate": 16000,
            "input_audio_format": "pcm",
            "output_audio_format": "pcm",
            "input_audio_transcription": {
                "model": "qwen3-asr-flash-realtime",
                "language": "zh"
            },
            "turn_detection": {
                "type": "server_vad",
                "threshold": 0.2,
                "prefix_padding_ms": 300,
                "silence_duration_ms": 1000,
                "create_response": true,
                "interrupt_response": true
            },
            "translation": {
               "language": "en",
               "corpus": {
                   "phrases": {
                       "人工智能": "Artificial Intelligence",
                       "机器学习": "Machine Learning"
                   }
               }
            },
            "enable_voice_clone": true,
            "voice_clone_options": {
                "frequency": "once"
            }
        }
    }
typestringType de l'événement. La valeur est toujours session.updated.
sessionobjectConfiguration de la session.

Properties

idstringIdentifiant unique de la session.objectstringLa valeur est toujours realtime.session.modelstringModèle utilisé.input_modalitiesarrayS'applique à qwen3.8-livetranslate-flash-realtime. Modalités d'entrée, par exemple ["audio"].output_modalitiesarrayS'applique à qwen3.8-livetranslate-flash-realtime. Modalités de sortie : ["text"] ou ["text", "audio"].audioobjectS'applique à qwen3.8-livetranslate-flash-realtime. Configuration audio d'entrée et de sortie.

Propriétés

input.formatobjectFormat d'entrée. La valeur par défaut de type est pcm et celle de sample_rate est 16000 Hz.input.turn_detectionobjectConfiguration de détection des tours. Par défaut, type est speaker_detection, threshold est 0.5 et silence_duration_ms est 1000.output.formatobjectFormat de sortie. La valeur par défaut de type est pcm et celle de sample_rate est 24000 Hz.output.voicestringVoix de sortie. La valeur par défaut est Tina.
modalitiesarrayS'applique aux modèles tels que qwen3.5-livetranslate-flash-realtime.Paramètres de modalité de sortie du modèle.voicestringS'applique aux modèles tels que qwen3.5-livetranslate-flash-realtime.Voix utilisée pour l'audio généré par le modèle.sample_rateinteger(Optional)S'applique aux modèles tels que qwen3.5-livetranslate-flash-realtime.Fréquence d'échantillonnage de l'audio d'entrée, en Hz.input_audio_formatstringS'applique aux modèles tels que qwen3.5-livetranslate-flash-realtime.Format de l'audio d'entrée. La valeur est toujours pcm.output_audio_formatstringS'applique aux modèles tels que qwen3.5-livetranslate-flash-realtime.Format de l'audio de sortie. La valeur est toujours pcm.input_audio_transcriptionobjectConfiguration de la transcription audio d'entrée. Renvoyée uniquement lorsque le paramètre input_audio_transcription.model est configuré dans la session.

Properties

modelstringModèle de reconnaissance vocale.languagestringLangue de reconnaissance vocale configurée.
turn_detectionobjectS'applique aux modèles tels que qwen3.5-livetranslate-flash-realtime.Configuration VAD (Voice Activity Detection). Ce champ n'est pas renvoyé en mode manuel (lorsque le client définit ce paramètre sur null dans session.update).

Properties

typestringType de VAD. La valeur est toujours server_vad.thresholdfloatSensibilité de détection du VAD.prefix_padding_msintegerDurée d'audio (en millisecondes) conservée avant le début de la parole, afin d'éviter de perdre le début de l'énoncé.silence_duration_msintegerDurée minimale de silence (en millisecondes) requise après la fin de la parole pour considérer que l'énoncé est terminé.create_responsebooleanIndique s'il faut déclencher automatiquement une réponse de traduction après que le VAD a détecté la fin de la parole.interrupt_responsebooleanIndique s'il faut interrompre la réponse de traduction en cours de génération lorsque le VAD détecte un nouveau tour de parole.
translationobject(Optional)Configuration de la traduction.

Properties

language string (Optional)Langue cible pour la traduction.corpusobject(Optional)Configuration de terminologie personnalisée pour améliorer la précision de la traduction des termes spécifiques au domaine.

Properties

corpus.phrasesobject(Optional)Mappage des termes de la langue source vers leurs traductions dans la langue cible.
enable_voice_clonebooleanIndique si le clonage vocal est activé.voice_clone_optionsobjectParamètres de contrôle du clonage vocal. Renvoyés uniquement lorsque enable_voice_clone est défini sur true.

Properties

frequencystringFréquence du clonage vocal.

session.finished

La session est terminée et toutes les traductions audio sont achevées. Cet événement est renvoyé après l’envoi de session.finish par le client. Après réception, si une lecture est nécessaire, le client doit terminer la lecture locale de l’audio traduit restant avant de se déconnecter volontairement.
event_idstringIdentifiant unique de cet événement.
{
        "event_id": "event_xxx",
        "type": "session.finished"
    }
typestringType de l'événement. La valeur est toujours session.finished.

response.created

Renvoyé lorsque le serveur génère une nouvelle réponse du modèle.
event_idstringIdentifiant unique de cet événement.
{
        "event_id": "event_L8hHVI5jYis6BzAjnPWJh",
        "type": "response.created",
        "response": {
            "id": "resp_P79OOMs8LnrXVpiIHUCKR",
            "object": "realtime.response",
            "conversation_id": "conv_UFClXtYkRkFXrs48y8pmK",
            "status": "in_progress",
            "modalities": [
                "text",
                "audio"
            ],
            "voice": "Cherry",
            "output_audio_format": "pcm16",
            "output": []
        }
    }
typestringType de l'événement. La valeur est toujours response.created.
responseobjectObjet de réponse.

Properties

id stringIdentifiant unique de la réponse.conversation_id stringIdentifiant unique de la session en cours.object stringType d'objet. Pour cet événement, la valeur est toujours realtime.response.status stringÉtat de la réponse. Valeurs valides :
  • completed
  • failed
  • in_progress
  • incomplete
modalities arrayModalité de la réponse.voice stringVoix de l'audio généré.output_audio_format stringFormat de l'audio de sortie.output arrayCet événement est actuellement vide.

response.done

Renvoyé une fois la génération de la réponse terminée. Contient tous les éléments de sortie, à l'exception des données audio brutes.
event_id stringIdentifiant unique de cet événement.
{
      "event_id": "event_CNea8oXNipVanSg2VIzkO",
      "type": "response.done",
      "response": {
        "id": "resp_TfhYTqej692vsGA2jNEtH",
        "object": "realtime.response",
        "conversation_id": "conv_ZtyLfKVm8XqLwYRlsuDih",
        "status": "completed",
        "modalities": [
          "text",
          "audio"
        ],
        "voice": "Cherry",
        "output_audio_format": "pcm16",
        "output": [
          {
            "id": "item_MKtkMwN9RtcyE9eJShyWy",
            "object": "realtime.item",
            "type": "message",
            "status": "completed",
            "role": "assistant",
            "content": [
              {
                "type": "audio",
                "transcript": "Hello? "
              }
            ]
          }
        ],
        "usage": {
          "total_tokens": 56,
          "input_tokens": 47,
          "output_tokens": 9,
          "input_tokens_details": {
            "text_tokens": 20,
            "audio_tokens": 27
          },
          "output_tokens_details": {
            "text_tokens": 2,
            "audio_tokens": 7
          }
        }
      }
    }
type stringType de l'événement. La valeur est toujours response.done.
response objectObjet de réponse.

Properties

id stringIdentifiant unique de la réponse.conversation_id stringIdentifiant unique de la session en cours.object stringType d'objet. Pour cet événement, la valeur est toujours realtime.response.status stringÉtat de la réponse.modalities arrayModalité de la réponse.voice stringVoix utilisée pour l'audio généré par le modèle.output_audio_format stringFormat de l'audio de sortie.output objectSortie de la réponse.

Properties

id stringIdentifiant unique de la sortie de réponse.type stringType de l'élément de sortie. Actuellement, la valeur est toujours message.object stringType d'objet de l'élément de sortie. Actuellement, la valeur est toujours realtime.item.status stringÉtat de l'élément de sortie.role stringRôle de l'élément de sortie.content arrayContenu de l'élément de sortie.

Properties

type stringType du contenu de sortie. La valeur est text pour une sortie en texte brut et audio lorsque la sortie inclut de l'audio.text stringContenu textuel de la sortie.transcript stringTranscription textuelle du contenu audio.
usage objectUtilisation cumulée des tokens de la session jusqu’à la réponse actuelle. Chaque response.done renvoie les valeurs cumulées à cet instant. Pour obtenir le total de la session, utilisez le dernier rapport usage sans additionner les rapports.
total_tokens integerTotal des tokens d’entrée et de sortie, soit la somme de input_tokens et output_tokens.input_tokens integerNombre de tokens d’entrée.output_tokens integerNombre de tokens de sortie.input_tokens_details objectRépartition des tokens d’entrée.
text_tokens integerTokens de texte du prompt système fixe du modèle. Non facturés.audio_tokens integerNombre de tokens audio en entrée.video_tokens integerNombre de tokens d’image en entrée, facturés comme entrée d’image.
output_tokens_details objectRépartition des tokens de sortie.
text_tokens integerNombre de tokens de texte en sortie.audio_tokens integerNombre de tokens audio en sortie.

response.text.text

Renvoyé pour les sorties texte uniquement, lorsque le modèle génère du texte de manière incrémentielle.
event_idstringIdentifiant unique de l'événement.
{
        "event_id": "event_B1lIeyOXR7qJMEExbqtTG",
        "type": "response.text.text",
        "response_id": "resp_B1lIdtjF4Noqpn5NOjznj",
        "item_id": "item_B1lIdJsAJlJiFs8ztWpJt",
        "output_index": 0,
        "content_index": 0,
        "text": "How are",
        "stash": " you today?"
    }
typestringType de l'événement. La valeur est toujours response.text.text.
textstringTexte incrémentiel renvoyé.
response_idstringID de la réponse.
item_idstringIdentifiant unique de l'élément de message.
output_indexintegerActuellement, la valeur est toujours 0.
content_indexintegerActuellement, la valeur est toujours 0.
stashstringTexte temporaire généré par le modèle. Concaténez stash avec le text actuel pour former un résultat intermédiaire. Le système met à jour text et stash en continu via des événements response.text.text jusqu'à la réception d'un événement response.text.done. Le texte final complet est alors disponible dans le champ text.

response.text.done

Renvoyé lorsque la génération de texte se termine pour une sortie texte uniquement, ou si la réponse est interrompue, incomplète ou annulée.
event_idstringIdentifiant unique de cet événement.
{
        "event_id": "event_B1lIeE2Nac33zn5V7h2mm",
        "type": "response.text.done",
        "response_id": "resp_B1lIdtjF4Noqpn5NOjznj",
        "item_id": "item_B1lIdJsAJlJiFs8ztWpJt",
        "output_index": 0,
        "content_index": 0,
        "text": "How can I assist you today?"
    }
typestringType de l'événement. La valeur est toujours response.text.done.
response_idstringIdentifiant unique de la réponse.
item_idstringIdentifiant unique de l'élément de message.
output_indexintegerActuellement, la valeur est toujours 0.
content_indexintegerActuellement, la valeur est toujours 0.
text stringTexte de sortie complet du modèle.

response.audio.delta

Pour une connexion WebSocket, le serveur renvoie cet événement lorsque les modalités de sortie incluent l’audio et que le modèle génère de nouvelles données audio de manière incrémentale.
event_idstringIdentifiant unique de l'événement.
{
        "event_id": "event_B1osWMZBtrEQbiIwW0qHQ",
        "type": "response.audio.delta",
        "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
        "output_index": 0,
        "content_index": 0,
        "delta": "UklGRnoGAABXQVZFZm10IBAAAAAB..."
    }
typestringType de l'événement. La valeur est toujours response.audio.delta.
response_idstringIdentifiant unique de la réponse.
item_idstringIdentifiant unique de l'élément de message.
output_index integerLa valeur est toujours 0.
content_index integerLa valeur est toujours 0.
delta stringDonnées audio incrémentielles produites par le modèle. Les données sont encodées en Base64.

response.audio.done

Renvoyé lorsque la génération audio est terminée. Également renvoyé si la réponse est interrompue, incomplète ou annulée. Ne contient pas les données audio complètes.
event_idstringIdentifiant unique de cet événement.
{
        "event_id": "event_B1osWMWoDRYyITDyNYcBu",
        "type": "response.audio.done",
        "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
        "output_index": 0,
        "content_index": 0
    }
typestringType de l'événement. La valeur est toujours response.audio.done.
response_idstringIdentifiant unique de la réponse.
item_idstringIdentifiant unique de l'élément de message.
output_indexintegerLa valeur est toujours 0.
content_indexintegerLa valeur est toujours 0.

input_audio_buffer.speech_started

Renvoyé lorsque le VAD (Voice Activity Detection) côté serveur détecte que l'utilisateur a commencé à parler.
event_idstringIdentifiant unique de cet événement.
{
        "event_id": "event_xxx",
        "type": "input_audio_buffer.speech_started",
        "audio_start_ms": 568,
        "item_id": "item_xxx"
    }
typestringType de l'événement. La valeur est toujours input_audio_buffer.speech_started.
audio_start_msintegerInstant (en millisecondes) où le début de la parole a été détecté, exprimé en décalage par rapport au début du flux audio.
item_idstringIdentifiant unique de l'élément de message associé.

input_audio_buffer.speech_stopped

Renvoyé lorsque le VAD côté serveur détecte que l'utilisateur a cessé de parler, indiquant la fin du tour de parole d'entrée en cours. Comme la réponse de traduction est générée de manière synchrone avec le flux audio d'entrée, la réponse de traduction effective peut avoir déjà commencé pendant le processus d'entrée vocale, sans qu'il soit nécessaire d'attendre cet événement.
event_idstringIdentifiant unique de cet événement.
{
        "event_id": "event_xxx",
        "type": "input_audio_buffer.speech_stopped",
        "audio_end_ms": 3900,
        "item_id": "item_xxx"
    }
typestringType de l'événement. La valeur est toujours input_audio_buffer.speech_stopped.
audio_end_msintegerInstant (en millisecondes) où la fin de la parole a été détectée, exprimé en décalage par rapport au début du flux audio.
item_idstringIdentifiant unique de l'élément de message associé.

input_audio_buffer.committed

En mode manuel (lorsque turn_detection est défini sur null), après l'envoi d'un événement input_audio_buffer.commit par le client, le serveur renvoie cet événement comme confirmation et commence automatiquement à générer la réponse de traduction.
event_idstringIdentifiant unique de cet événement.
{
        "event_id": "event_xxx",
        "type": "input_audio_buffer.committed"
    }
typestringType de l'événement. La valeur est toujours input_audio_buffer.committed.

input_audio_buffer.cleared

Après l'envoi d'un événement input_audio_buffer.clear par le client, le serveur renvoie cet événement pour confirmer que les données audio non validées dans le tampon ont été effacées.
event_idstringIdentifiant unique de cet événement.
{
        "event_id": "event_xxx",
        "type": "input_audio_buffer.cleared"
    }
typestringType de l'événement. La valeur est toujours input_audio_buffer.cleared.

conversation.item.created

Renvoyé lorsqu'un nouvel élément de message est créé dans la conversation. Cet événement se déclenche dans les scénarios suivants :
  • Lorsque le serveur commence à générer une réponse de traduction, il crée un élément de message assistant correspondant (à ce stade, content est un tableau vide, et le contenu se remplit progressivement avec la réponse en streaming).
  • En mode manuel, après l'envoi d'un événement input_audio_buffer.commit par le client, le serveur crée en outre un élément de message correspondant à l'audio d'entrée de l'utilisateur (content contient {"type": "input_audio"}).
event_idstringIdentifiant unique de cet événement.
{
        "event_id": "event_xxx",
        "type": "conversation.item.created",
        "item": {
            "id": "item_xxx",
            "object": "realtime.item",
            "type": "message",
            "status": "in_progress",
            "role": "assistant",
            "content": []
        }
    }
typestringType de l'événement. La valeur est toujours conversation.item.created.
itemobjectInformations sur l'élément de message.

Properties

idstringIdentifiant unique de l'élément de message.typestringLa valeur est toujours message.objectstringLa valeur est toujours realtime.item.statusstringÉtat de l'élément de message.rolestringRôle du message. Valeurs valides : assistant ou user.contentarrayContenu du message. Lors de la création initiale d'une réponse, il s'agit d'un tableau vide qui se remplit progressivement avec la réponse en streaming. Pour les éléments de message utilisateur créés par validation en mode manuel, il contient {"type": "input_audio"}.

conversation.item.input_audio_transcription.text

Lorsque input_audio_transcription.model est configuré, le serveur diffuse en streaming les résultats de reconnaissance vocale dans la langue source d'origine.
event_idstringIdentifiant unique de cet événement.
{
        "event_id": "event_xxx",
        "type": "conversation.item.input_audio_transcription.text",
        "item_id": "item_xxx",
        "content_index": 0,
        "text": "",
        "stash": "The weather is really nice today",
        "language": "zh",
        "emotion": "neutral"
    }
typestringType de l'événement. La valeur est toujours conversation.item.input_audio_transcription.text.
item_idstringIdentifiant unique de l'élément de message.
content_indexintegerActuellement, la valeur est toujours 0.
textstringTexte de reconnaissance confirmé.
stashstringTexte de reconnaissance en attente de confirmation. Ce texte peut être corrigé par des événements ultérieurs.
languagestringLangue source détectée.
emotionstringÉmotion détectée dans l'audio reconnu. Les émotions prises en charge sont les suivantes :
  • surprised : Surpris
  • neutral : Neutre
  • happy : Joyeux
  • sad : Triste
  • disgusted : Dégoûté
  • angry : En colère
  • fearful : Effrayé

conversation.item.input_audio_transcription.completed

Lorsque input_audio_transcription.model est configuré, renvoie le résultat final de reconnaissance une fois la reconnaissance vocale terminée.
event_idstringIdentifiant unique de cet événement.
{
        "event_id": "event_xxx",
        "type": "conversation.item.input_audio_transcription.completed",
        "item_id": "item_xxx",
        "content_index": 0,
        "transcript": "What a beautiful day! Let's go for a walk in the park together.",
        "language": "en",
        "emotion": ""
    }
typestringType de l'événement. La valeur est toujours conversation.item.input_audio_transcription.completed.
item_idstringIdentifiant unique de l'élément de message.
content_indexintegerActuellement, la valeur est toujours 0.
transcriptstringRésultat complet de la reconnaissance vocale dans la langue source d'origine.
languagestringLangue source détectée.
emotionstringÉmotion détectée dans l'audio reconnu. Émotions prises en charge :
  • surprised : surpris
  • neutral : calme/neutre
  • happy : joyeux
  • sad : triste
  • disgusted : dégoûté
  • angry : en colère
  • fearful : effrayé

conversation.item.input_audio_transcription.failed

Renvoyé lorsqu'une entrée audio a été reçue mais que la reconnaissance vocale a échoué. Cet événement est traité séparément des autres événements error, ce qui permet au client d'identifier plus facilement l'élément spécifique associé.
typestringType de l'événement. La valeur est toujours conversation.item.input_audio_transcription.failed.
{
        "event_id": "event_xxx",
        "type": "conversation.item.input_audio_transcription.failed",
        "item_id": "item_xxx",
        "content_index": 0,
        "error": {
            "code": "xxx",
            "message": "xxx",
            "param": "xxx"
        }
    }
item_idstringID de l'élément de conversation associé.
content_indexintegerIndex de la partie de contenu contenant l'audio.
error.codestringCode d'erreur.
error.messagestringMessage d'erreur.

response.audio_transcript.text

Renvoyé pour les sorties audio afin d'afficher la traduction en temps réel.
event_idstringIdentifiant unique de cet événement.
{
      "event_id": "event_xxx",
      "type": "response.audio_transcript.text",
      "response_id": "resp_xxx",
      "item_id": "item_xxx",
      "output_index": 0,
      "content_index": 0,
      "text": "Hello,",
      "stash": " who are you?"
    }
typestringType de l'événement. La valeur est toujours response.audio_transcript.text.
response_idstringIdentifiant unique de la réponse.
item_idstringIdentifiant unique de l'élément de message.
output_index integerActuellement, la valeur est toujours 0.
content_index integerActuellement, la valeur est toujours 0.
textstringSegment de texte de traduction confirmé.
stashstringTexte de traduction temporaire, concaténé avec text pour former des résultats intermédiaires. Le système met à jour text et stash en continu via des événements response.audio_transcript.text jusqu'à la réception d'un événement response.audio_transcript.done. Récupérez ensuite la traduction finale depuis transcript.

response.audio_transcript.done

Renvoyé lorsque la sortie audio est activée et que la génération de texte est terminée.
event_idstringIdentifiant unique de cet événement.
{
        "event_id": "event_VN4Q4GJugLcc1S23viW8E",
        "type": "response.audio_transcript.done",
        "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "item_id": "item_JvJauNH2CTXb1D9WV6pD4",
        "output_index": 0,
        "content_index": 0,
        "transcript": "How can I assist you today?"
    }
typestringType de l'événement. La valeur est toujours response.audio_transcript.done.
response_idstringIdentifiant unique de la réponse.
item_idstringIdentifiant unique de l'élément de message.
output_index integerActuellement, la valeur est toujours 0.
content_index integerActuellement, la valeur est toujours 0.
transcriptstringTexte complet.

response.output_item.added

Renvoyé lorsqu'un nouvel élément de sortie est ajouté lors de la génération de la réponse.
event_idstringIdentifiant unique de cet événement.
{
        "event_id": "event_B4O5yPt3Gjnjy5eYH3plG",
        "type": "response.output_item.added",
        "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "output_index": 0,
        "item": {
            "id": "item_OFaPGtzfWCPyGzxnuEX9i",
            "object": "realtime.item",
            "type": "message",
            "status": "in_progress",
            "role": "assistant",
            "content": []
        }
    }
typestringType de l'événement. La valeur est toujours response.output_item.added.
response_idstringIdentifiant unique de la réponse.
output_index integerActuellement, la valeur est toujours 0.
item objectInformations sur l'élément de sortie.

Properties

idstringIdentifiant unique de l'élément de sortie.typestringLa valeur est toujours message.objectstringLa valeur est toujours realtime.item.statusstringÉtat de l'élément de sortie.rolestringRôle du message.contentstringContenu du message.

response.output_item.done

Renvoyé lorsqu'un élément de sortie est terminé.
event_idstringIdentifiant unique de cet événement.
{
        "event_id": "event_XkiwbYTBC9Wcdwy6uYJ2G",
        "type": "response.output_item.done",
        "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "output_index": 0,
        "item": {
            "id": "item_JvJauNH2CTXb1D9WV6pD4",
            "object": "realtime.item",
            "type": "message",
            "status": "completed",
            "role": "assistant",
            "content": [
                {
                    "type": "audio",
                    "text": "Hello, I am a large language model developed by Alibaba Cloud. My name is Qwen. How can I help you?"
                }
            ]
        }
    }
typestringType de l'événement. La valeur est toujours response.output_item.done.
response_idstringIdentifiant unique de la réponse.
output_indexintegerActuellement, la valeur est toujours 0.
itemobjectInformations sur l'élément de sortie.

Properties

idstringIdentifiant unique de l'élément de sortie.objectstringLa valeur est toujours realtime.item.typestringLa valeur est toujours message.statusstringÉtat de l'élément de sortie.rolestringRôle de l'expéditeur du message.contentstringContenu du message.

response.content_part.added

Renvoyé lorsqu'une nouvelle partie de contenu est ajoutée.
event_id stringID unique de l'événement.
{
        "event_id": "event_J2UixwYKZsXg7c9YXZetL",
        "type": "response.content_part.added",
        "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
        "output_index": 0,
        "content_index": 0,
        "part": {
            "type": "audio",
            "text": ""
        }
    }
type stringType de l'événement. La valeur est toujours response.content_part.added.
response_id stringID unique de la réponse.
item_id stringID unique de l'élément de message.
output_index integerLa valeur est toujours 0.
content_index integerLa valeur est toujours 0.
part objectInformations sur l'élément de sortie.

Properties

type stringType de la partie de contenu.text stringTexte de la partie de contenu.

response.content_part.done

Renvoyé lorsqu'une partie de contenu est terminée.
event_idstringIdentifiant unique de cet événement.
{
        "event_id": "event_VN4Q4GJugLcc1S23viW8E",
        "type": "response.content_part.done",
        "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "item_id": "item_JvJauNH2CTXb1D9WV6pD4",
        "output_index": 0,
        "content_index": 0,
        "part": {
            "type": "audio",
            "text": "Hello, I am a large language model developed by Alibaba Cloud. My name is Qwen. How can I help you?"
        }
    }
typestringType de l'événement. La valeur est toujours response.content_part.done.
response_idstringIdentifiant unique de la réponse.
item_idstringIdentifiant unique de l'élément de message.
output_index integerLa valeur est toujours 0.
content_index integerLa valeur est toujours 0.
part objectInformations sur la partie de contenu.

Properties

typestringType de la partie de contenu.textstringTexte de la partie de contenu.