Skip to main content

Événements serveur Qwen-Omni-Realtime

Événements serveur de l'API Qwen-Omni-Realtime, y compris les événements d'appel d'outils (appels de fonctions).

Consultez Qwen-Omni-Realtime .
Cette page est la référence des événements de Qwen-Omni-Realtime. Les définitions d’événements reposent sur la connexion WebSocket. AOQ et WebRTC utilisent leurs canaux de données respectifs pour envoyer et recevoir les événements du modèle, et les pistes de médias pour transmettre les médias. Lisez d’abord Connexion WebSocket, Connexion WebRTC ou Connexion AOQ.
Pour utiliser le SDK WebSocket, consultez SDK Python et SDK Java. Pour sélectionner un modèle et un protocole, consultez Vue d’ensemble.

error

Erreur serveur.
event_idstringIdentifiant unique de cet événement.
{
  "event_id": "event_RoUu4T8yExPMI37GKwaOC",
  "type": "error",
  "error": {
    "type": "invalid_request_error",
    "code": "invalid_value",
    "message": "Invalid modalities: ['audio']. Supported combinations are: ['text'] and ['audio', 'text'].",
    "param": "session.modalities"
  }
}
typestringType de l'événement. Cette valeur est toujours error.
errorobjectDétails de l'erreur.

Properties

typestringType de l'erreur.codestringCode de l'erreur.messagestringMessage d'erreur.paramstringParamètre associé à l'erreur, par exemple session.modalities.

session.created

Renvoyé lors de la connexion d'un client. Contient la configuration de session par défaut.
event_idstringIdentifiant unique de cet événement.L’exemple suivant présente la session par défaut renvoyée par qwen3.8-omni-flash-realtime dans la région de Pékin.
{
    "event_id": "event_QQubXbhHMyXmKaSuE6PQ8",
    "type": "session.created",
    "session": {
        "input_audio_format": "pcm",
        "input_audio_transcription": {
            "model": "qwen3-asr-flash-realtime"
        },
        "id": "sess_MjEctgJ4ziXPEioCzSSvK",
        "object": "realtime.session",
        "modalities": [
            "text",
            "audio"
        ],
        "turn_detection": {
            "type": "server_vad",
            "silence_duration_ms": 800,
            "interrupt_response": true,
            "create_response": true,
            "threshold": 0.5,
            "prefix_padding_ms": 300
        },
        "model": "qwen3.8-omni-flash-realtime",
        "voice": "Tina",
        "output_audio_format": "pcm"
    }
}
typestringType de l'événement. Cette valeur est toujours session.created.
sessionobjectConfiguration de la session.

Properties

objectstringCette valeur est toujours realtime.session.modelstringModèle utilisé.modalitiesarrayModalités de sortie du modèle.voicestringVoix utilisée pour l'audio généré par le modèle.input_audio_formatstringFormat audio d'entrée. Seul le format pcm est pris en charge (taux d'échantillonnage de 16 kHz).output_audio_formatstringFormat audio de sortie. Seul le format pcm est pris en charge (taux d'échantillonnage de 24 kHz).input_audio_transcriptionobjectConfiguration de la transcription.

Properties

modelstringModèle de transcription. Toujours qwen3-asr-flash-realtime. Non configurable.
turn_detectionobjectConfiguration de la détection d'activité vocale (VAD).

Properties

typestringType de VAD. Les valeurs valides sont server_vad (par défaut) ou semantic_vad. Consultez Événements client.thresholdfloatSeuil de détection VAD.silence_duration_msintegerDurée du silence (ms) déclenchant la détection de fin de parole.idle_timeout_msintegerDélai d'inactivité en millisecondes. Renvoyé uniquement en mode server_vad avec les modèles qwen3.5-omni-plus-realtime ou qwen3.5-omni-flash-realtime.
enable_searchbooleanIndique si la recherche web est activée. Pris en charge uniquement par la série de modèles Qwen3.5-Omni-Realtime.search_optionsobjectOptions de la recherche web.temperaturefloatParamètre de température du modèle.

session.updated

Renvoyé après une requête session.update réussie. En cas d'échec, un événement error est renvoyé à la place.
event_idstringIdentifiant unique de cet événement.L’exemple suivant utilise qwen3.8-omni-flash-realtime dans la région de Pékin, avec une sortie textuelle uniquement et max_tokens=32.
{
    "event_id": "event_TSBGI9Yj5ecCKjiGO34VB",
    "type": "session.updated",
    "session": {
        "id": "sess_MjEctgJ4ziXPEioCzSSvK",
        "object": "realtime.session",
        "model": "qwen3.8-omni-flash-realtime",
        "modalities": [
            "text"
        ],
        "instructions": "请只回复 OK。",
        "voice": "Tina",
        "input_audio_format": "pcm",
        "output_audio_format": "pcm",
        "input_audio_transcription": {
            "model": "qwen3-asr-flash-realtime"
        },
        "max_tokens": 32
    }
}
typestringType de l'événement. Cette valeur est toujours session.updated.
sessionobjectConfiguration de la session.

Properties

temperaturefloatParamètre de température du modèle.modalitiesarrayModalités de sortie du modèle.voicestringVoix utilisée pour l'audio généré par le modèle.instructionsstringObjectif et rôle du modèle.input_audio_formatstringFormat audio d'entrée. Seul le format pcm est pris en charge (taux d'échantillonnage de 16 kHz).output_audio_formatstringFormat audio de sortie. Seul le format pcm est pris en charge (taux d'échantillonnage de 24 kHz).input_audio_transcriptionobjectConfiguration de la transcription.

Properties

modelstringModèle de transcription. Toujours qwen3-asr-flash-realtime. Non configurable.
turn_detectionobjectConfiguration de la détection d'activité vocale (VAD).

Properties

typestringType de VAD. Les valeurs valides sont server_vad (par défaut) ou semantic_vad. Consultez Événements client.thresholdfloatSeuil de détection VAD.silence_duration_msintegerDurée du silence (ms) déclenchant la détection de fin de parole.idle_timeout_msintegerDélai d'inactivité en millisecondes. Renvoyé uniquement en mode server_vad avec les modèles qwen3.5-omni-plus-realtime ou qwen3.5-omni-flash-realtime.
enable_searchboolean (optional)Indique si la recherche web est activée. Pris en charge uniquement par la série de modèles Qwen3.5-Omni-Realtime.search_optionsobject (optional)Options de la recherche web.toolsarray (optional)Définitions des outils. Une fois configurés, le modèle peut décider d'appeler un outil en fonction de l'entrée utilisateur.
typestring (required)Cette valeur est toujours function.function.namestring (required)Nom de la fonction, par exemple get_current_weather ou get_current_time.function.descriptionstring (optional)Description de l'objectif de la fonction. Le modèle l'utilise pour décider s'il doit appeler la fonction.function.parametersobject (optional)Schéma des paramètres d'entrée. Le modèle l'utilise pour extraire les paramètres. À omettre si la fonction ne prend aucun paramètre.
typestring (required)Cette valeur est toujours object.propertiesobject (optional)Chaque clé est un nom de paramètre associé à un objet contenant type et description.requiredarray (optional)Spécifie les paramètres d'entrée obligatoires.
top_pfloatSeuil de probabilité pour l'échantillonnage par noyau.top_kintegerTaille de l'ensemble des candidats pour l'échantillonnage lors de la génération.max_tokensintegerNombre maximal de tokens que le modèle peut renvoyer pour cette requête.repetition_penaltyfloatContrôle la répétition dans les séquences consécutives lors de la génération.presence_penaltyfloatContrôle la répétition dans le contenu généré.seedintegerDegré de cohérence de la sortie du modèle par requête.

input_audio_buffer.speech_started

En mode VAD, renvoyé lorsque le serveur détecte le début de la parole dans le tampon audio.
Peut se déclencher à chaque ajout d'audio au tampon avant la détection de la parole.
event_idstringIdentifiant unique de cet événement.
{
    "event_id": "event_Pvp8nEhsQuGCQbFJ9x58n",
    "type": "input_audio_buffer.speech_started",
    "audio_start_ms": 3647,
    "item_id": "item_YbAiGvK2H7YaS34o4R6Ba"
}
typestringType de l'événement. Cette valeur est toujours input_audio_buffer.speech_started.
audio_start_msintegerTemps (ms) écoulé entre le début de l'écriture dans le tampon audio et la première détection de parole.
item_idstringID de l'élément de message utilisateur créé lors de la détection de fin de parole.
Les éléments de message utilisateur ajoutent l'entrée utilisateur à l'historique de conversation pour l'inférence du modèle.

input_audio_buffer.speech_stopped

En mode VAD, renvoyé lorsque le serveur détecte la fin de la parole dans le tampon audio. Renvoie également un événement conversation.item.created avec l'élément de message utilisateur correspondant.
event_idstringIdentifiant unique de cet événement.
{
    "event_id": "event_UhQiqNVRsgUiq4KUS5Xb5",
    "type": "input_audio_buffer.speech_stopped",
    "audio_end_ms": 4453,
    "item_id": "item_YbAiGvK2H7YaS34o4R6Ba"
}
typestringType de l'événement. Cette valeur est toujours input_audio_buffer.speech_stopped.
audio_end_msintegerTemps (ms) écoulé depuis le début de la session jusqu'à la détection de fin de parole.
item_idstringID de l'élément de message utilisateur qui sera créé.

input_audio_buffer.committed

Renvoyé lorsque le tampon audio d'entrée est validé.
  • En mode VAD, le serveur valide automatiquement le tampon lorsqu'il détecte la fin de la parole.
  • En mode manuel, renvoyé après l'envoi d'un événement input_audio_buffer.commit par le client.
event_idstringIdentifiant unique de cet événement.
{
    "event_id": "event_Iy6sUzL1nmdFgshFYxJEz",
    "type": "input_audio_buffer.committed",
    "item_id": "item_YbAiGvK2H7YaS34o4R6Ba"
}
typestringType de l'événement. Cette valeur est toujours input_audio_buffer.committed.
item_idstringID de l'élément de message utilisateur qui sera créé.

input_audio_buffer.cleared

Renvoyé après l'envoi d'un événement input_audio_buffer.clear par le client.
event_idstringIdentifiant unique de cet événement.
{
  "event_id": "event_RoUu4T8yExPMI37GKwaOC",
  "type": "input_audio_buffer.cleared"
}
typestringType de l'événement. Cette valeur est toujours input_audio_buffer.cleared.

conversation.item.created

Renvoyé lors de la création d'un élément de conversation.
event_idstringIdentifiant unique de cet événement.
{
    "event_id": "event_JEfkrr9gO3Ny7Xcv9bGVd",
    "type": "conversation.item.created",
    "item": {
        "id": "item_YbAiGvK2H7YaS34o4R6Ba",
        "object": "realtime.item",
        "type": "message",
        "status": "in_progress",
        "role": "assistant",
        "content": [
            {
                "type": "input_audio"
            }
        ]
    }
}
// Tool calling scenario
{
    "event_id": "event_S1hkaIQgcuQD8OEdOpGHQ",
    "type": "conversation.item.created",
    "item": {
        "id": "item_FEG9qJGNkPcdf4et3p7BV",
        "object": "realtime.item",
        "type": "function_call",
        "status": "in_progress",
        "call_id": "call_bc0a7fb7235840f69ecfe4",
        "name": "get_current_weather",
        "arguments": ""
    }
}
typestringType de l'événement. Cette valeur est toujours conversation.item.created.
itemobjectÉlément de conversation à ajouter.

Properties

idstringID unique de l'élément de conversation.objectstringCette valeur est toujours realtime.item.statusstringStatut de l'élément de conversation.rolestringRôle du message.contentarrayContenu du message. Ce paramètre est renvoyé lorsque le type est message.typestringType de l'élément de conversation. Les valeurs valides sont message ou function_call.namestringNom de la fonction appelée lorsque le type est function_call.call_idstringLorsque le type est function_call, il s'agit de l'ID unique de l'invocation de fonction.argumentsstringLorsque le type est function_call, ce paramètre contient les arguments de l'invocation de fonction sous forme de chaîne JSON.

conversation.item.input_audio_transcription.delta

Cet événement est émis fréquemment pendant que l'utilisateur parle, lorsque la transcription audio d'entrée est activée. Il fournit des résultats de transcription intermédiaires en temps réel. Concaténez text + stash pour obtenir l'aperçu de phrase le plus complet à tout moment.
event_idstringIdentifiant unique de cet événement.
{
    "event_id": "event_C7jzoeSFuiwOZS6tR14yx",
    "type": "conversation.item.input_audio_transcription.delta",
    "item_id": "item_ThVYhLHOdeXb4bBSvzSFF",
    "content_index": 0,
    "text": "",
    "stash": "How is the weather today?",
    "language": "en",
    "emotion": "neutral",
    "obfuscation": "ABEXGYmxdmc97u"
}
Pour obtenir l'aperçu de phrase le plus complet à tout moment, concaténez ces deux champs : aperçu en temps réel = text + stash.
Supposons que l'utilisateur dise : « Il fait beau aujourd'hui, il y a du soleil et il fait chaud. »Le tableau suivant présente le flux d'événements susceptible d'être reçu ainsi que leur interprétation :

Temps

Progression de la parole utilisateur

Réponse API (text et stash)

Affichage UI client (text + stash)

T1

« Le temps... »

text: ""

stash: "The weather"

The weather

T2

« ...est beau... »

text: ""

stash: "The weather is nice"

The weather is nice

T3

« ...aujourd'hui, »

text: "The weather"

stash: " is nice today,"

The weather is nice today,

(« The weather » a été confirmé et déplacé vers text)

T4

(brève pause)

text: "The weather is nice today, "

stash: ""

The weather is nice today,

(la première proposition est entièrement confirmée)

T5

« ...du soleil... »

text: "The weather is nice today, "

stash: "sunny"

The weather is nice today, sunny

T6

« ...et il fait chaud. »

text: "The weather is nice today, "

stash: "sunny and warm."

The weather is nice today, sunny and warm.

T7

(arrête de parler)

-

Utilisez la transcription issue de conversation.item.input_audio_transcription.completed comme résultat final.

typestringType de l'événement. Cette valeur est toujours conversation.item.input_audio_transcription.delta.
item_idstringID de l'élément de conversation associé.
content_indexintegerIndex de la partie de contenu contenant l'audio.
textstringPréfixe de texte confirmé : portion finalisée par le modèle qui ne changera plus.
stashstringSuffixe de texte préliminaire : ébauche temporaire suivant la partie confirmée, susceptible d'être révisée.
languagestringLangue détectée dans l'audio reconnu.
emotionstringÉmotion détectée dans l'audio reconnu. Valeurs valides : neutral, happy, sad, angry, surprised, disgusted, fearful.

conversation.item.input_audio_transcription.completed

Indique que l'audio de l'utilisateur a été transcrit par le modèle de reconnaissance vocale intégré (qwen3-asr-flash-realtime). Ce comportement n'est pas configurable.
Le texte transcrit par le modèle de reconnaissance vocale peut différer de l'interprétation générée par le modèle Qwen-Omni-Realtime. La transcription est fournie uniquement à titre de référence.
event_idstringIdentifiant unique de cet événement.
{
    "event_id": "event_FrrZcxiDfTB9LD9p4pVng",
    "type": "conversation.item.input_audio_transcription.completed",
    "item_id": "item_YbAiGvK2H7YaS34o4R6Ba",
    "content_index": 0,
    "transcript": "Hello."
}
typestringType de l'événement. Cette valeur est toujours conversation.item.input_audio_transcription.completed.
item_idstringID de l'élément de message utilisateur.
content_indexintegerCette valeur est toujours 0.
transcriptstringTexte transcrit.

conversation.item.input_audio_transcription.failed

Renvoyé lorsque la transcription audio d'entrée est activée mais échoue. Cet événement est indépendant de l'événement error et permet aux clients d'identifier spécifiquement les échecs de transcription.
event_idstringIdentifiant unique de cet événement.
{
  "type": "conversation.item.input_audio_transcription.failed",
  "item_id": "<item_id>",
  "content_index": 0,
  "error": {
    "code": "<code>",
    "message": "<message>",
    "param": "<param>"
  }
}
typestringType de l'événement. Cette valeur est toujours conversation.item.input_audio_transcription.failed.
item_idstringID de l'élément de message utilisateur.
content_indexintegerCette valeur est toujours 0.
errorobjectInformations sur l'erreur.

Propriétés

code stringCode d'erreur.message stringMessage d'erreur.param stringParamètre associé à l'erreur.

response.created

Renvoyé lorsque le serveur commence à générer une nouvelle réponse.
event_idstringIdentifiant unique de cet événement.
{
    "event_id": "event_XuDavMzQN3KKepqGu3KRh",
    "type": "response.created",
    "response": {
        "id": "resp_HaVOPdbmX6vifiV5pAfJY",
        "object": "realtime.response",
        "conversation_id": "conv_FjJaccpnvwHNo9cPVuzGc",
        "status": "in_progress",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Cherry",
        "output_audio_format": "pcm",
        "output": []
    }
}
typestringType de l'événement. Cette valeur est toujours response.created.
responseobjectObjet de réponse.

Propriétés

id stringID unique de la réponse.conversation_id stringID unique de la session en cours.object stringType d'objet. Pour cet événement, cette valeur est toujours realtime.response.status stringÉtat de la réponse. Les valeurs valides sont completed, failed, in_progress, ou incomplete.modalities arrayModalités de la réponse.voice stringVoix utilisée pour l'audio généré par le modèle.output arrayCe champ est vide pour cet événement.

response.done

Renvoyé une fois la réponse entièrement générée. L'objet response inclut tous les éléments de sortie, à l'exception des données audio brutes.
event_idstringIdentifiant unique de cet événement.
{
    "event_id": "event_CSaxRRYLvbrfexDXAEuDG",
    "type": "response.done",
    "response": {
        "id": "resp_HaVOPdbmX6vifiV5pAfJY",
        "object": "realtime.response",
        "conversation_id": "conv_FjJaccpnvwHNo9cPVuzGc",
        "status": "completed",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Cherry",
        "output_audio_format": "pcm",
        "output": [
            {
                "id": "item_Ls6MtCUWO7LM4E59QziNv",
                "object": "realtime.item",
                "type": "message",
                "status": "completed",
                "role": "assistant",
                "content": [
                    {
                        "type": "audio",
                        "transcript": "Hello! How can I help you?"
                    }
                ]
            }
        ],
        "usage": {
            "total_tokens": 377,
            "input_tokens": 336,
            "output_tokens": 41,
            "input_tokens_details": {
                "text_tokens": 228,
                "audio_tokens": 108
            },
            "output_tokens_details": {
                "text_tokens": 9,
                "audio_tokens": 32
            },
            "plugins": {
                "search": {
                    "count": 1,
                    "strategy": "agent"
                }
            }
        }
    }
}
// Tool calling scenario
{
    "event_id": "event_T1EFAJp43X2DWtDRmxTtx",
    "type": "response.done",
    "response": {
        "id": "resp_TucN5QgymL5MA8vkJvFlS",
        "object": "realtime.response",
        "conversation_id": "conv_SEDZESRlefT8WvLSmEn6E",
        "status": "completed",
        "modalities": ["text", "audio"],
        "voice": "Ethan",
        "output_audio_format": "pcm",
        "output": [
            {
                "id": "item_FEG9qJGNkPcdf4et3p7BV",
                "object": "realtime.item",
                "type": "function_call",
                "status": "completed",
                "call_id": "call_bc0a7fb7235840f69ecfe4",
                "name": "get_current_weather",
                "arguments": " {\"location\": \"Hangzhou\"}"
            }
        ],
        "usage": {
            "total_tokens": 567,
            "input_tokens": 524,
            "output_tokens": 43,
            "input_tokens_details": {
                "text_tokens": 487,
                "audio_tokens": 37
            },
            "output_tokens_details": {
                "text_tokens": 43
            }
        }
    }
}
typestringType de l'événement. Cette valeur est toujours response.done.
responseobjectObjet de réponse.

Propriétés

id stringID unique de la réponse.conversation_id stringID unique de la session en cours.object stringType d'objet. Pour cet événement, cette valeur est toujours realtime.response.status stringÉtat de la réponse.modalities arrayModalités de la réponse.voice stringVoix utilisée pour l'audio généré par le modèle.output objectSortie de la réponse.

Propriétés

id stringID de la sortie de réponse.type stringType de l'élément de sortie. Les valeurs valides sont message ou function_call.object stringType d'objet de l'élément de sortie. Cette valeur est toujours realtime.item.status stringÉtat de l'élément de sortie.role stringRôle de l'élément de sortie.content arrayContenu de l'élément de sortie. Ce champ n'est renvoyé que lorsque le type est message.

Propriétés

type stringType de contenu. La valeur peut être text pour une sortie en texte brut ou audio pour une sortie audio.text stringSortie texte.transcript stringTranscription textuelle de l'audio.
name stringNom de la fonction invoquée lorsque le type est function_call.call_id stringLorsque le type est function_call, il s'agit de l'ID unique de l'invocation de fonction.arguments stringLorsque le type est function_call, ce champ contient l'ensemble des arguments de l'appel de fonction sous forme de chaîne JSON.
usage objectDétails de consommation des tokens pour cette réponse.
total_tokens integerNombre total de tokens utilisés dans cette réponse.input_tokens integerNombre de tokens d'entrée.output_tokens integerNombre de tokens de sortie.input_tokens_details objectDétails de consommation des tokens d'entrée, incluant text_tokens et audio_tokens.output_tokens_details objectDétails de consommation des tokens de sortie, incluant text_tokens et audio_tokens.plugins object (facultatif)Métriques d'utilisation des plugins. Renvoyé lorsque la recherche web (enable_search) est activée.
search objectDonnées de comptage des recherches.
count integerNombre de recherches effectuées.strategy stringStratégie de recherche employée.

response.text.delta

Renvoyé lorsque la modalité de sortie est exclusivement textuelle et que le modèle génère du nouveau texte de manière incrémentielle.
event_idstringIdentifiant unique de cet événement.
{
    "delta": "Hello",
    "event_id": "event_TH49MauuPmRo1RGaMSlP7",
    "type": "response.text.delta",
    "response_id": "resp_PrRSvPVpnCExdUOGHHLuP",
    "item_id": "item_L8IRm9kRXFpxoOjDqDC96",
    "output_index": 0,
    "content_index": 0
}
typestringType de l'événement. Cette valeur est toujours response.text.delta.
deltastringTexte incrémentiel généré par le modèle.
response_idstringID de la réponse.
item_idstringID de l'élément de message.
output_indexintegerIndex de l'élément de sortie dans la réponse. Cette valeur est toujours 0.
content_indexintegerIndex de la partie interne au sein de l'élément de sortie. Cette valeur est toujours 0.

response.text.done

Renvoyé lorsque la modalité de sortie est exclusivement textuelle et que le modèle a terminé la génération du texte.
Également renvoyé si la réponse est interrompue, incomplète ou annulée.
event_idstringIdentifiant unique de cet événement.
{
  "event_id": "event_B1lIeE2Nac33zn5V7h2mm",
  "type": "response.text.done",
  "response_id": "resp_B1lIdtjF4Noqpn5NOjznj",
  "item_id": "item_B1lIdJsAJlJiFs8ztWpJt",
  "output_index": 0,
  "content_index": 0,
  "text": "How can I assist you today?"
}
typestringType de l'événement. Cette valeur est toujours response.text.done.
response_idstringID de la réponse.
item_idstringID de l'élément de message.
output_indexintegerIndex de l'élément de sortie dans la réponse.
content_indexintegerIndex de l'élément de sortie dans la réponse.
text stringTexte complet généré par le modèle.

response.audio.delta

Pour une connexion WebSocket, le serveur renvoie cet événement lorsque les modalités de sortie incluent l’audio et que le modèle génère de nouvelles données audio de manière incrémentale. Pour une connexion WebRTC, l’audio est transmis sur les pistes audio RTP et cet événement n’est pas renvoyé.
event_idstringIdentifiant unique de cet événement.
{
  "event_id": "event_B1osWMZBtrEQbiIwW0qHQ",
  "type": "response.audio.delta",
  "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
  "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
  "output_index": 0,
  "content_index": 0,
  "delta": "{base64 audio}"
}
typestringType de l'événement. Cette valeur est toujours response.audio.delta.
response_idstringID de la réponse.
item_idstringID de l'élément de message.
output_indexintegerIndex de l'élément de sortie dans la réponse.
content_indexintegerIndex de l'élément de sortie dans la réponse.
delta stringDonnées audio incrémentielles, encodées en Base64.

response.audio.done

Renvoyé lorsque la modalité de sortie inclut l'audio et que le modèle a terminé la génération des données audio.
Également renvoyé si la réponse est interrompue, incomplète ou annulée.
event_idstringIdentifiant unique de cet événement.
{
    "event_id": "event_Le1TDl7VfyHQxl47DtGxI",
    "type": "response.audio.done",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0
}
typestringType de l'événement. Cette valeur est toujours response.audio.done.
response_idstringID de la réponse.
item_idstringID de l'élément de message.
output_indexintegerIndex de l'élément de sortie dans la réponse.
content_indexintegerIndex de l'élément de sortie dans la réponse.

response.audio_transcript.delta

Renvoyé lorsque la modalité de sortie inclut l'audio et que le modèle génère de manière incrémentielle un nouveau texte de transcription response.audio_transcript.delta.
event_idstringIdentifiant unique de cet événement.
{
    "event_id": "event_BksW7fOwnyavZdDxIzZYM",
    "type": "response.audio_transcript.delta",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0,
    "delta": "What"
}
typestringType de l'événement. Cette valeur est toujours response.audio_transcript.delta.
response_idstringID de la réponse.
item_idstringID de l'élément de message.
output_indexintegerIndex de l'élément de sortie dans la réponse.
content_indexintegerIndex de l'élément de sortie dans la réponse.
deltastringTexte incrémentiel.

response.audio_transcript.done

Renvoyé sous la forme d'un événement response.audio_transcript.done lorsque la modalité de sortie inclut l'audio et que le modèle a finalisé la transcription audio.
event_idstringIdentifiant unique de cet événement.
{
    "event_id": "event_X49tL2WerT4WjxcmH16lS",
    "type": "response.audio_transcript.done",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0,
    "transcript": "Hello! How can I help you?"
}
typestringType de l'événement. Cette valeur est toujours response.audio_transcript.done.
response_idstringID de la réponse.
item_idstringID de l'élément de message.
output_indexintegerIndex de l'élément de sortie dans la réponse.
content_indexintegerIndex de l'élément de sortie dans la réponse.
transcriptstringTexte complet de la transcription.

response.function_call_arguments.delta

Renvoyé lors du streaming des arguments d'appel de fonction par le modèle. Concaténez les champs delta afin de construire la chaîne d'arguments. Le contenu complet est fourni dans l'événement response.function_call_arguments.done suivant.
event_idstringIdentifiant unique de cet événement.
{
    "event_id": "event_SlKoJyEbPEqLq14DSM1u5",
    "type": "response.function_call_arguments.delta",
    "response_id": "resp_JnTOsWXlFhKcFohZbtfz6",
    "item_id": "item_Rhcms7CauTNsQprV5S4Hr",
    "output_index": 0,
    "call_id": "call_2be200f4cafe419b9530dd",
    "delta": " {\"location\": \"Beijing\"}"
}
typestringType de l'événement. Cette valeur est toujours response.function_call_arguments.delta.
response_idstringID de la réponse.
item_idstringID de l'élément de message.
output_indexintegerIndex de l'élément de sortie dans la réponse.
call_idstringID unique de cette invocation de fonction. Il correspond à celui de l'événement done du même tour.
deltastringNouveau segment de la chaîne d'arguments. Concaténez les segments dans l'ordre.

response.function_call_arguments.done

Indique que les arguments d'appel de fonction ont été entièrement générés. Le champ arguments contient la chaîne d'arguments complète. Utilisez le champ arguments de cet événement, et non les résultats delta concaténés, pour analyser et appeler la fonction locale.
event_idstringIdentifiant unique de cet événement.
{
    "event_id": "event_X6suLyuL5agdH7r6koesM",
    "type": "response.function_call_arguments.done",
    "response_id": "resp_JnTOsWXlFhKcFohZbtfz6",
    "item_id": "item_Rhcms7CauTNsQprV5S4Hr",
    "output_index": 0,
    "name": "get_current_weather",
    "call_id": "call_2be200f4cafe419b9530dd",
    "arguments": " {\"location\": \"Beijing\"}"
}
typestringType de l'événement. Cette valeur est toujours response.function_call_arguments.done.
response_idstringID de la réponse.
item_idstringID de l'élément de message.
output_indexintegerIndex de l'élément de sortie dans la réponse.
call_idstringID unique de cette invocation de fonction.
namestringNom de la fonction appelée.
argumentsstringArguments complets de l'appel de fonction sous forme de chaîne JSON.

response.output_item.added

Renvoyé lorsqu'un nouvel élément est créé pendant la génération de la réponse. Le type d'élément peut être message ou function_call.
event_idstringIdentifiant unique de cet événement.
{
    "event_id": "event_DsCO341DEVtiATtCB6BUY",
    "type": "response.output_item.added",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "output_index": 0,
    "item": {
        "id": "item_Ls6MtCUWO7LM4E59QziNv",
        "object": "realtime.item",
        "type": "message",
        "status": "in_progress",
        "role": "assistant",
        "content": []
    }
}
// Tool calling scenario
{
    "event_id": "event_HXmKt5pGoiRtXx7Hq7zpN",
    "type": "response.output_item.added",
    "response_id": "resp_TucN5QgymL5MA8vkJvFlS",
    "output_index": 0,
    "item": {
        "id": "item_FEG9qJGNkPcdf4et3p7BV",
        "object": "realtime.item",
        "type": "function_call",
        "status": "in_progress",
        "call_id": "call_bc0a7fb7235840f69ecfe4",
        "name": "get_current_weather",
        "arguments": ""
    }
}
typestringType de l'événement. Cette valeur est toujours response.output_item.added.
response_idstringID de la réponse.
output_indexintegerIndex de l'élément de sortie dans la réponse.
itemobjectInformations sur l'élément de sortie.

Properties

idstringID unique de l'élément de sortie.objectstringCette valeur est toujours realtime.item.statusstringStatut de l'élément de sortie.rolestringRôle de l'expéditeur.contentarrayContenu du message. Ce champ est renvoyé lorsque le type est message.typestringType de l'élément de sortie. Les valeurs valides sont message ou function_call.namestringNom de la fonction à appeler lorsque le type est function_call.call_idstringID unique de l'invocation de fonction en cours lorsque le type est function_call.argumentsstringArguments d'appel de fonction sous forme de chaîne JSON lorsque le type est function_call. Initialement une chaîne vide dans les événements added.

response.output_item.done

Renvoyé lorsqu'un élément de sortie a été entièrement généré.
event_idstringIdentifiant unique de cet événement.
{
    "event_id": "event_MEu5nlLw1LsOguHiehIP8",
    "type": "response.output_item.done",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "output_index": 0,
    "item": {
        "id": "item_Ls6MtCUWO7LM4E59QziNv",
        "object": "realtime.item",
        "type": "message",
        "status": "completed",
        "role": "assistant",
        "content": [
            {
                "type": "audio",
                "text": "Hello! How can I help you?"
            }
        ]
    }
}
// Tool calling scenario
{
    "event_id": "event_FHspdfAnCyjuME3mmAwSY",
    "type": "response.output_item.done",
    "response_id": "resp_TucN5QgymL5MA8vkJvFlS",
    "output_index": 0,
    "item": {
        "id": "item_FEG9qJGNkPcdf4et3p7BV",
        "object": "realtime.item",
        "type": "function_call",
        "status": "completed",
        "call_id": "call_bc0a7fb7235840f69ecfe4",
        "name": "get_current_weather",
        "arguments": " {\"location\": \"Hangzhou\"}"
    }
}
typestringType de l'événement. Cette valeur est toujours response.output_item.done.
response_idstringID de la réponse.
output_indexintegerIndex de l'élément de sortie dans la réponse.
itemobjectInformations sur l'élément de sortie.

Properties

idstringID unique de l'élément de sortie.objectstringCette valeur est toujours realtime.item.statusstringStatut de l'élément de sortie.rolestringRôle de l'expéditeur.contentarrayContenu du message. Ce champ est renvoyé lorsque le type est message.typestringType de l'élément de sortie. Les valeurs valides sont message ou function_call.namestringNom de la fonction appelée lorsque le type est function_call.call_idstringLorsque le type est function_call, il s'agit de l'ID unique de l'invocation de fonction.argumentsstringLorsque le type est function_call, contient les arguments complets de l'appel de fonction sous forme de chaîne JSON.

response.content_part.added

Renvoyé lorsqu'une nouvelle partie de contenu est ajoutée à un élément de message assistant pendant la génération de la réponse.
event_idstringIdentifiant unique de cet événement.
{
    "event_id": "event_AVBOmrgY3C8bjlRajfSUT",
    "type": "response.content_part.added",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": ""
    }
}
typestringType de l'événement. Cette valeur est toujours response.content_part.added.
response_idstringID de la réponse.
item_idstringID de l'élément de message.
output_indexintegerIndex de l'élément de sortie dans la réponse. Cette valeur est toujours 0.
content_indexintegerIndex de la partie interne au sein de l'élément de sortie. Cette valeur est toujours 0.
partobjectInformations sur l'élément de sortie.

Properties

typestringType de la partie de contenu.textstringTexte de la partie de contenu.

response.content_part.done

Renvoyé lorsque le streaming d'une partie de contenu au sein d'un élément de message assistant est terminé.
event_idstringIdentifiant unique de cet événement.
{
    "event_id": "event_Il8HD19v58Qr5IBkw7LtN",
    "type": "response.content_part.done",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": "Hello! How can I help you?"
    }
}
typestringType de l'événement. Cette valeur est toujours response.content_part.done.
response_idstringID de la réponse.
item_idstringID de l'élément de message.
output_indexintegerIndex de l'élément de sortie dans la réponse. Cette valeur est toujours 0.
content_indexintegerIndex de la partie de contenu dans le tableau de contenu. Cette valeur est toujours 0.
partobjectInformations sur l'élément de sortie.

Properties

typestringType de la partie de contenu.textstringTexte de la partie de contenu.