Skip to main content

Eventos do servidor do Qwen-LiveTranslate-Realtime

Este tópico descreve os eventos do servidor da API de tradução de áudio e vídeo em tempo real Qwen, incluindo tipos de eventos, parâmetros e exemplos.

Referência: Real-time audio and video translation - Qwen
Esta página é a referência de eventos do Qwen-LiveTranslate-Realtime. As definições dos eventos são baseadas no acesso por WebSocket. O AOQ e o WebRTC usam seus respectivos canais de dados para enviar e receber eventos do modelo e trilhas de mídia para transmitir mídia. Primeiro, leia Acesso por WebSocket, Acesso por WebRTC ou Acesso por AOQ.
Para usar os SDKs de WebSocket, consulte SDK para Python e SDK para Java. Para selecionar um modelo e um protocolo, consulte Visão geral.

error

Mensagem de erro retornada pelo servidor.
event_idstringIdentificador exclusivo deste evento.
{
      "event_id": "event_RoUu4T8yExPMI37GKwaOC",
      "type": "error",
      "error": {
        "type": "invalid_request_error",
        "code": "invalid_value",
        "message": "Invalid modalities: ['audio']. Supported combinations are: ['text'] and ['audio', 'text'].",
        "param": "session.modalities"
      }
    }
typestringTipo do evento. O valor é sempre error.
errorobjectInformações detalhadas sobre o erro.

Properties

typestringTipo do erro.codestringCódigo do erro.messagestringMensagem de erro.paramstringParâmetro relacionado ao erro, como session.modalities.

session.created

Ao conectar um cliente, o servidor retorna este evento primeiro com as configurações padrão da sessão.
event_idstringIdentificador exclusivo deste evento.Aplica-se a qwen3.8-livetranslate-flash-realtime.
{
  "event_id": "event_example",
  "type": "session.created",
  "session": {
    "id": "sess_example",
    "object": "realtime.session",
    "model": "qwen3.8-livetranslate-flash-realtime",
    "input_modalities": [
      "audio"
    ],
    "output_modalities": [
      "text",
      "audio"
    ],
    "audio": {
      "input": {
        "format": {
          "type": "pcm",
          "sample_rate": 16000
        },
        "turn_detection": {
          "type": "speaker_detection",
          "threshold": 0.5,
          "silence_duration_ms": 1000
        }
      },
      "output": {
        "format": {
          "type": "pcm",
          "sample_rate": 24000
        },
        "voice": "Tina"
      }
    },
    "translation": {
      "language": "en"
    }
  }
}
Exemplo para qwen3.5-livetranslate-flash-realtime:
{
        "event_id": "event_QxBGpjBDmDDQQWDtrqBKB",
        "type": "session.created",
        "session": {
            "id": "sess_OozZ1vtbPt2muDflHODIH",
            "object": "realtime.session",
            "model": "qwen3.5-livetranslate-flash-realtime",
            "modalities": [
                "text",
                "audio"
            ],
            "voice": "Cherry",
            "input_audio_format": "pcm",
            "sample_rate": 16000,
            "output_audio_format": "pcm",
            "turn_detection": {
                "type": "server_vad",
                "threshold": 0,2,
                "silence_duration_ms": 1000
            },
            "translation": {
               "language": "en",
               "corpus": {
                   "phrases": {
                       "人工智能": "Artificial Intelligence",
                       "机器学习": "Machine Learning"
                   }
               }
            }
        }
    }
typestringTipo do evento. O valor é sempre session.created.
sessionobjectConfiguração da sessão.

Properties

idstringIdentificador exclusivo da sessão.objectstringO valor é sempre realtime.session.modelstringModelo em uso.input_modalitiesarrayAplica-se a qwen3.8-livetranslate-flash-realtime. Modalidades de entrada, como ["audio"].output_modalitiesarrayAplica-se a qwen3.8-livetranslate-flash-realtime. Modalidades de saída: ["text"] ou ["text", "audio"].audioobjectAplica-se a qwen3.8-livetranslate-flash-realtime. Configuração de áudio de entrada e saída.

Propriedades

input.formatobjectFormato de entrada. O padrão de type é pcm e o de sample_rate é 16000 Hz.input.turn_detectionobjectConfiguração de detecção de turnos. Padrões: type é speaker_detection, threshold é 0.5 e silence_duration_ms é 1000.output.formatobjectFormato de saída. O padrão de type é pcm e o de sample_rate é 24000 Hz.output.voicestringVoz de saída. O padrão é Tina.
modalitiesarrayAplica-se a modelos como qwen3.5-livetranslate-flash-realtime.Configurações de modalidade de saída do modelo.voicestringAplica-se a modelos como qwen3.5-livetranslate-flash-realtime.Voz do áudio gerado pelo modelo.input_audio_formatstringAplica-se a modelos como qwen3.5-livetranslate-flash-realtime.Formato do áudio de entrada. Padrão: pcm.sample_rateintegerAplica-se a modelos como qwen3.5-livetranslate-flash-realtime.Taxa de amostragem do áudio de entrada, em Hz.output_audio_formatstringAplica-se a modelos como qwen3.5-livetranslate-flash-realtime.Formato do áudio de saída. Padrão: pcm.turn_detectionobjectAplica-se a modelos como qwen3.5-livetranslate-flash-realtime.Configuração de VAD (Detecção de Atividade de Voz).translationobject(Opcional)Configuração de tradução.

Properties

language string (Opcional)Idioma de destino da tradução.corpusobject(Opcional)Configuração de terminologia personalizada para melhorar a precisão da tradução de termos específicos do domínio.

Properties

corpus.phrasesobject(Opcional)Mapeamento de termos do idioma de origem para traduções no idioma de destino. Para obter detalhes, consulte Idiomas compatíveis.

session.updated

Retornado após uma solicitação session.update bem-sucedida. Se a solicitação falhar, o servidor retornará um evento error em seu lugar.
event_idstringIdentificador exclusivo deste evento.Aplica-se a qwen3.8-livetranslate-flash-realtime.
{
  "event_id": "event_example",
  "type": "session.updated",
  "session": {
    "id": "sess_example",
    "object": "realtime.session",
    "model": "qwen3.8-livetranslate-flash-realtime",
    "input_modalities": [
      "audio"
    ],
    "output_modalities": [
      "text",
      "audio"
    ],
    "audio": {
      "input": {
        "format": {
          "type": "pcm",
          "sample_rate": 16000
        },
        "turn_detection": {
          "type": "speaker_detection",
          "threshold": 0.5,
          "silence_duration_ms": 1000
        }
      },
      "output": {
        "format": {
          "type": "pcm",
          "sample_rate": 24000
        },
        "voice": "Tina"
      }
    },
    "translation": {
      "language": "en"
    }
  }
}
Exemplo para qwen3.5-livetranslate-flash-realtime:
{
        "event_id": "event_QxBGpjBDmDDQQWDtrqBKB",
        "type": "session.updated",
        "session": {
            "id": "sess_OozZ1vtbPt2muDflHODIH",
            "object": "realtime.session",
            "model": "qwen3.5-livetranslate-flash-realtime",
            "modalities": [
                "text",
                "audio"
            ],
            "voice": "Ethan",
            "sample_rate": 16000,
            "input_audio_format": "pcm",
            "output_audio_format": "pcm",
            "input_audio_transcription": {
                "model": "qwen3-asr-flash-realtime",
                "language": "zh"
            },
            "turn_detection": {
                "type": "server_vad",
                "threshold": 0,2,
                "prefix_padding_ms": 300,
                "silence_duration_ms": 1000,
                "create_response": true,
                "interrupt_response": true
            },
            "translation": {
               "language": "en",
               "corpus": {
                   "phrases": {
                       "人工智能": "Artificial Intelligence",
                       "机器学习": "Machine Learning"
                   }
               }
            },
            "enable_voice_clone": true,
            "voice_clone_options": {
                "frequency": "once"
            }
        }
    }
typestringTipo do evento. O valor é sempre session.updated.
sessionobjectConfiguração da sessão.

Properties

idstringIdentificador exclusivo da sessão.objectstringO valor é sempre realtime.session.modelstringModelo em uso.input_modalitiesarrayAplica-se a qwen3.8-livetranslate-flash-realtime. Modalidades de entrada, como ["audio"].output_modalitiesarrayAplica-se a qwen3.8-livetranslate-flash-realtime. Modalidades de saída: ["text"] ou ["text", "audio"].audioobjectAplica-se a qwen3.8-livetranslate-flash-realtime. Configuração de áudio de entrada e saída.

Propriedades

input.formatobjectFormato de entrada. O padrão de type é pcm e o de sample_rate é 16000 Hz.input.turn_detectionobjectConfiguração de detecção de turnos. Padrões: type é speaker_detection, threshold é 0.5 e silence_duration_ms é 1000.output.formatobjectFormato de saída. O padrão de type é pcm e o de sample_rate é 24000 Hz.output.voicestringVoz de saída. O padrão é Tina.
modalitiesarrayAplica-se a modelos como qwen3.5-livetranslate-flash-realtime.Configurações de modalidade de saída do modelo.voicestringAplica-se a modelos como qwen3.5-livetranslate-flash-realtime.Voz do áudio gerado pelo modelo.sample_rateinteger(Opcional)Aplica-se a modelos como qwen3.5-livetranslate-flash-realtime.Taxa de amostragem do áudio de entrada, em Hz.input_audio_formatstringAplica-se a modelos como qwen3.5-livetranslate-flash-realtime.Formato do áudio de entrada. O valor é sempre pcm.output_audio_formatstringAplica-se a modelos como qwen3.5-livetranslate-flash-realtime.Formato do áudio de saída. O valor é sempre pcm.input_audio_transcriptionobjectConfiguração de transcrição de áudio de entrada. Retornada apenas quando o parâmetro input_audio_transcription.model está configurado na sessão.

Properties

modelstringModelo de reconhecimento de fala.languagestringIdioma de reconhecimento de fala configurado.
turn_detectionobjectAplica-se a modelos como qwen3.5-livetranslate-flash-realtime.Configuração de VAD (Detecção de Atividade de Voz). Este campo não é retornado no modo Manual (quando o cliente define este parâmetro como null em session.update).

Properties

typestringTipo de VAD. O valor é sempre server_vad.thresholdfloatSensibilidade de detecção do VAD.prefix_padding_msintegerDuração de áudio (em milissegundos) mantida antes do início da fala para evitar perda do começo da fala.silence_duration_msintegerDuração mínima de silêncio (em milissegundos) necessária após o término da fala para determinar sua conclusão.create_responsebooleanIndica se o sistema deve acionar automaticamente uma resposta de tradução após o VAD detectar o fim da fala.interrupt_responsebooleanIndica se o sistema deve interromper a geração da resposta de tradução atual quando o VAD detectar um novo turno de fala.
translationobject(Opcional)Configuração de tradução.

Properties

language string (Opcional)Idioma de destino da tradução.corpusobject(Opcional)Configuração de terminologia personalizada para melhorar a precisão da tradução de termos específicos do domínio.

Properties

corpus.phrasesobject(Opcional)Mapeamento de termos do idioma de origem para traduções no idioma de destino.
enable_voice_clonebooleanIndica se a clonagem de voz está ativada.voice_clone_optionsobjectParâmetros de controle da clonagem de voz. Retornados apenas quando enable_voice_clone é true.

Properties

frequencystringFrequência de clonagem de voz.

session.finished

Sessão finalizada e todas as traduções de áudio concluídas. Este evento é retornado após o cliente enviar session.finish. Após recebê-lo, se a reprodução for necessária, o cliente deve concluir a reprodução local de todo o áudio traduzido restante antes de encerrar a conexão.
event_idstringIdentificador exclusivo deste evento.
{
        "event_id": "event_xxx",
        "type": "session.finished"
    }
typestringTipo do evento. O valor é sempre session.finished.

response.created

Retornado quando o servidor gera uma nova resposta do modelo.
event_idstringIdentificador exclusivo deste evento.
{
        "event_id": "event_L8hHVI5jYis6BzAjnPWJh",
        "type": "response.created",
        "response": {
            "id": "resp_P79OOMs8LnrXVpiIHUCKR",
            "object": "realtime.response",
            "conversation_id": "conv_UFClXtYkRkFXrs48y8pmK",
            "status": "in_progress",
            "modalities": [
                "text",
                "audio"
            ],
            "voice": "Cherry",
            "output_audio_format": "pcm16",
            "output": []
        }
    }
typestringTipo do evento. O valor é sempre response.created.
responseobjectObjeto de resposta.

Properties

id stringIdentificador exclusivo da resposta.conversation_id stringIdentificador exclusivo da sessão atual.object stringTipo de objeto. Para este evento, o valor é sempre realtime.response.status stringStatus da resposta. Valores válidos:
  • completed
  • failed
  • in_progress
  • incomplete
modalities arrayModalidade da resposta.voice stringVoz do áudio gerado.output_audio_format stringFormato do áudio de saída.output arrayEste evento está vazio no momento.

response.done

Retornado após a conclusão da geração da resposta. Contém todos os itens de saída, exceto dados de áudio brutos.
event_id stringIdentificador exclusivo deste evento.
{
      "event_id": "event_CNea8oXNipVanSg2VIzkO",
      "type": "response.done",
      "response": {
        "id": "resp_TfhYTqej692vsGA2jNEtH",
        "object": "realtime.response",
        "conversation_id": "conv_ZtyLfKVm8XqLwYRlsuDih",
        "status": "completed",
        "modalities": [
          "text",
          "audio"
        ],
        "voice": "Cherry",
        "output_audio_format": "pcm16",
        "output": [
          {
            "id": "item_MKtkMwN9RtcyE9eJShyWy",
            "object": "realtime.item",
            "type": "message",
            "status": "completed",
            "role": "assistant",
            "content": [
              {
                "type": "audio",
                "transcript": "Hello? "
              }
            ]
          }
        ],
        "usage": {
          "total_tokens": 56,
          "input_tokens": 47,
          "output_tokens": 9,
          "input_tokens_details": {
            "text_tokens": 20,
            "audio_tokens": 27
          },
          "output_tokens_details": {
            "text_tokens": 2,
            "audio_tokens": 7
          }
        }
      }
    }
type stringTipo do evento. O valor é sempre response.done.
response objectObjeto de resposta.

Properties

id stringIdentificador exclusivo da resposta.conversation_id stringIdentificador exclusivo da sessão atual.object stringTipo de objeto. Para este evento, o valor é sempre realtime.response.status stringStatus da resposta.modalities arrayModalidade da resposta.voice stringVoz usada para o áudio gerado pelo modelo.output_audio_format stringFormato do áudio de saída.output objectSaída da resposta.

Properties

id stringIdentificador exclusivo da saída da resposta.type stringTipo do item de saída. Atualmente, o valor é sempre message.object stringTipo de objeto do item de saída. Atualmente, o valor é sempre realtime.item.status stringStatus do item de saída.role stringFunção do item de saída.content arrayConteúdo do item de saída.

Properties

type stringTipo do conteúdo de saída. O valor é text para saída de texto simples e audio quando a saída inclui áudio.text stringConteúdo de texto da saída.transcript stringTranscrição de texto do conteúdo de áudio.
usage objectUso cumulativo de tokens da sessão até a resposta atual. Cada response.done informa os valores cumulativos atuais. Para obter o total da sessão, use o último relatório de usage, sem somar os relatórios.
total_tokens integerTotal de tokens de entrada e saída, equivalente à soma de input_tokens e output_tokens.input_tokens integerTokens de entrada.output_tokens integerTokens de saída.input_tokens_details objectDetalhamento dos tokens de entrada.
text_tokens integerTokens de texto do prompt de sistema fixo do modelo. Sem cobrança.audio_tokens integerTokens de áudio de entrada.video_tokens integerTokens de imagem de entrada, cobrados como entrada de imagem.
output_tokens_details objectDetalhamento dos tokens de saída.
text_tokens integerTokens de texto de saída.audio_tokens integerTokens de áudio de saída.

response.text.text

Retornado para saída somente de texto quando o modelo gera texto incrementalmente.
event_idstringIdentificador exclusivo do evento.
{
        "event_id": "event_B1lIeyOXR7qJMEExbqtTG",
        "type": "response.text.text",
        "response_id": "resp_B1lIdtjF4Noqpn5NOjznj",
        "item_id": "item_B1lIdJsAJlJiFs8ztWpJt",
        "output_index": 0,
        "content_index": 0,
        "text": "How are",
        "stash": " you today?"
    }
typestringTipo do evento. O valor é sempre response.text.text.
textstringTexto incremental retornado.
response_idstringID da resposta.
item_idstringIdentificador exclusivo do item de mensagem.
output_indexintegerAtualmente, o valor é sempre 0.
content_indexintegerAtualmente, o valor é sempre 0.
stashstringTexto temporário gerado pelo modelo. Concatene stash com o text atual para formar um resultado provisório. O sistema atualiza text e stash continuamente usando eventos response.text.text até receber um evento response.text.done. O texto completo final estará então disponível no campo text.

response.text.done

Retornado quando a geração de texto termina para saída somente de texto, ou se a resposta for interrompida, incompleta ou cancelada.
event_idstringIdentificador exclusivo deste evento.
{
        "event_id": "event_B1lIeE2Nac33zn5V7h2mm",
        "type": "response.text.done",
        "response_id": "resp_B1lIdtjF4Noqpn5NOjznj",
        "item_id": "item_B1lIdJsAJlJiFs8ztWpJt",
        "output_index": 0,
        "content_index": 0,
        "text": "How can I assist you today?"
    }
typestringTipo do evento. O valor é sempre response.text.done.
response_idstringIdentificador exclusivo da resposta.
item_idstringIdentificador exclusivo do item de mensagem.
output_indexintegerAtualmente, o valor é sempre 0.
content_indexintegerAtualmente, o valor é sempre 0.
text stringSaída de texto completa do modelo.

response.audio.delta

No acesso por WebSocket, o servidor retorna este evento quando as modalidades de saída incluem áudio e o modelo gera novos dados de áudio de forma incremental.
event_idstringIdentificador exclusivo do evento.
{
        "event_id": "event_B1osWMZBtrEQbiIwW0qHQ",
        "type": "response.audio.delta",
        "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
        "output_index": 0,
        "content_index": 0,
        "delta": "UklGRnoGAABXQVZFZm10IBAAAAAB..."
    }
typestringTipo do evento. O valor é sempre response.audio.delta.
response_idstringIdentificador exclusivo da resposta.
item_idstringIdentificador exclusivo do item de mensagem.
output_index integerO valor é sempre 0.
content_index integerO valor é sempre 0.
delta stringDados de áudio incrementais produzidos pelo modelo. Os dados são codificados em Base64.

response.audio.done

Retornado quando a geração de áudio é concluída. Também retornado se a resposta for interrompida, incompleta ou cancelada. Não contém dados de áudio completos.
event_idstringIdentificador exclusivo deste evento.
{
        "event_id": "event_B1osWMWoDRYyITDyNYcBu",
        "type": "response.audio.done",
        "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
        "output_index": 0,
        "content_index": 0
    }
typestringTipo do evento. É sempre response.audio.done.
response_idstringIdentificador exclusivo da resposta.
item_idstringIdentificador exclusivo do item de mensagem.
output_indexintegerO valor é sempre 0.
content_indexintegerO valor é sempre 0.

input_audio_buffer.speech_started

Retornado quando o VAD (Detecção de Atividade de Voz) do lado do servidor detecta que o usuário começou a falar.
event_idstringIdentificador exclusivo deste evento.
{
        "event_id": "event_xxx",
        "type": "input_audio_buffer.speech_started",
        "audio_start_ms": 568,
        "item_id": "item_xxx"
    }
typestringTipo do evento. O valor é sempre input_audio_buffer.speech_started.
audio_start_msintegerPonto no tempo (em milissegundos) em que a fala foi detectada como iniciada, como um deslocamento do início do fluxo de áudio.
item_idstringIdentificador exclusivo do item de mensagem associado.

input_audio_buffer.speech_stopped

Retornado quando o VAD do lado do servidor detecta que o usuário parou de falar, indicando o fim do turno atual de entrada de fala. Como a resposta de tradução é gerada sincronizadamente com a entrada de fala em streaming, a resposta de tradução real pode já ter começado durante o processo de entrada de fala, sem necessidade de aguardar este evento.
event_idstringIdentificador exclusivo deste evento.
{
        "event_id": "event_xxx",
        "type": "input_audio_buffer.speech_stopped",
        "audio_end_ms": 3900,
        "item_id": "item_xxx"
    }
typestringTipo do evento. O valor é sempre input_audio_buffer.speech_stopped.
audio_end_msintegerPonto no tempo (em milissegundos) em que a fala foi detectada como terminada, como um deslocamento do início do fluxo de áudio.
item_idstringIdentificador exclusivo do item de mensagem associado.

input_audio_buffer.committed

No modo Manual (turn_detection é null), após o cliente enviar um evento input_audio_buffer.commit, o servidor retorna este evento como confirmação e inicia automaticamente a geração da resposta de tradução.
event_idstringIdentificador exclusivo deste evento.
{
        "event_id": "event_xxx",
        "type": "input_audio_buffer.committed"
    }
typestringTipo do evento. O valor é sempre input_audio_buffer.committed.

input_audio_buffer.cleared

Após o cliente enviar um evento input_audio_buffer.clear, o servidor retorna este evento como confirmação de que os dados de áudio não confirmados no buffer foram limpos.
event_idstringIdentificador exclusivo deste evento.
{
        "event_id": "event_xxx",
        "type": "input_audio_buffer.cleared"
    }
typestringTipo do evento. O valor é sempre input_audio_buffer.cleared.

conversation.item.created

Retornado quando um novo item de mensagem é criado na conversa. Este evento é acionado nos seguintes cenários:
  • Quando o servidor começa a gerar uma resposta de tradução, ele cria um item de mensagem de assistente correspondente (neste ponto, content é um array vazio, e o conteúdo é preenchido progressivamente com a resposta em streaming).
  • No modo Manual, após o cliente enviar um evento input_audio_buffer.commit, o servidor cria adicionalmente um item de mensagem correspondente ao áudio de entrada do usuário (content contém {"type": "input_audio"}).
event_idstringIdentificador exclusivo deste evento.
{
        "event_id": "event_xxx",
        "type": "conversation.item.created",
        "item": {
            "id": "item_xxx",
            "object": "realtime.item",
            "type": "message",
            "status": "in_progress",
            "role": "assistant",
            "content": []
        }
    }
typestringTipo do evento. O valor é sempre conversation.item.created.
itemobjectInformações do item de mensagem.

Properties

idstringIdentificador exclusivo do item de mensagem.typestringO valor é sempre message.objectstringO valor é sempre realtime.item.statusstringStatus do item de mensagem.rolestringFunção da mensagem. Valores válidos: assistant ou user.contentarrayConteúdo da mensagem. Quando uma resposta é criada inicialmente, este é um array vazio que é preenchido progressivamente com a resposta em streaming. Para itens de mensagem de usuário criados por commit no modo Manual, ele contém {"type": "input_audio"}.

conversation.item.input_audio_transcription.text

Quando input_audio_transcription.model está configurado, o servidor transmite resultados de reconhecimento de fala no idioma de origem original via streaming.
event_idstringIdentificador exclusivo deste evento.
{
        "event_id": "event_xxx",
        "type": "conversation.item.input_audio_transcription.text",
        "item_id": "item_xxx",
        "content_index": 0,
        "text": "",
        "stash": "The weather is really nice today",
        "language": "zh",
        "emotion": "neutral"
    }
typestringTipo do evento. O valor é sempre conversation.item.input_audio_transcription.text.
item_idstringIdentificador exclusivo do item de mensagem.
content_indexintegerAtualmente, o valor é sempre 0.
textstringTexto de reconhecimento confirmado.
stashstringTexto de reconhecimento pendente de confirmação. Este texto pode ser corrigido por eventos subsequentes.
languagestringIdioma de origem detectado.
emotionstringEmoção detectada do áudio reconhecido. As emoções suportadas são as seguintes:
  • surprised: Surpreso
  • neutral: Neutro
  • happy: Feliz
  • sad: Triste
  • disgusted: Enojado
  • angry: Com raiva
  • fearful: Medroso

conversation.item.input_audio_transcription.completed

Quando input_audio_transcription.model está configurado, retorna o resultado final de reconhecimento após a conclusão do reconhecimento de fala.
event_idstringIdentificador exclusivo deste evento.
{
        "event_id": "event_xxx",
        "type": "conversation.item.input_audio_transcription.completed",
        "item_id": "item_xxx",
        "content_index": 0,
        "transcript": "What a beautiful day! Let's go for a walk in the park together.",
        "language": "en",
        "emotion": ""
    }
typestringTipo do evento. É sempre conversation.item.input_audio_transcription.completed.
item_idstringIdentificador exclusivo do item de mensagem.
content_indexintegerAtualmente, é sempre 0.
transcriptstringResultado completo do reconhecimento de fala no idioma de origem original.
languagestringIdioma de origem detectado.
emotionstringEmoção detectada do áudio reconhecido. Emoções suportadas:
  • surprised: surpreso
  • neutral: calmo/neutro
  • happy: feliz
  • sad: triste
  • disgusted: enojado
  • angry: com raiva
  • fearful: medroso

conversation.item.input_audio_transcription.failed

Retornado quando a entrada de áudio foi recebida, mas o reconhecimento de fala falhou. Este evento é tratado separadamente de outros eventos error, facilitando a identificação do item específico associado pelo cliente.
typestringTipo do evento. O valor é sempre conversation.item.input_audio_transcription.failed.
{
        "event_id": "event_xxx",
        "type": "conversation.item.input_audio_transcription.failed",
        "item_id": "item_xxx",
        "content_index": 0,
        "error": {
            "code": "xxx",
            "message": "xxx",
            "param": "xxx"
        }
    }
item_idstringID do item de conversa associado.
content_indexintegerÍndice da parte de conteúdo que contém o áudio.
error.codestringCódigo de erro.
error.messagestringMensagem de erro.

response.audio_transcript.text

Retornado para saída de áudio para exibir a tradução em tempo real.
event_idstringIdentificador exclusivo deste evento.
{
      "event_id": "event_xxx",
      "type": "response.audio_transcript.text",
      "response_id": "resp_xxx",
      "item_id": "item_xxx",
      "output_index": 0,
      "content_index": 0,
      "text": "Hello,",
      "stash": " who are you?"
    }
typestringTipo do evento. O valor é sempre response.audio_transcript.text.
response_idstringIdentificador exclusivo da resposta.
item_idstringIdentificador exclusivo do item de mensagem.
output_index integerAtualmente, o valor é sempre 0.
content_index integerAtualmente, o valor é sempre 0.
textstringSegmento de texto de tradução confirmado.
stashstringTexto de tradução temporário, concatenado com text para formar resultados provisórios. O sistema atualiza text e stash continuamente via eventos response.audio_transcript.text até que um evento response.audio_transcript.done seja recebido. Em seguida, recupere a tradução final de transcript.

response.audio_transcript.done

Retornado quando a saída de áudio está ativada e a geração de texto termina.
event_idstringIdentificador exclusivo deste evento.
{
        "event_id": "event_VN4Q4GJugLcc1S23viW8E",
        "type": "response.audio_transcript.done",
        "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "item_id": "item_JvJauNH2CTXb1D9WV6pD4",
        "output_index": 0,
        "content_index": 0,
        "transcript": "How can I assist you today?"
    }
typestringTipo do evento. É sempre response.audio_transcript.done.
response_idstringIdentificador exclusivo da resposta.
item_idstringIdentificador exclusivo do item de mensagem.
output_index integerAtualmente, é sempre 0.
content_index integerAtualmente, é sempre 0.
transcriptstringTexto completo.

response.output_item.added

Retornado quando um novo item de saída é adicionado durante a geração da resposta.
event_idstringIdentificador exclusivo deste evento.
{
        "event_id": "event_B4O5yPt3Gjnjy5eYH3plG",
        "type": "response.output_item.added",
        "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "output_index": 0,
        "item": {
            "id": "item_OFaPGtzfWCPyGzxnuEX9i",
            "object": "realtime.item",
            "type": "message",
            "status": "in_progress",
            "role": "assistant",
            "content": []
        }
    }
typestringTipo do evento. O valor é sempre response.output_item.added.
response_idstringIdentificador exclusivo da resposta.
output_index integerAtualmente, o valor é sempre 0.
item objectInformações sobre o item de saída.

Properties

idstringIdentificador exclusivo do item de saída.typestringO valor é sempre message.objectstringO valor é sempre realtime.item.statusstringStatus do item de saída.rolestringFunção da mensagem.contentstringConteúdo da mensagem.

response.output_item.done

Retornado quando um item de saída é concluído.
event_idstringIdentificador exclusivo deste evento.
{
        "event_id": "event_XkiwbYTBC9Wcdwy6uYJ2G",
        "type": "response.output_item.done",
        "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "output_index": 0,
        "item": {
            "id": "item_JvJauNH2CTXb1D9WV6pD4",
            "object": "realtime.item",
            "type": "message",
            "status": "completed",
            "role": "assistant",
            "content": [
                {
                    "type": "audio",
                    "text": "Hello, I am a large language model developed by Alibaba Cloud. My name is Qwen. How can I help you?"
                }
            ]
        }
    }
typestringTipo do evento. O valor é sempre response.output_item.done.
response_idstringIdentificador exclusivo da resposta.
output_indexintegerAtualmente, o valor é sempre 0.
itemobjectInformações sobre o item de saída.

Properties

idstringIdentificador exclusivo do item de saída.objectstringO valor é sempre realtime.item.typestringO valor é sempre message.statusstringStatus do item de saída.rolestringFunção do remetente da mensagem.contentstringConteúdo da mensagem.

response.content_part.added

Retornado quando uma nova parte de conteúdo é adicionada.
event_id stringID exclusivo do evento.
{
        "event_id": "event_J2UixwYKZsXg7c9YXZetL",
        "type": "response.content_part.added",
        "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
        "output_index": 0,
        "content_index": 0,
        "part": {
            "type": "audio",
            "text": ""
        }
    }
type stringTipo do evento. O valor é sempre response.content_part.added.
response_id stringID exclusivo da resposta.
item_id stringID exclusivo do item de mensagem.
output_index integerO valor é sempre 0.
content_index integerO valor é sempre 0.
part objectInformações do item de saída.

Properties

type stringTipo da parte de conteúdo.text stringTexto da parte de conteúdo.

response.content_part.done

Retornado quando uma parte de conteúdo é concluída.
event_idstringIdentificador exclusivo deste evento.
{
        "event_id": "event_VN4Q4GJugLcc1S23viW8E",
        "type": "response.content_part.done",
        "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "item_id": "item_JvJauNH2CTXb1D9WV6pD4",
        "output_index": 0,
        "content_index": 0,
        "part": {
            "type": "audio",
            "text": "Hello, I am a large language model developed by Alibaba Cloud. My name is Qwen. How can I help you?"
        }
    }
typestringTipo do evento. É sempre response.content_part.done.
response_idstringIdentificador exclusivo da resposta.
item_idstringIdentificador exclusivo do item de mensagem.
output_index integerO valor é sempre 0.
content_index integerO valor é sempre 0.
part objectInformações sobre a parte de conteúdo.

Properties

typestringTipo da parte de conteúdo.textstringTexto da parte de conteúdo.