Eventos do lado do servidor para a API qwen3.5-livetranslate-flash-realtime.
Referência: Real-time audio and video translation - Qwen
error
Mensagem de erro retornada pelo servidor.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo do evento. O valor é sempre error. | |
errorobjectInformações detalhadas sobre o erro.
Properties type stringTipo do erro.codestringCódigo do erro.messagestringMensagem de erro.paramstringParâmetro relacionado ao erro, como session.modalities. |
session.created
Ao conectar um cliente, o servidor retorna este evento primeiro com as configurações padrão da sessão.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo do evento. O valor é sempre session.created. | |
sessionobjectConfiguração da sessão.
Properties id stringIdentificador exclusivo da sessão.objectstringO valor é sempre realtime.session.modelstringModelo em uso.modalitiesarrayConfigurações de modalidade de saída do modelo.voicestringVoz do áudio gerado pelo modelo.input_audio_formatstringFormato do áudio de entrada. Padrão: pcm.sample_rateintegerTaxa de amostragem do áudio de entrada, em Hz.output_audio_formatstringFormato do áudio de saída. Padrão: pcm.turn_detectionobjectConfiguração de VAD (Detecção de Atividade de Voz).translationobject(Opcional)Configuração de tradução.
Properties language string (Opcional)Idioma de destino da tradução.corpusobject(Opcional)Configuração de terminologia personalizada para melhorar a precisão da tradução de termos específicos do domínio.
Properties corpus.phrases object(Opcional)Mapeamento de termos do idioma de origem para traduções no idioma de destino. Para obter detalhes, consulte Supported languages. |
session.updated
Retornado após uma solicitação session.update bem-sucedida. Se a solicitação falhar, o servidor retornará um evento error em seu lugar.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo do evento. O valor é sempre session.updated. | |
sessionobjectConfiguração da sessão.
Properties id stringIdentificador exclusivo da sessão.objectstringO valor é sempre realtime.session.modelstringModelo em uso.modalitiesarrayConfigurações de modalidade de saída do modelo.voicestringVoz do áudio gerado pelo modelo.sample_rateinteger(Opcional)Taxa de amostragem do áudio de entrada, em Hz.input_audio_formatstringFormato do áudio de entrada. O valor é sempre pcm.output_audio_formatstringFormato do áudio de saída. O valor é sempre pcm.input_audio_transcriptionobjectConfiguração de transcrição de áudio de entrada. Retornada apenas quando o parâmetro input_audio_transcription.model está configurado na sessão.
Properties model stringModelo de reconhecimento de fala.languagestringIdioma de reconhecimento de fala configurado.objectConfiguração de VAD (Detecção de Atividade de Voz). Este campo não é retornado no modo Manual (quando o cliente define este parâmetro como null em session.update).
Properties type stringTipo de VAD. O valor é sempre server_vad.thresholdfloatSensibilidade de detecção do VAD.prefix_padding_msintegerDuração de áudio (em milissegundos) mantida antes do início da fala para evitar perda do começo da fala.silence_duration_msintegerDuração mínima de silêncio (em milissegundos) necessária após o término da fala para determinar sua conclusão.create_responsebooleanIndica se o sistema deve acionar automaticamente uma resposta de tradução após o VAD detectar o fim da fala.interrupt_responsebooleanIndica se o sistema deve interromper a geração da resposta de tradução atual quando o VAD detectar um novo turno de fala.object(Opcional)Configuração de tradução.
Properties language string (Opcional)Idioma de destino da tradução.corpusobject(Opcional)Configuração de terminologia personalizada para melhorar a precisão da tradução de termos específicos do domínio.
Properties corpus.phrases object(Opcional)Mapeamento de termos do idioma de origem para traduções no idioma de destino.booleanIndica se a clonagem de voz está ativada.voice_clone_optionsobjectParâmetros de controle da clonagem de voz. Retornados apenas quando enable_voice_clone é true.
Properties frequency stringFrequência de clonagem de voz. |
session.finished
Sessão finalizada e todas as traduções de áudio concluídas.
Enviado apenas depois que o cliente envia uma solicitação session.finish. O cliente pode então se desconectar.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo do evento. O valor é sempre session.finished. |
response.created
Retornado quando o servidor gera uma nova resposta do modelo.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo do evento. O valor é sempre response.created. | |
responseobjectObjeto de resposta.
Properties id stringIdentificador exclusivo da resposta.conversation_id stringIdentificador exclusivo da sessão atual.object stringTipo de objeto. Para este evento, o valor é sempre realtime.response.status stringStatus da resposta. Valores válidos:
arrayModalidade da resposta.voice stringVoz do áudio gerado.output_audio_format stringFormato do áudio de saída.output arrayEste evento está vazio no momento. |
response.done
Retornado após a conclusão da geração da resposta. Contém todos os itens de saída, exceto dados de áudio brutos.
event_id stringIdentificador exclusivo deste evento. | |
type stringTipo do evento. O valor é sempre response.done. | |
response objectObjeto de resposta.
Properties id stringIdentificador exclusivo da resposta.conversation_id stringIdentificador exclusivo da sessão atual.object stringTipo de objeto. Para este evento, o valor é sempre realtime.response.status stringStatus da resposta.modalities arrayModalidade da resposta.voice stringVoz usada para o áudio gerado pelo modelo.output_audio_format stringFormato do áudio de saída.output objectSaída da resposta.
Properties id stringIdentificador exclusivo da saída da resposta.type stringTipo do item de saída. Atualmente, o valor é sempre message.object stringTipo de objeto do item de saída. Atualmente, o valor é sempre realtime.item.status stringStatus do item de saída.role stringFunção do item de saída.content arrayConteúdo do item de saída.
Properties type stringTipo do conteúdo de saída. O valor é text para saída de texto simples e audio quando a saída inclui áudio.text stringConteúdo de texto da saída.transcript stringTranscrição de texto do conteúdo de áudio.objectInformações de consumo de tokens para esta resposta. |
response.text.text
Retornado para saída somente de texto quando o modelo gera texto incrementalmente.
event_idstringIdentificador exclusivo do evento. | |
typestringTipo do evento. O valor é sempre response.text.text. | |
textstringTexto incremental retornado. | |
response_idstringID da resposta. | |
item_idstringIdentificador exclusivo do item de mensagem. | |
output_indexintegerAtualmente, o valor é sempre 0. | |
content_indexintegerAtualmente, o valor é sempre 0. | |
stashstringTexto temporário gerado pelo modelo. Concatene stash com o text atual para formar um resultado provisório. O sistema atualiza text e stash continuamente usando eventos response.text.text até receber um evento response.text.done. O texto completo final estará então disponível no campo text. |
response.text.done
Retornado quando a geração de texto termina para saída somente de texto, ou se a resposta for interrompida, incompleta ou cancelada.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo do evento. O valor é sempre response.text.done. | |
response_idstringIdentificador exclusivo da resposta. | |
item_idstringIdentificador exclusivo do item de mensagem. | |
output_indexintegerAtualmente, o valor é sempre 0. | |
content_indexintegerAtualmente, o valor é sempre 0. | |
text stringSaída de texto completa do modelo. |
response.audio.delta
Retornado quando a saída de áudio está ativada e o modelo gera áudio incrementalmente.
event_idstringIdentificador exclusivo do evento. | |
typestringTipo do evento. O valor é sempre response.audio.delta. | |
response_idstringIdentificador exclusivo da resposta. | |
item_idstringIdentificador exclusivo do item de mensagem. | |
| output_index integerO valor é sempre 0. | |
content_index integerO valor é sempre 0. | |
delta stringDados de áudio incrementais produzidos pelo modelo. Os dados são codificados em Base64. |
response.audio.done
Retornado quando a geração de áudio é concluída. Também retornado se a resposta for interrompida, incompleta ou cancelada. Não contém dados de áudio completos.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo do evento. É sempre response.audio.done. | |
response_idstringIdentificador exclusivo da resposta. | |
item_idstringIdentificador exclusivo do item de mensagem. | |
output_indexintegerO valor é sempre 0. | |
content_indexintegerO valor é sempre 0. |
input_audio_buffer.speech_started
Retornado quando o VAD (Detecção de Atividade de Voz) do lado do servidor detecta que o usuário começou a falar.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo do evento. O valor é sempre input_audio_buffer.speech_started. | |
audio_start_msintegerPonto no tempo (em milissegundos) em que a fala foi detectada como iniciada, como um deslocamento do início do fluxo de áudio. | |
item_idstringIdentificador exclusivo do item de mensagem associado. |
input_audio_buffer.speech_stopped
Retornado quando o VAD do lado do servidor detecta que o usuário parou de falar, indicando o fim do turno atual de entrada de fala. Como a resposta de tradução é gerada sincronizadamente com a entrada de fala em streaming, a resposta de tradução real pode já ter começado durante o processo de entrada de fala, sem necessidade de aguardar este evento.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo do evento. O valor é sempre input_audio_buffer.speech_stopped. | |
audio_end_msintegerPonto no tempo (em milissegundos) em que a fala foi detectada como terminada, como um deslocamento do início do fluxo de áudio. | |
item_idstringIdentificador exclusivo do item de mensagem associado. |
input_audio_buffer.committed
No modo Manual (turn_detection é null), após o cliente enviar um evento input_audio_buffer.commit, o servidor retorna este evento como confirmação e inicia automaticamente a geração da resposta de tradução.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo do evento. O valor é sempre input_audio_buffer.committed. |
input_audio_buffer.cleared
Após o cliente enviar um evento input_audio_buffer.clear, o servidor retorna este evento como confirmação de que os dados de áudio não confirmados no buffer foram limpos.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo do evento. O valor é sempre input_audio_buffer.cleared. |
conversation.item.created
Retornado quando um novo item de mensagem é criado na conversa. Este evento é acionado nos seguintes cenários:
- Quando o servidor começa a gerar uma resposta de tradução, ele cria um item de mensagem de assistente correspondente (neste ponto,
contenté um array vazio, e o conteúdo é preenchido progressivamente com a resposta em streaming). - No modo Manual, após o cliente enviar um evento
input_audio_buffer.commit, o servidor cria adicionalmente um item de mensagem correspondente ao áudio de entrada do usuário (contentcontém{"type": "input_audio"}).
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo do evento. O valor é sempre conversation.item.created. | |
itemobjectInformações do item de mensagem.
Properties id stringIdentificador exclusivo do item de mensagem.typestringO valor é sempre message.objectstringO valor é sempre realtime.item.statusstringStatus do item de mensagem.rolestringFunção da mensagem. Valores válidos: assistant ou user.contentarrayConteúdo da mensagem. Quando uma resposta é criada inicialmente, este é um array vazio que é preenchido progressivamente com a resposta em streaming. Para itens de mensagem de usuário criados por commit no modo Manual, ele contém {"type": "input_audio"}. |
conversation.item.input_audio_transcription.text
Quando input_audio_transcription.model está configurado, o servidor transmite resultados de reconhecimento de fala no idioma de origem original via streaming.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo do evento. O valor é sempre conversation.item.input_audio_transcription.text. | |
item_idstringIdentificador exclusivo do item de mensagem. | |
content_indexintegerAtualmente, o valor é sempre 0. | |
textstringTexto de reconhecimento confirmado. | |
stashstringTexto de reconhecimento pendente de confirmação. Este texto pode ser corrigido por eventos subsequentes. | |
languagestringIdioma de origem detectado. | |
emotionstringEmoção detectada do áudio reconhecido. As emoções suportadas são as seguintes:
|
conversation.item.input_audio_transcription.completed
Quando input_audio_transcription.model está configurado, retorna o resultado final de reconhecimento após a conclusão do reconhecimento de fala.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo do evento. É sempre conversation.item.input_audio_transcription.completed. | |
item_idstringIdentificador exclusivo do item de mensagem. | |
content_indexintegerAtualmente, é sempre 0. | |
transcriptstringResultado completo do reconhecimento de fala no idioma de origem original. | |
languagestringIdioma de origem detectado. | |
emotionstringEmoção detectada do áudio reconhecido. Emoções suportadas:
|
conversation.item.input_audio_transcription.failed
Retornado quando a entrada de áudio foi recebida, mas o reconhecimento de fala falhou. Este evento é tratado separadamente de outros eventos error, facilitando a identificação do item específico associado pelo cliente.
typestringTipo do evento. O valor é sempre conversation.item.input_audio_transcription.failed. | |
item_idstringID do item de conversa associado. | |
content_indexintegerÍndice da parte de conteúdo que contém o áudio. | |
error.codestringCódigo de erro. | |
error.messagestringMensagem de erro. |
response.audio_transcript.text
Retornado para saída de áudio para exibir a tradução em tempo real.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo do evento. O valor é sempre response.audio_transcript.text. | |
response_idstringIdentificador exclusivo da resposta. | |
item_idstringIdentificador exclusivo do item de mensagem. | |
output_index integerAtualmente, o valor é sempre 0. | |
content_index integerAtualmente, o valor é sempre 0. | |
textstringSegmento de texto de tradução confirmado. | |
stashstringTexto de tradução temporário, concatenado com text para formar resultados provisórios. O sistema atualiza text e stash continuamente via eventos response.audio_transcript.text até que um evento response.audio_transcript.done seja recebido. Em seguida, recupere a tradução final de transcript. |
response.audio_transcript.done
Retornado quando a saída de áudio está ativada e a geração de texto termina.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo do evento. É sempre response.audio_transcript.done. | |
response_idstringIdentificador exclusivo da resposta. | |
item_idstringIdentificador exclusivo do item de mensagem. | |
output_index integerAtualmente, é sempre 0. | |
content_index integerAtualmente, é sempre 0. | |
transcriptstringTexto completo. |
response.output_item.added
Retornado quando um novo item de saída é adicionado durante a geração da resposta.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo do evento. O valor é sempre response.output_item.added. | |
response_idstringIdentificador exclusivo da resposta. | |
output_index integerAtualmente, o valor é sempre 0. | |
item objectInformações sobre o item de saída.
Properties id stringIdentificador exclusivo do item de saída.typestringO valor é sempre message.objectstringO valor é sempre realtime.item.statusstringStatus do item de saída.rolestringFunção da mensagem.contentstringConteúdo da mensagem. |
response.output_item.done
Retornado quando um item de saída é concluído.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo do evento. O valor é sempre response.output_item.done. | |
response_idstringIdentificador exclusivo da resposta. | |
output_indexintegerAtualmente, o valor é sempre 0. | |
itemobjectInformações sobre o item de saída.
Properties id stringIdentificador exclusivo do item de saída.objectstringO valor é sempre realtime.item.typestringO valor é sempre message.statusstringStatus do item de saída.rolestringFunção do remetente da mensagem.contentstringConteúdo da mensagem. |
response.content_part.added
Retornado quando uma nova parte de conteúdo é adicionada.
event_id stringID exclusivo do evento. | |
type stringTipo do evento. O valor é sempre response.content_part.added. | |
response_id stringID exclusivo da resposta. | |
item_id stringID exclusivo do item de mensagem. | |
output_index integerO valor é sempre 0. | |
content_index integerO valor é sempre 0. | |
part objectInformações do item de saída.
Properties type stringTipo da parte de conteúdo.text stringTexto da parte de conteúdo. |
response.content_part.done
Retornado quando uma parte de conteúdo é concluída.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo do evento. É sempre response.content_part.done. | |
response_idstringIdentificador exclusivo da resposta. | |
item_idstringIdentificador exclusivo do item de mensagem. | |
output_index integerO valor é sempre 0. | |
content_index integerO valor é sempre 0. | |
part objectInformações sobre a parte de conteúdo.
Properties type stringTipo da parte de conteúdo.textstringTexto da parte de conteúdo. |