Referência de eventos do servidor da API Qwen-Audio-Realtime. Todos os eventos do servidor incluem os campos comuns event_id (gerado automaticamente pelo servidor) e type (tipo de evento).
Guia do usuário: Conversa por voz em tempo real (Qwen-Audio-Realtime). Para a sequência de interação dos eventos, consulte Acesso por WebSocket.
Para usar os SDKs de WebSocket, consulte SDK para Android, SDK para iOS e SDK para HarmonyOS. Para selecionar um modelo e um protocolo, consulte Visão geral.
Descrição: Retornado quando uma solicitação falha ou ocorre um erro de service. Erros de cliente (
Descrição: Primeiro evento enviado pelo servidor após o estabelecimento da conexão. Contém a configuração padrão da sessão.
Descrição: Retornado após o processamento bem-sucedido de uma solicitação
Descrição: Enviado quando a Detecção de Atividade de Voz (VAD) identifica o início da fala nos modos server_vad ou smart_turn.
Descrição: Enviado quando o VAD detecta o fim da fala nos modos server_vad ou smart_turn.
Descrição: O buffer de áudio foi confirmado como uma mensagem de usuário, seja por meio de um commit push-to-talk ou de um commit automático via VAD.
Descrição: O buffer de áudio foi limpo (apenas modo push-to-talk).
Descrição: Um novo item de conversa foi criado. Acionado quando o áudio do usuário é confirmado, quando o cliente cria manualmente um item ou quando uma resposta do assistente é iniciada.
Descrição: Um item de conversa foi excluído. Retornado como confirmação após o cliente enviar um evento
Descrição: Um item de conversa foi recuperado com sucesso. Retornado após o cliente enviar um evento
Descrição: Resultado incremental de transcrição ASR (Reconhecimento Automático de Fala), transmitido em fluxo durante o reconhecimento. Inclui informações de detecção de emoção e idioma.
Descrição: Resultado final da transcrição ASR. O texto transcrito é gravado no campo
Descrição: Falha na transcrição ASR.
Descrição: Apenas modo smart_turn. Resultado incremental de transcrição para áudio ambiente. Quando o VAD detecta atividade de voz, mas a análise semântica classifica o turno como inválido (por exemplo, ruído de fundo ou palavras de preenchimento como "hmm" ou "uh"), o resultado do ASR é encaminhado ao cliente como um evento de ambiente. Este evento não está vinculado a nenhum item de conversa. O
Descrição: Apenas modo smart_turn. Resultado final da transcrição para áudio ambiente. Combinado com o evento delta correspondente para marcar o fim de um segmento de transcrição de áudio ambiente. Este resultado não é gravado no contexto da conversa.
Descrição: Enviado quando uma rodada de inferência do modelo é iniciada.
Descrição: Um novo item de saída foi adicionado à resposta. O tipo de item de saída é
Descrição: Uma nova parte de conteúdo foi adicionada a um item de saída.
Descrição: Evento delta de texto no modo somente texto. Transmite fragmentos de texto incrementalmente.
Descrição: Evento de conclusão de saída de texto no modo somente texto.
Descrição: Evento delta de transcrição no modo de áudio. Transmite fragmentos de transcrição incrementalmente.
Descrição: Evento de conclusão de saída de transcrição no modo de áudio.
Descrição: No acesso por WebSocket, este é um evento incremental de dados de áudio no modo de áudio. O campo
Descrição: Evento de conclusão de saída de áudio no modo de áudio. Não contém dados de áudio.
Descrição: Uma parte de conteúdo dentro de um item de saída foi concluída.
Descrição: Um item de saída dentro da resposta foi concluído.
Descrição: Delta de argumentos de Function Calling. Quando o modelo decide invocar uma ferramenta, o servidor envia primeiro
Descrição: Enviado quando a saída de argumentos de Function Calling é concluída. Após receber este evento, o cliente deve: executar a ferramenta correspondente, gravar o resultado na conversa via
Descrição: Uma rodada de inferência foi concluída. O campo
Descrição: O processo de registro de voiceprint está em andamento de forma assíncrona.
Descrição: O processo de registro de voiceprint foi concluído com sucesso.
Descrição: Falha no registro de voiceprint. As chamadas normais de conversa não são bloqueadas.
Esta página é a referência de eventos do Qwen-Audio-Realtime. As definições dos eventos são baseadas no acesso por WebSocket. O AOQ e o WebRTC usam seus respectivos canais de dados para enviar e receber eventos do modelo e trilhas de mídia para transmitir mídia. Primeiro, leia Acesso por WebSocket, Acesso por WebRTC ou Acesso por AOQ.
error
Descrição: Retornado quando uma solicitação falha ou ocorre um erro de service. Erros de cliente (invalid_request_error) mantêm a conexão aberta. Erros de servidor (server_error) encerram a conexão.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre error. | |
errorobjectDetalhes do erro.
Properties type stringTipo de erro, como invalid_request_error (erro de cliente) ou server_error (erro de servidor).codestringCódigo do erro.messagestringMensagem de erro.paramstringParâmetro associado ao erro. |
session.created
Descrição: Primeiro evento enviado pelo servidor após o estabelecimento da conexão. Contém a configuração padrão da sessão.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre session.created. | |
sessionobjectConfiguração da sessão.
Properties object stringSempre realtime.session.modelstringNome do modelo.modalitiesarrayModalidades de saída do modelo.voicestringVoz usada para geração de áudio. Pode ser um nome de voz do sistema ou o voice_id de uma voz clonada.input_audio_transcriptionobjectConfiguração de transcrição de áudio.
Properties model stringModelo de transcrição, como fun-asr.objectConfiguração de detecção de turno (VAD).idstringIdentificador exclusivo da sessão. |
session.updated
Descrição: Retornado após o processamento bem-sucedido de uma solicitação session.update. Contém a configuração completa e atualizada da sessão. Se a solicitação falhar, um evento error será retornado no lugar.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre session.updated. | |
sessionobjectConfiguração completa da sessão após a atualização. Compartilha a mesma estrutura do objeto session em session.created. |
input_audio_buffer.speech_started
Descrição: Enviado quando a Detecção de Atividade de Voz (VAD) identifica o início da fala nos modos server_vad ou smart_turn.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre input_audio_buffer.speech_started. | |
audio_start_msintegerTimestamp em milissegundos indicando o início da fala. | |
item_idstringID do item que será criado quando este segmento de fala for confirmado. |
input_audio_buffer.speech_stopped
Descrição: Enviado quando o VAD detecta o fim da fala nos modos server_vad ou smart_turn.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre input_audio_buffer.speech_stopped. | |
audio_end_msintegerTimestamp em milissegundos indicando o fim da fala. | |
item_idstringID do item de mensagem do usuário a ser criado. | |
reasonstringRetornado apenas no modo smart_turn. Quando definido como turn_invalid, indica que o turno atual foi classificado como inválido (sem conteúdo semântico) e a inferência não será acionada. Este campo está ausente para turnos válidos. |
input_audio_buffer.committed
Descrição: O buffer de áudio foi confirmado como uma mensagem de usuário, seja por meio de um commit push-to-talk ou de um commit automático via VAD.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre input_audio_buffer.committed. | |
previous_item_idstringID do item de conversa anterior. | |
item_idstringID do item de mensagem do usuário criado. |
input_audio_buffer.cleared
Descrição: O buffer de áudio foi limpo (apenas modo push-to-talk).
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre input_audio_buffer.cleared. |
conversation.item.created
Descrição: Um novo item de conversa foi criado. Acionado quando o áudio do usuário é confirmado, quando o cliente cria manualmente um item ou quando uma resposta do assistente é iniciada.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre conversation.item.created. | |
previous_item_idstringID do item de conversa anterior. | |
itemobjectItem de conversa criado.
Properties id stringIdentificador exclusivo do item de conversa.objectstringSempre realtime.item.typestringTipo de item: message (mensagem padrão) ou function_call (chamada de função).statusstringStatus do item, como in_progress ou completed.rolestringFunção da mensagem, como user ou assistant. Presente apenas para itens do tipo message.contentarrayLista de conteúdo da mensagem. Presente apenas para itens do tipo message. |
conversation.item.deleted
Descrição: Um item de conversa foi excluído. Retornado como confirmação após o cliente enviar um evento conversation.item.delete.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre conversation.item.deleted. | |
item_idstringID do item de conversa excluído. |
conversation.item.retrieved
Descrição: Um item de conversa foi recuperado com sucesso. Retornado após o cliente enviar um evento conversation.item.retrieve. Para conteúdo do tipo áudio, apenas o texto transcrito é incluído; os dados brutos de áudio não são retornados.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre conversation.item.retrieved. | |
itemobjectItem de conversa recuperado.
Properties id stringIdentificador exclusivo do item de conversa.objectstringSempre realtime.item.typestringTipo de item: message (mensagem padrão) ou function_call (chamada de função).rolestringFunção da mensagem, como user ou assistant. Presente apenas para itens do tipo message.contentarrayLista de conteúdo da mensagem. Para conteúdo do tipo áudio, apenas o texto transcrito é incluído; os dados brutos de áudio não são retornados. |
conversation.item.input_audio_transcription.delta
Descrição: Resultado incremental de transcrição ASR (Reconhecimento Automático de Fala), transmitido em fluxo durante o reconhecimento. Inclui informações de detecção de emoção e idioma.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre conversation.item.input_audio_transcription.delta. | |
item_idstringID do item de conversa associado. | |
content_indexintegerÍndice da parte de conteúdo. | |
textstringTexto de transcrição finalizado. | |
stashstringTexto provisório que ainda não foi finalizado. |
conversation.item.input_audio_transcription.completed
Descrição: Resultado final da transcrição ASR. O texto transcrito é gravado no campo transcript do item correspondente.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre conversation.item.input_audio_transcription.completed. | |
item_idstringID do item de conversa associado. | |
content_indexintegerÍndice da parte de conteúdo. | |
transcriptstringTexto completo da transcrição. |
conversation.item.input_audio_transcription.failed
Descrição: Falha na transcrição ASR.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre conversation.item.input_audio_transcription.failed. | |
item_idstringID do item de conversa associado. | |
content_indexintegerÍndice da parte de conteúdo. | |
errorobjectDetalhes do erro.
Properties type stringTipo de erro, como transcription_error.codestringCódigo do erro, como transcription_failed.messagestringMensagem de erro. |
conversation.item.ambient_audio_transcription.delta
Descrição: Apenas modo smart_turn. Resultado incremental de transcrição para áudio ambiente. Quando o VAD detecta atividade de voz, mas a análise semântica classifica o turno como inválido (por exemplo, ruído de fundo ou palavras de preenchimento como "hmm" ou "uh"), o resultado do ASR é encaminhado ao cliente como um evento de ambiente. Este evento não está vinculado a nenhum item de conversa. O item_id é um ID temporário independente.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre conversation.item.ambient_audio_transcription.delta. | |
item_idstringUm ID temporário independente, não associado a nenhum item de conversa. | |
content_indexintegerÍndice da parte de conteúdo. | |
textstringTexto de transcrição finalizado. | |
stashstringTexto provisório que ainda não foi finalizado. |
conversation.item.ambient_audio_transcription.completed
Descrição: Apenas modo smart_turn. Resultado final da transcrição para áudio ambiente. Combinado com o evento delta correspondente para marcar o fim de um segmento de transcrição de áudio ambiente. Este resultado não é gravado no contexto da conversa.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre conversation.item.ambient_audio_transcription.completed. | |
item_idstringUm ID temporário independente, não associado ao contexto da conversa. | |
content_indexintegerÍndice da parte de conteúdo. | |
transcriptstringTexto completo da transcrição. |
response.created
Descrição: Enviado quando uma rodada de inferência do modelo é iniciada.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre response.created. | |
responseobjectObjeto de resposta.
Properties id stringIdentificador exclusivo da resposta.objectstringSempre realtime.response.statusstringStatus da resposta, como in_progress.modalitiesarrayModalidades de saída do modelo.voicestringVoz usada para geração de áudio. Pode ser um nome de voz do sistema ou o voice_id de uma voz clonada.outputarrayItens de saída da resposta. Inicialmente um array vazio. |
response.output_item.added
Descrição: Um novo item de saída foi adicionado à resposta. O tipo de item de saída é message para respostas padrão ou function_call para Function Calling.
event_idstringIdentificador exclusivo deste evento. | response.output_item.added / conversation.item.created / response.output_item.done contêm a seguinte estrutura de item:Uma única resposta pode incluir vários itens function_call e também pode conter saída message padrão junto com a saída function_call. A parte de Function Calling não é enviada ao TTS para reprodução de áudio. |
typestringTipo de evento. Sempre response.output_item.added. | |
response_idstringID da resposta associada. | |
output_indexintegerÍndice do item de saída dentro da resposta. | |
itemobjectItem de saída adicionado.
Properties id stringIdentificador exclusivo do item de saída.objectstringSempre realtime.item.typestringTipo de item de saída: message (mensagem padrão) ou function_call (chamada de função).statusstringStatus do item de saída, como in_progress.rolestringFunção da mensagem. Sempre assistant. Presente apenas para itens do tipo message.contentarrayLista de conteúdo da mensagem. Presente apenas para itens do tipo message. |
response.content_part.added
Descrição: Uma nova parte de conteúdo foi adicionada a um item de saída.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre response.content_part.added. | |
response_idstringID da resposta associada. | |
item_idstringID do item de saída associado. | |
output_indexintegerÍndice do item de saída dentro da resposta. | |
content_indexintegerÍndice da parte de conteúdo dentro do item de saída. | |
partobjectParte de conteúdo adicionada.
Properties type stringTipo de conteúdo, como audio ou text.textstringConteúdo de texto. Inicialmente uma string vazia. |
response.text.delta
Descrição: Evento delta de texto no modo somente texto. Transmite fragmentos de texto incrementalmente.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre response.text.delta. | |
response_idstringID da resposta associada. | |
item_idstringID do item de saída associado. | |
output_indexintegerÍndice do item de saída dentro da resposta. | |
content_indexintegerÍndice da parte de conteúdo dentro do item de saída. | |
deltastringFragmento de texto incremental. |
response.text.done
Descrição: Evento de conclusão de saída de texto no modo somente texto.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre response.text.done. | |
response_idstringID da resposta associada. | |
item_idstringID do item de saída associado. | |
output_indexintegerÍndice do item de saída dentro da resposta. | |
content_indexintegerÍndice da parte de conteúdo dentro do item de saída. | |
textstringSaída de texto completa. |
response.audio_transcript.delta
Descrição: Evento delta de transcrição no modo de áudio. Transmite fragmentos de transcrição incrementalmente.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre response.audio_transcript.delta. | |
response_idstringID da resposta associada. | |
item_idstringID do item de saída associado. | |
output_indexintegerÍndice do item de saída dentro da resposta. | |
content_indexintegerÍndice da parte de conteúdo dentro do item de saída. | |
deltastringFragmento de transcrição incremental. |
response.audio_transcript.done
Descrição: Evento de conclusão de saída de transcrição no modo de áudio.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre response.audio_transcript.done. | |
response_idstringID da resposta associada. | |
item_idstringID do item de saída associado. | |
output_indexintegerÍndice do item de saída dentro da resposta. | |
content_indexintegerÍndice da parte de conteúdo dentro do item de saída. | |
transcriptstringTexto completo da transcrição. |
response.audio.delta
Descrição: No acesso por WebSocket, este é um evento incremental de dados de áudio no modo de áudio. O campo delta contém dados de áudio PCM codificados em Base64.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre response.audio.delta. | |
response_idstringID da resposta associada. | |
item_idstringID do item de saída associado. | |
output_indexintegerÍndice do item de saída dentro da resposta. | |
content_indexintegerÍndice da parte de conteúdo dentro do item de saída. | |
deltastringFragmento de dados de áudio PCM codificado em Base64. |
response.audio.done
Descrição: Evento de conclusão de saída de áudio no modo de áudio. Não contém dados de áudio.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre response.audio.done. | |
response_idstringID da resposta associada. | |
item_idstringID do item de saída associado. | |
output_indexintegerÍndice do item de saída dentro da resposta. | |
content_indexintegerÍndice da parte de conteúdo dentro do item de saída. |
response.content_part.done
Descrição: Uma parte de conteúdo dentro de um item de saída foi concluída.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre response.content_part.done. | |
response_idstringID da resposta associada. | |
item_idstringID do item de saída associado. | |
output_indexintegerÍndice do item de saída dentro da resposta. | |
content_indexintegerÍndice da parte de conteúdo dentro do item de saída. | |
partobjectParte de conteúdo concluída.
Properties type stringTipo de conteúdo, como audio ou text.textstringConteúdo de texto ou texto de transcrição de áudio. |
response.output_item.done
Descrição: Um item de saída dentro da resposta foi concluído.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre response.output_item.done. | |
response_idstringID da resposta associada. | |
output_indexintegerÍndice do item de saída dentro da resposta. | |
itemobjectItem de saída concluído com detalhes completos.
Properties id stringIdentificador exclusivo do item de saída.objectstringSempre realtime.item.typestringTipo de item de saída: message (mensagem padrão) ou function_call (chamada de função).statusstringStatus do item de saída, como completed.rolestringFunção da mensagem. Sempre assistant. Presente apenas para itens do tipo message.contentarrayLista de conteúdo da mensagem. Presente apenas para itens do tipo message. |
response.function_call_arguments.delta
Descrição: Delta de argumentos de Function Calling. Quando o modelo decide invocar uma ferramenta, o servidor envia primeiro response.output_item.added (com item.type=function_call) e conversation.item.created, e então transmite fragmentos de argumentos por meio deste evento.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre response.function_call_arguments.delta. | |
response_idstringID da resposta associada. | |
item_idstringID do item de saída associado. | |
output_indexintegerÍndice do item de saída dentro da resposta. | |
call_idstringIdentificador exclusivo da chamada de função. | |
deltastringFragmento incremental dos argumentos da chamada de função (fragmento de string JSON). |
response.function_call_arguments.done
Descrição: Enviado quando a saída de argumentos de Function Calling é concluída. Após receber este evento, o cliente deve: executar a ferramenta correspondente, gravar o resultado na conversa via conversation.item.create com um item function_call_output e, em seguida, enviar response.create para acionar uma nova rodada de inferência.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre response.function_call_arguments.done. | |
response_idstringID da resposta associada. | |
item_idstringID do item de saída associado. | |
output_indexintegerÍndice do item de saída dentro da resposta. | |
call_idstringIdentificador exclusivo da chamada de função. | |
namestringNome da função invocada. | |
argumentsstringArgumentos completos da chamada de função (string JSON). |
response.done
Descrição: Uma rodada de inferência foi concluída. O campo status indica o motivo da conclusão.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre response.done. | |
responseobjectObjeto de resposta completo.
Properties id stringIdentificador exclusivo da resposta.objectstringSempre realtime.response.statusstringStatus de conclusão da resposta. Valores válidos:
objectDetalhes do status. Presente apenas quando o status é cancelled ou failed.
Properties type stringTipo de status, como cancelled.reasonstringMotivo do cancelamento: turn_detected (interrupção por VAD) ou client_cancelled (cancelamento iniciado pelo cliente).arrayModalidades de saída do modelo.voicestringVoz usada para geração de áudio. Pode ser um nome de voz do sistema ou o voice_id de uma voz clonada.outputarrayLista de itens de saída na resposta, contendo objetos de item completos. |
voiceprint_audio_list.in_progress
Descrição: O processo de registro de voiceprint está em andamento de forma assíncrona.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre voiceprint_audio_list.in_progress. | |
item_idstringIdentificador exclusivo da tarefa de registro de voiceprint. |
voiceprint_audio_list.completed
Descrição: O processo de registro de voiceprint foi concluído com sucesso.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre voiceprint_audio_list.completed. | |
item_idstringIdentificador exclusivo da tarefa de registro de voiceprint. |
voiceprint_audio_list.failed
Descrição: Falha no registro de voiceprint. As chamadas normais de conversa não são bloqueadas.
event_idstringIdentificador exclusivo deste evento. | |
typestringTipo de evento. Sempre voiceprint_audio_list.failed. | |
item_idstringIdentificador exclusivo da tarefa de registro de voiceprint. | |
reasonstringDescrição do motivo da falha. |