Referência de eventos do cliente Qwen-Audio-ASR-Message: campos de run-task, continue-task e finish-task, ordem de envio e eventos correspondentes do servidor.
Fluxo de eventos
- Envie run-task. Aguarde task-started antes de enviar áudio.
- Continue enviando áudio enquanto recebe eventos result-generated.
- Durante a tarefa, use continue-task para atualizar o contexto da conversa. Continue enviando o áudio pelo canal de áudio.
- Após enviar todo o áudio, envie finish-task e receba os resultados até chegar task-finished. Uma tarefa com falha retorna task-failed.
run-task: o WebSocket usa quadros binários e o AOQ usa uma Audio Track. Para conexão, autenticação e transporte de áudio, consulte a API WebSocket ou o acesso AOQ.
run-task
Após estabelecer a conexão, o cliente envia um evento run-task para iniciar uma tarefa de reconhecimento e configurar o modelo, o formato de áudio, a taxa de amostragem e outros parâmetros.
headerobjectObrigatórioactionstringObrigatórioO tipo de comando. Defina como
run-task.task_idstringObrigatórioUm ID de tarefa gerado pelo cliente (formato UUID) que vincula os eventos subsequentes a esta tarefa.
streamingstringObrigatórioDefina como
duplex.payloadobjectObrigatóriotask_groupstringObrigatórioO grupo da tarefa. Defina como
audio.taskstringObrigatórioO tipo de tarefa. Defina como
asr.functionstringObrigatórioO tipo de função. Defina como
recognition.modelstringObrigatórioO nome do modelo.
parametersobjectObrigatórioOs parâmetros de reconhecimento de fala.
formatstringObrigatórioO formato de áudio.Valores válidos:
pcmwavmp3opusspeexaacamr
opus/speex: Devem usar encapsulamento Ogg.wav: Deve usar codificação PCM.amr: Apenas o tipo AMR-NB é suportado.
sample_rateintegerObrigatórioA taxa de amostragem em Hz. Apenas
16000 é compatível.keep_dialectbooleanOpcionalPadrão:
false, que transcreve dialetos em chinês padrão. Defina como true para preservar expressões dialetais.Este parâmetro se aplica somente aos resultados finais (
sentence_end=true) e não é compatível com resultados intermediários (sentence_end=false).vad_modelstringOpcionalModelo VAD. Valor padrão:
far_field_meeting_16k.near_meeting_16k: Para áudio captado com o microfone próximo de quem fala, como em chamadas de atendimento ao cliente com headset ou entrada de voz em aplicativos com o celular na mão.far_field_meeting_16k: Para áudio captado com o microfone mais distante de quem fala, como em interações com alto-falantes inteligentes, captação por microfones compartilhados em salas de reunião e interações de voz com viva-voz em veículos.
max_sentence_silenceintegerOpcionalLimite de silêncio do VAD para segmentação, em milissegundos. A frase termina quando o silêncio após a fala ultrapassa esse limite. Padrão:
800. Intervalo válido: [200, 6000].speech_noise_thresholdfloatOpcionalO limiar para distinguir fala de ruído, usado para ajustar a sensibilidade da Detecção de Atividade de Voz (VAD).Valores válidos: [-1,0, 1,0].Descrições dos valores:
- Quanto mais próximo o valor estiver de -1: O limiar de ruído diminui, tornando mais provável que ruídos sejam reconhecidos como fala, o que pode resultar na transcrição de mais ruído.
- Quanto mais próximo o valor estiver de +1: O limiar de ruído aumenta, tornando mais provável que a fala seja erroneamente classificada como ruído, o que pode filtrar parte da fala.
- Teste e valide minuciosamente os resultados antes de ajustar.
- Faça ajustes em pequenos incrementos com base no ambiente de áudio real (recomenda-se um passo de 0,1).
disfluency_removal_enabledbooleanOpcionalIndica se palavras de preenchimento devem ser removidas e o texto aprimorado. Padrão:
false. Defina como true para ativar.intermediate_result_enabledbooleanOpcionalIndica se resultados intermediários de streaming devem ser retornados. Padrão:
false. Defina como true para recebê-los.vocabulary_idstringOpcionalO ID de uma lista de palavras-chave pré-compilada.Gere esse ID antecipadamente chamando a API de criação de lista de palavras-chave. Passe o ID durante o reconhecimento para usar as palavras-chave da lista.Indicado para cenários onde o vocabulário é conhecido e relativamente estável, e onde há necessidade de reutilizar a mesma lista de palavras entre requisições.Para detalhes de uso, consulte Precompiled hotwords.
vocabularyobjectOpcionalPalavras-chave instantâneas.Passadas como pares chave-valor, onde a chave é o texto da palavra-chave (
string) e o valor é o peso da palavra-chave (integer). Não é necessário criar uma lista de palavras-chave antecipadamente. O peso varia de [1, 5] ou é definido como 50: um valor em [1, 5] aumenta a probabilidade de o modelo gerar a palavra conforme o valor cresce; um valor de 50 designa uma super palavra-chave, o que melhora significativamente o recall, mas o número de super palavras-chave não pode exceder 50.Recomendado para otimização temporária de palavras-chave no nível da sessão.Quando hotwords instantâneas e pré-compiladas são configuradas juntas, o sistema combina os dois conjuntos. Se o total exceder 2000 hotwords, o sistema seleciona 2000 aleatoriamente para usar. Para detalhes de uso, consulte Hotwords instantâneas.
language_hintsarray[string]OpcionalO idioma do áudio a ser reconhecido. Não há valor padrão; se não for definido, o modelo detecta o idioma automaticamente.Você pode definir até 4 valores. Se definir mais, somente os 4 primeiros terão efeito.
Clique em visualizar os códigos de idioma suportados
Clique em visualizar os códigos de idioma suportados
zh: Chinêsen: Inglêsja: Japonêsko: Coreanovi: Vietnamitath: Tailandêsid: Indonésioms: Malaiotl: Filipinohi: Hindiar: Árabefr: Francêsde: Alemãoes: Espanholpt: Portuguêsru: Russoit: Italianonl: Holandêssv: Suecoda: Dinamarquêsfi: Finlandêsno: Norueguêsel: Gregopl: Polonêscs: Tchecohu: Húngaroro: Romenobg: Búlgarohr: Croatask: Eslovaco
Este parâmetro se aplica somente aos resultados finais (
sentence_end=true) e não é compatível com resultados intermediários (sentence_end=false).heartbeatbooleanOpcionalSe deve ativar pacotes de
heartbeat.Valor padrão: false.true: Mantém a conexão com o servidor ativa mesmo quando áudio silencioso é enviado continuamente.false(padrão): A conexão é encerrada por timeout após um período de tempo, mesmo se áudio silencioso for enviado continuamente.
inputobjectObrigatórioO objeto de entrada. Passe
{} quando nenhum contexto for fornecido.Apenas os modelos qwen-audio-3.1-asr-flash-message suportam contexto.
contextarray[object]OpcionalO contexto da conversa, que melhora a precisão do reconhecimento para vocabulário específico de domínio. Para detalhes de uso, consulte Context enhancement.
- Quantidade de mensagens: forneça no máximo 5 mensagens de contexto de cada tipo (
input_textetext). Se o limite for excedido, apenas as 5 mais recentes serão mantidas. - Comprimento do texto: a soma dos campos
textdas mensagensusereassistantpor turno não pode ultrapassar 400 caracteres. Cada caractere conta como 1. O texto excedente é truncado a partir do final. - Ordem das mensagens: organize por turno de conversa. Em cada turno, a mensagem
user(input_text) deve preceder a mensagemassistant(text) correspondente.
rolestringObrigatórioA função da mensagem. Valores válidos:
user: Os resultados de reconhecimento de turnos anteriores da fala do usuário ou uma lista de palavras específicas de domínio.assistant: As respostas do modelo de linguagem grande em turnos anteriores.
contentarray[object]ObrigatórioA lista de conteúdos da mensagem.
typestringObrigatórioO tipo de conteúdo. Valores válidos:
input_text: Os resultados de reconhecimento de turnos anteriores da fala do usuário ou uma lista de palavras específicas de domínio (usado quando a função éuser). Você também deve fornecer o campotext.text: As respostas do modelo de linguagem grande em turnos anteriores (usado quando a função éassistant). Você também deve fornecer o campotext.
textstringObrigatórioO conteúdo de texto. Quando
type for input_text, insira os resultados de reconhecimento de turnos anteriores da fala do usuário ou uma lista de palavras específicas de domínio. Quando type for text, insira as respostas do modelo de linguagem grande em turnos anteriores.- Solicitação básica
- Com contexto
- Hotwords instantâneas
Solicitação:
Resposta:
continue-task
Após receber task-started, o cliente pode enviar continue-task durante a tarefa para atualizar o contexto da conversa usado no reconhecimento subsequente.
headerobjectObrigatórioactionstringObrigatórioO tipo de comando. Defina como
continue-task.task_idstringObrigatórioUm ID de tarefa gerado pelo cliente (formato UUID) que deve corresponder ao
task_id no evento run-task.streamingstringObrigatórioDefina como
duplex.payloadobjectObrigatórioinputobjectObrigatóriocontextarray[object]OpcionalO contexto da conversa, que melhora a precisão do reconhecimento para vocabulário específico de domínio. Para detalhes de uso, consulte Context enhancement.
- Quantidade de mensagens: forneça no máximo 5 mensagens de contexto de cada tipo (
input_textetext). Se o limite for excedido, apenas as 5 mais recentes serão mantidas. - Comprimento do texto: a soma dos campos
textdas mensagensusereassistantpor turno não pode ultrapassar 400 caracteres. Cada caractere conta como 1. O texto excedente é truncado a partir do final. - Ordem das mensagens: organize por turno de conversa. Em cada turno, a mensagem
user(input_text) deve preceder a mensagemassistant(text) correspondente.
rolestringObrigatórioA função da mensagem. Valores válidos:
user: Os resultados de reconhecimento de turnos anteriores da fala do usuário ou uma lista de palavras específicas de domínio.assistant: As respostas do modelo de linguagem grande em turnos anteriores.
contentarray[object]ObrigatórioA lista de conteúdos da mensagem.
typestringObrigatórioO tipo de conteúdo. Valores válidos:
input_text: Os resultados de reconhecimento de turnos anteriores da fala do usuário ou uma lista de palavras específicas de domínio (usado quando a função éuser). Você também deve fornecer o campotext.text: As respostas do modelo de linguagem grande em turnos anteriores (usado quando a função éassistant). Você também deve fornecer o campotext.
textstringObrigatórioO conteúdo de texto. Quando
type for input_text, insira os resultados de reconhecimento de turnos anteriores da fala do usuário ou uma lista de palavras específicas de domínio. Quando type for text, insira as respostas do modelo de linguagem grande em turnos anteriores.Este exemplo atualiza o contexto e continua enviando áudio. O exemplo de resposta é um resultado de reconhecimento recebido em seguida.
Solicitação:
Resposta:
finish-task
Após enviar todos os dados de áudio, o cliente envia um evento finish-task para informar ao servidor que a entrada de áudio terminou e solicitar a conclusão da tarefa.
headerobjectObrigatórioactionstringObrigatórioO tipo de comando. Defina como
finish-task.task_idstringObrigatórioUm ID de tarefa gerado pelo cliente (formato UUID) que deve corresponder ao
task_id no evento run-task.streamingstringObrigatórioDefina como
duplex.payloadobjectObrigatórioinputobjectObrigatórioDefina como
{}.Solicitação:
Resposta: