Referência de eventos do cliente Qwen-Audio-ASR-Streaming: campos de run-task e finish-task, ordem de envio e eventos correspondentes do servidor.
Fluxo de eventos
- Envie run-task. Aguarde task-started antes de enviar áudio.
- Continue enviando áudio enquanto recebe eventos result-generated.
- Após enviar todo o áudio, envie finish-task e receba os resultados até chegar task-finished. Uma tarefa com falha retorna task-failed.
run-task: o WebSocket usa quadros binários e o AOQ usa uma Audio Track. Para conexão, autenticação e transporte de áudio, consulte a API WebSocket ou o acesso AOQ.
run-task
Após estabelecer a conexão, o cliente envia um evento run-task para iniciar uma tarefa de reconhecimento e configurar o modelo, o formato de áudio, a taxa de amostragem e outros parâmetros.
headerobjectObrigatórioactionstringObrigatórioO tipo de comando. Defina como
run-task.task_idstringObrigatórioUm ID de tarefa gerado pelo cliente (formato UUID) que vincula os eventos subsequentes a esta tarefa.
streamingstringObrigatórioDefina como
duplex.payloadobjectObrigatóriotask_groupstringObrigatórioO grupo da tarefa. Defina como
audio.taskstringObrigatórioO tipo de tarefa. Defina como
asr.functionstringObrigatórioO tipo de função. Defina como
recognition.modelstringObrigatórioO nome do modelo.
parametersobjectObrigatórioOs parâmetros de reconhecimento de fala.
formatstringObrigatórioO formato de áudio.Valores válidos:
pcmwavmp3opusspeexaacamr
opus/speex: Devem usar encapsulamento Ogg.wav: Deve usar codificação PCM.amr: Apenas o tipo AMR-NB é suportado.
sample_rateintegerObrigatórioA taxa de amostragem em Hz. Qualquer taxa é compatível.
keep_dialectbooleanOpcionalAplica-se apenas a qwen-audio-3.1-asr-flash-streaming.
false, que transcreve dialetos em chinês padrão. Defina como true para preservar expressões dialetais.vad_modelstringOpcionalAplica-se apenas a qwen-audio-3.1-asr-flash-streaming.
far_field_meeting_16k.near_meeting_16k: Para áudio captado com o microfone próximo de quem fala, como em chamadas de atendimento ao cliente com headset ou entrada de voz em aplicativos com o celular na mão.far_field_meeting_16k: Para áudio captado com o microfone mais distante de quem fala, como em interações com alto-falantes inteligentes, captação por microfones compartilhados em salas de reunião e interações de voz com viva-voz em veículos.
max_sentence_silenceintegerOpcionalO limiar de silêncio VAD para segmentação, em ms. Quando o silêncio após um segmento de fala excede esse limiar, o sistema determina que a frase terminou.Valor padrão: 800.Valores válidos: [200, 6000].
multi_threshold_mode_enabledbooleanOpcionalSe deve ativar o modo de múltiplos limiares. Quando ativado, evita que os segmentos VAD fiquem muito longos.Valor padrão:
false.speech_noise_thresholdfloatOpcionalO limiar para distinguir fala de ruído, usado para ajustar a sensibilidade da Detecção de Atividade de Voz (VAD).Valores válidos: [-1,0, 1,0].Descrições dos valores:
- Quanto mais próximo o valor estiver de -1: O limiar de ruído diminui, tornando mais provável que ruídos sejam reconhecidos como fala, o que pode resultar na transcrição de mais ruído.
- Quanto mais próximo o valor estiver de +1: O limiar de ruído aumenta, tornando mais provável que a fala seja erroneamente classificada como ruído, o que pode filtrar parte da fala.
- Teste e valide minuciosamente os resultados antes de ajustar.
- Faça ajustes em pequenos incrementos com base no ambiente de áudio real (recomenda-se um passo de 0,1).
vocabulary_idstringOpcionalO ID de uma lista de palavras-chave pré-compilada.Gere esse ID antecipadamente chamando a API de criação de lista de palavras-chave. Passe o ID durante o reconhecimento para usar as palavras-chave da lista.Indicado para cenários onde o vocabulário é conhecido e relativamente estável, e onde há necessidade de reutilizar a mesma lista de palavras entre requisições.Para detalhes de uso, consulte Precompiled hotwords.
vocabularyobjectOpcionalPalavras-chave instantâneas.Passadas como pares chave-valor, onde a chave é o texto da palavra-chave (
string) e o valor é o peso da palavra-chave (integer). Não é necessário criar uma lista de palavras-chave antecipadamente. O peso varia de [1, 5] ou é definido como 50: um valor em [1, 5] aumenta a probabilidade de o modelo gerar a palavra conforme o valor cresce; um valor de 50 designa uma super palavra-chave, o que melhora significativamente o recall, mas o número de super palavras-chave não pode exceder 50.Recomendado para otimização temporária de palavras-chave no nível da sessão.Quando hotwords instantâneas e pré-compiladas são configuradas juntas, o sistema combina os dois conjuntos. Se o total exceder 2000 hotwords, o sistema seleciona 2000 aleatoriamente para usar. Para detalhes de uso, consulte Hotwords instantâneas.
language_hintsarray[string]OpcionalO idioma do áudio a ser reconhecido. Não há valor padrão; se não for definido, o modelo detecta o idioma automaticamente.Você pode definir até 4 valores. Se definir mais, somente os 4 primeiros terão efeito.
Clique em visualizar os códigos de idioma suportados
Clique em visualizar os códigos de idioma suportados
zh: Chinêsen: Inglêsja: Japonêsko: Coreanovi: Vietnamitath: Tailandêsid: Indonésioms: Malaiotl: Filipinohi: Hindiar: Árabefr: Francêsde: Alemãoes: Espanholpt: Portuguêsru: Russoit: Italianonl: Holandêssv: Suecoda: Dinamarquêsfi: Finlandêsno: Norueguêsel: Gregopl: Polonêscs: Tchecohu: Húngaroro: Romenobg: Búlgarohr: Croatask: Eslovaco
heartbeatbooleanOpcionalSe deve ativar pacotes de heartbeat.Valor padrão:
false.true: Mantém a conexão com o servidor ativa mesmo quando áudio silencioso é enviado continuamente.false(padrão): A conexão é encerrada por timeout após 60 segundos, mesmo se áudio silencioso for enviado continuamente.
special_word_filterstringOpcionalRegras de filtragem que substituem palavras específicas nos resultados pelo mesmo número de asteriscos ou as removem. O valor é uma string JSON serializada a partir do objeto de regras. É possível configurar até 32 palavras sensíveis. Nenhuma filtragem é aplicada se o parâmetro for omitido.
filter_with_signed.word_list: Array de strings. As palavras correspondentes são substituídas pelo mesmo número de asteriscos.filter_with_empty.word_list: Array de strings. As palavras correspondentes são removidas do resultado.system_reserved_filter: Booleano, padrãofalse. Controla o uso da lista integrada. As duas listas acima configuram regras personalizadas de substituição e remoção.
inputobjectObrigatórioO objeto de entrada. Passe
{} quando nenhum contexto for fornecido.contextarray(object)OpcionalO contexto da conversa, que melhora a precisão do reconhecimento para vocabulário específico de domínio. Para detalhes de uso, consulte Context enhancement.
- Quantidade de mensagens: forneça no máximo 5 mensagens de contexto de cada tipo (
input_textetext). Se o limite for excedido, apenas as 5 mais recentes serão mantidas. - Comprimento do texto: a soma dos campos
textdas mensagensusereassistantpor turno não pode ultrapassar 400 caracteres. Cada caractere conta como 1. O texto excedente é truncado a partir do final. - Ordem das mensagens: organize por turno de conversa. Em cada turno, a mensagem
user(input_text) deve preceder a mensagemassistant(text) correspondente.
rolestringObrigatórioA função da mensagem. Valores válidos:
user: Os resultados de reconhecimento de turnos anteriores da fala do usuário ou uma lista de palavras específicas de domínio.assistant: As respostas do modelo de linguagem grande em turnos anteriores.
contentarray(object)ObrigatórioA lista de conteúdos da mensagem.
typestringObrigatórioO tipo de conteúdo. Valores válidos:
input_text: Os resultados de reconhecimento de turnos anteriores da fala do usuário ou uma lista de palavras específicas de domínio (usado quando a função éuser). Você também deve fornecer o campotext.text: As respostas do modelo de linguagem grande em turnos anteriores (usado quando a função éassistant). Você também deve fornecer o campotext.
textstringObrigatórioO conteúdo de texto. Quando
type for input_text, insira os resultados de reconhecimento de turnos anteriores da fala do usuário ou uma lista de palavras específicas de domínio. Quando type for text, insira as respostas do modelo de linguagem grande em turnos anteriores.- Solicitação básica
- Com contexto
- Hotwords instantâneas
Solicitação:
Resposta:
finish-task
Após enviar todos os dados de áudio, o cliente envia um evento finish-task para informar ao servidor que a entrada de áudio terminou e solicitar a conclusão da tarefa.
headerobjectObrigatórioactionstringObrigatórioO tipo de comando. Defina como
finish-task.task_idstringObrigatórioUm ID de tarefa gerado pelo cliente (formato UUID) que deve corresponder ao
task_id no evento run-task.streamingstringObrigatórioDefina como
duplex.payloadobjectObrigatórioinputobjectObrigatórioDefina como
{}.Solicitação:
Resposta: