Skip to main content

Eventos do cliente Qwen-Audio-ASR-Streaming

Referência de eventos do cliente Qwen-Audio-ASR-Streaming: campos de run-task e finish-task, ordem de envio e eventos correspondentes do servidor.

Fluxo de eventos

  1. Envie run-task. Aguarde task-started antes de enviar áudio.
  2. Continue enviando áudio enquanto recebe eventos result-generated.
  3. Após enviar todo o áudio, envie finish-task e receba os resultados até chegar task-finished. Uma tarefa com falha retorna task-failed.
O áudio não é enviado em run-task: o WebSocket usa quadros binários e o AOQ usa uma Audio Track. Para conexão, autenticação e transporte de áudio, consulte a API WebSocket ou o acesso AOQ.

run-task

Após estabelecer a conexão, o cliente envia um evento run-task para iniciar uma tarefa de reconhecimento e configurar o modelo, o formato de áudio, a taxa de amostragem e outros parâmetros.
Aguarde task-started antes de enviar áudio. run-task apenas inicia e configura a tarefa; ele não contém dados de áudio.
headerobjectObrigatório
actionstringObrigatório
O tipo de comando. Defina como run-task.
task_idstringObrigatório
Um ID de tarefa gerado pelo cliente (formato UUID) que vincula os eventos subsequentes a esta tarefa.
streamingstringObrigatório
Defina como duplex.
payloadobjectObrigatório
task_groupstringObrigatório
O grupo da tarefa. Defina como audio.
taskstringObrigatório
O tipo de tarefa. Defina como asr.
functionstringObrigatório
O tipo de função. Defina como recognition.
modelstringObrigatório
O nome do modelo.
parametersobjectObrigatório
Os parâmetros de reconhecimento de fala.
formatstringObrigatório
O formato de áudio.Valores válidos:
  • pcm
  • wav
  • mp3
  • opus
  • speex
  • aac
  • amr
  • opus/speex: Devem usar encapsulamento Ogg.
  • wav: Deve usar codificação PCM.
  • amr: Apenas o tipo AMR-NB é suportado.
sample_rateintegerObrigatório
A taxa de amostragem em Hz. Qualquer taxa é compatível.
keep_dialectbooleanOpcional
Aplica-se apenas a qwen-audio-3.1-asr-flash-streaming.
Padrão: false, que transcreve dialetos em chinês padrão. Defina como true para preservar expressões dialetais.
vad_modelstringOpcional
Aplica-se apenas a qwen-audio-3.1-asr-flash-streaming.
Modelo VAD. Valor padrão: far_field_meeting_16k.
  • near_meeting_16k: Para áudio captado com o microfone próximo de quem fala, como em chamadas de atendimento ao cliente com headset ou entrada de voz em aplicativos com o celular na mão.
  • far_field_meeting_16k: Para áudio captado com o microfone mais distante de quem fala, como em interações com alto-falantes inteligentes, captação por microfones compartilhados em salas de reunião e interações de voz com viva-voz em veículos.
max_sentence_silenceintegerOpcional
O limiar de silêncio VAD para segmentação, em ms. Quando o silêncio após um segmento de fala excede esse limiar, o sistema determina que a frase terminou.Valor padrão: 800.Valores válidos: [200, 6000].
multi_threshold_mode_enabledbooleanOpcional
Se deve ativar o modo de múltiplos limiares. Quando ativado, evita que os segmentos VAD fiquem muito longos.Valor padrão: false.
speech_noise_thresholdfloatOpcional
O limiar para distinguir fala de ruído, usado para ajustar a sensibilidade da Detecção de Atividade de Voz (VAD).Valores válidos: [-1,0, 1,0].Descrições dos valores:
  • Quanto mais próximo o valor estiver de -1: O limiar de ruído diminui, tornando mais provável que ruídos sejam reconhecidos como fala, o que pode resultar na transcrição de mais ruído.
  • Quanto mais próximo o valor estiver de +1: O limiar de ruído aumenta, tornando mais provável que a fala seja erroneamente classificada como ruído, o que pode filtrar parte da fala.
Este é um parâmetro de configuração avançado. Ajustá-lo pode afetar significativamente os resultados do reconhecimento. Recomendações:
  • Teste e valide minuciosamente os resultados antes de ajustar.
  • Faça ajustes em pequenos incrementos com base no ambiente de áudio real (recomenda-se um passo de 0,1).
vocabulary_idstringOpcional
O ID de uma lista de palavras-chave pré-compilada.Gere esse ID antecipadamente chamando a API de criação de lista de palavras-chave. Passe o ID durante o reconhecimento para usar as palavras-chave da lista.Indicado para cenários onde o vocabulário é conhecido e relativamente estável, e onde há necessidade de reutilizar a mesma lista de palavras entre requisições.Para detalhes de uso, consulte Precompiled hotwords.
vocabularyobjectOpcional
Palavras-chave instantâneas.Passadas como pares chave-valor, onde a chave é o texto da palavra-chave (string) e o valor é o peso da palavra-chave (integer). Não é necessário criar uma lista de palavras-chave antecipadamente. O peso varia de [1, 5] ou é definido como 50: um valor em [1, 5] aumenta a probabilidade de o modelo gerar a palavra conforme o valor cresce; um valor de 50 designa uma super palavra-chave, o que melhora significativamente o recall, mas o número de super palavras-chave não pode exceder 50.Recomendado para otimização temporária de palavras-chave no nível da sessão.
Quando hotwords instantâneas e pré-compiladas são configuradas juntas, o sistema combina os dois conjuntos. Se o total exceder 2000 hotwords, o sistema seleciona 2000 aleatoriamente para usar. Para detalhes de uso, consulte Hotwords instantâneas.
language_hintsarray[string]Opcional
O idioma do áudio a ser reconhecido. Não há valor padrão; se não for definido, o modelo detecta o idioma automaticamente.Você pode definir até 4 valores. Se definir mais, somente os 4 primeiros terão efeito.
  • zh: Chinês
  • en: Inglês
  • ja: Japonês
  • ko: Coreano
  • vi: Vietnamita
  • th: Tailandês
  • id: Indonésio
  • ms: Malaio
  • tl: Filipino
  • hi: Hindi
  • ar: Árabe
  • fr: Francês
  • de: Alemão
  • es: Espanhol
  • pt: Português
  • ru: Russo
  • it: Italiano
  • nl: Holandês
  • sv: Sueco
  • da: Dinamarquês
  • fi: Finlandês
  • no: Norueguês
  • el: Grego
  • pl: Polonês
  • cs: Tcheco
  • hu: Húngaro
  • ro: Romeno
  • bg: Búlgaro
  • hr: Croata
  • sk: Eslovaco
heartbeatbooleanOpcional
Se deve ativar pacotes de heartbeat.Valor padrão: false.
  • true: Mantém a conexão com o servidor ativa mesmo quando áudio silencioso é enviado continuamente.
  • false (padrão): A conexão é encerrada por timeout após 60 segundos, mesmo se áudio silencioso for enviado continuamente.
Áudio silencioso refere-se a conteúdo em um arquivo de áudio ou fluxo de dados que não contém sinal sonoro. É possível gerar áudio silencioso de várias formas, como usando softwares de edição de áudio como Audacity ou Adobe Audition, ou utilizando uma ferramenta de linha de comando como FFmpeg.
special_word_filterstringOpcional
Regras de filtragem que substituem palavras específicas nos resultados pelo mesmo número de asteriscos ou as removem. O valor é uma string JSON serializada a partir do objeto de regras. É possível configurar até 32 palavras sensíveis. Nenhuma filtragem é aplicada se o parâmetro for omitido.
  • filter_with_signed.word_list: Array de strings. As palavras correspondentes são substituídas pelo mesmo número de asteriscos.
  • filter_with_empty.word_list: Array de strings. As palavras correspondentes são removidas do resultado.
  • system_reserved_filter: Booleano, padrão false. Controla o uso da lista integrada. As duas listas acima configuram regras personalizadas de substituição e remoção.
{
  "special_word_filter": "{\"filter_with_signed\":{\"word_list\":[\"project\"]},\"filter_with_empty\":{\"word_list\":[\"report\"]},\"system_reserved_filter\":false}"
}
inputobjectObrigatório
O objeto de entrada. Passe {} quando nenhum contexto for fornecido.
contextarray(object)Opcional
O contexto da conversa, que melhora a precisão do reconhecimento para vocabulário específico de domínio. Para detalhes de uso, consulte Context enhancement.
  • Quantidade de mensagens: forneça no máximo 5 mensagens de contexto de cada tipo (input_text e text). Se o limite for excedido, apenas as 5 mais recentes serão mantidas.
  • Comprimento do texto: a soma dos campos text das mensagens user e assistant por turno não pode ultrapassar 400 caracteres. Cada caractere conta como 1. O texto excedente é truncado a partir do final.
  • Ordem das mensagens: organize por turno de conversa. Em cada turno, a mensagem user (input_text) deve preceder a mensagem assistant (text) correspondente.
rolestringObrigatório
A função da mensagem. Valores válidos:
  • user: Os resultados de reconhecimento de turnos anteriores da fala do usuário ou uma lista de palavras específicas de domínio.
  • assistant: As respostas do modelo de linguagem grande em turnos anteriores.
contentarray(object)Obrigatório
A lista de conteúdos da mensagem.
typestringObrigatório
O tipo de conteúdo. Valores válidos:
  • input_text: Os resultados de reconhecimento de turnos anteriores da fala do usuário ou uma lista de palavras específicas de domínio (usado quando a função é user). Você também deve fornecer o campo text.
  • text: As respostas do modelo de linguagem grande em turnos anteriores (usado quando a função é assistant). Você também deve fornecer o campo text.
textstringObrigatório
O conteúdo de texto. Quando type for input_text, insira os resultados de reconhecimento de turnos anteriores da fala do usuário ou uma lista de palavras específicas de domínio. Quando type for text, insira as respostas do modelo de linguagem grande em turnos anteriores.
  • Solicitação básica
  • Com contexto
  • Hotwords instantâneas
Solicitação:
{
  "header": {
    "action": "run-task",
    "task_id": "3d30b8aa-8859-46ef-a65a-32cf5a9f0ca4",
    "streaming": "duplex"
  },
  "payload": {
    "task_group": "audio",
    "task": "asr",
    "function": "recognition",
    "model": "qwen-audio-3.1-asr-flash-streaming",
    "parameters": {
      "format": "pcm",
      "sample_rate": 16000
    },
    "input": {}
  }
}
Resposta:
{
  "header": {
    "task_id": "3d30b8aa-8859-46ef-a65a-32cf5a9f0ca4",
    "task_uuid": "f32fbf86736e4c279b5d133bff74b657",
    "event": "task-started",
    "attributes": {}
  },
  "payload": {}
}

finish-task

Após enviar todos os dados de áudio, o cliente envia um evento finish-task para informar ao servidor que a entrada de áudio terminou e solicitar a conclusão da tarefa.
Após enviar finish-task, continue recebendo os resultados restantes até chegar task-finished. Use o mesmo task_id de run-task.
headerobjectObrigatório
actionstringObrigatório
O tipo de comando. Defina como finish-task.
task_idstringObrigatório
Um ID de tarefa gerado pelo cliente (formato UUID) que deve corresponder ao task_id no evento run-task.
streamingstringObrigatório
Defina como duplex.
payloadobjectObrigatório
inputobjectObrigatório
Defina como {}.
Solicitação:
{
  "header": {
    "action": "finish-task",
    "task_id": "3d30b8aa-8859-46ef-a65a-32cf5a9f0ca4",
    "streaming": "duplex"
  },
  "payload": {
    "input": {}
  }
}
Resposta:
{
  "header": {
    "task_id": "3d30b8aa-8859-46ef-a65a-32cf5a9f0ca4",
    "event": "task-finished",
    "attributes": {}
  },
  "payload": {
    "output": {},
    "usage": {
      "duration": 4,
      "input_tokens": 50,
      "output_tokens": 13,
      "total_tokens": 63
    }
  }
}