Skip to main content

Eventos do cliente Qwen-Audio-ASR-Message

Referência de eventos do cliente Qwen-Audio-ASR-Message: campos de run-task, continue-task e finish-task, ordem de envio e eventos correspondentes do servidor.

Fluxo de eventos

  1. Envie run-task. Aguarde task-started antes de enviar áudio.
  2. Continue enviando áudio enquanto recebe eventos result-generated.
  3. Durante a tarefa, use continue-task para atualizar o contexto da conversa. Continue enviando o áudio pelo canal de áudio.
  4. Após enviar todo o áudio, envie finish-task e receba os resultados até chegar task-finished. Uma tarefa com falha retorna task-failed.
O áudio não é enviado em run-task: o WebSocket usa quadros binários e o AOQ usa uma Audio Track. Para conexão, autenticação e transporte de áudio, consulte a API WebSocket ou o acesso AOQ.

run-task

Após estabelecer a conexão, o cliente envia um evento run-task para iniciar uma tarefa de reconhecimento e configurar o modelo, o formato de áudio, a taxa de amostragem e outros parâmetros.
Aguarde task-started antes de enviar áudio. run-task apenas inicia e configura a tarefa; ele não contém dados de áudio.
headerobjectObrigatório
actionstringObrigatório
O tipo de comando. Defina como run-task.
task_idstringObrigatório
Um ID de tarefa gerado pelo cliente (formato UUID) que vincula os eventos subsequentes a esta tarefa.
streamingstringObrigatório
Defina como duplex.
payloadobjectObrigatório
task_groupstringObrigatório
O grupo da tarefa. Defina como audio.
taskstringObrigatório
O tipo de tarefa. Defina como asr.
functionstringObrigatório
O tipo de função. Defina como recognition.
modelstringObrigatório
O nome do modelo.
parametersobjectObrigatório
Os parâmetros de reconhecimento de fala.
formatstringObrigatório
O formato de áudio.Valores válidos:
  • pcm
  • wav
  • mp3
  • opus
  • speex
  • aac
  • amr
  • opus/speex: Devem usar encapsulamento Ogg.
  • wav: Deve usar codificação PCM.
  • amr: Apenas o tipo AMR-NB é suportado.
sample_rateintegerObrigatório
A taxa de amostragem em Hz. Apenas 16000 é compatível.
keep_dialectbooleanOpcional
Padrão: false, que transcreve dialetos em chinês padrão. Defina como true para preservar expressões dialetais.
Este parâmetro se aplica somente aos resultados finais (sentence_end=true) e não é compatível com resultados intermediários (sentence_end=false).
vad_modelstringOpcional
Modelo VAD. Valor padrão: far_field_meeting_16k.
  • near_meeting_16k: Para áudio captado com o microfone próximo de quem fala, como em chamadas de atendimento ao cliente com headset ou entrada de voz em aplicativos com o celular na mão.
  • far_field_meeting_16k: Para áudio captado com o microfone mais distante de quem fala, como em interações com alto-falantes inteligentes, captação por microfones compartilhados em salas de reunião e interações de voz com viva-voz em veículos.
max_sentence_silenceintegerOpcional
Limite de silêncio do VAD para segmentação, em milissegundos. A frase termina quando o silêncio após a fala ultrapassa esse limite. Padrão: 800. Intervalo válido: [200, 6000].
speech_noise_thresholdfloatOpcional
O limiar para distinguir fala de ruído, usado para ajustar a sensibilidade da Detecção de Atividade de Voz (VAD).Valores válidos: [-1,0, 1,0].Descrições dos valores:
  • Quanto mais próximo o valor estiver de -1: O limiar de ruído diminui, tornando mais provável que ruídos sejam reconhecidos como fala, o que pode resultar na transcrição de mais ruído.
  • Quanto mais próximo o valor estiver de +1: O limiar de ruído aumenta, tornando mais provável que a fala seja erroneamente classificada como ruído, o que pode filtrar parte da fala.
Este é um parâmetro de configuração avançado. Ajustá-lo pode afetar significativamente os resultados do reconhecimento. Recomendações:
  • Teste e valide minuciosamente os resultados antes de ajustar.
  • Faça ajustes em pequenos incrementos com base no ambiente de áudio real (recomenda-se um passo de 0,1).
disfluency_removal_enabledbooleanOpcional
Indica se palavras de preenchimento devem ser removidas e o texto aprimorado. Padrão: false. Defina como true para ativar.
intermediate_result_enabledbooleanOpcional
Indica se resultados intermediários de streaming devem ser retornados. Padrão: false. Defina como true para recebê-los.
vocabulary_idstringOpcional
O ID de uma lista de palavras-chave pré-compilada.Gere esse ID antecipadamente chamando a API de criação de lista de palavras-chave. Passe o ID durante o reconhecimento para usar as palavras-chave da lista.Indicado para cenários onde o vocabulário é conhecido e relativamente estável, e onde há necessidade de reutilizar a mesma lista de palavras entre requisições.Para detalhes de uso, consulte Precompiled hotwords.
vocabularyobjectOpcional
Palavras-chave instantâneas.Passadas como pares chave-valor, onde a chave é o texto da palavra-chave (string) e o valor é o peso da palavra-chave (integer). Não é necessário criar uma lista de palavras-chave antecipadamente. O peso varia de [1, 5] ou é definido como 50: um valor em [1, 5] aumenta a probabilidade de o modelo gerar a palavra conforme o valor cresce; um valor de 50 designa uma super palavra-chave, o que melhora significativamente o recall, mas o número de super palavras-chave não pode exceder 50.Recomendado para otimização temporária de palavras-chave no nível da sessão.
Quando hotwords instantâneas e pré-compiladas são configuradas juntas, o sistema combina os dois conjuntos. Se o total exceder 2000 hotwords, o sistema seleciona 2000 aleatoriamente para usar. Para detalhes de uso, consulte Hotwords instantâneas.
language_hintsarray[string]Opcional
O idioma do áudio a ser reconhecido. Não há valor padrão; se não for definido, o modelo detecta o idioma automaticamente.Você pode definir até 4 valores. Se definir mais, somente os 4 primeiros terão efeito.
  • zh: Chinês
  • en: Inglês
  • ja: Japonês
  • ko: Coreano
  • vi: Vietnamita
  • th: Tailandês
  • id: Indonésio
  • ms: Malaio
  • tl: Filipino
  • hi: Hindi
  • ar: Árabe
  • fr: Francês
  • de: Alemão
  • es: Espanhol
  • pt: Português
  • ru: Russo
  • it: Italiano
  • nl: Holandês
  • sv: Sueco
  • da: Dinamarquês
  • fi: Finlandês
  • no: Norueguês
  • el: Grego
  • pl: Polonês
  • cs: Tcheco
  • hu: Húngaro
  • ro: Romeno
  • bg: Búlgaro
  • hr: Croata
  • sk: Eslovaco
Este parâmetro se aplica somente aos resultados finais (sentence_end=true) e não é compatível com resultados intermediários (sentence_end=false).
heartbeatbooleanOpcional
Se deve ativar pacotes de heartbeat.Valor padrão: false.
  • true: Mantém a conexão com o servidor ativa mesmo quando áudio silencioso é enviado continuamente.
  • false (padrão): A conexão é encerrada por timeout após um período de tempo, mesmo se áudio silencioso for enviado continuamente.
Áudio silencioso refere-se a conteúdo em um arquivo de áudio ou fluxo de dados que não contém sinal sonoro. É possível gerar áudio silencioso de várias formas, como usando softwares de edição de áudio como Audacity ou Adobe Audition, ou utilizando uma ferramenta de linha de comando como FFmpeg.
inputobjectObrigatório
O objeto de entrada. Passe {} quando nenhum contexto for fornecido.
Apenas os modelos qwen-audio-3.1-asr-flash-message suportam contexto.
contextarray[object]Opcional
O contexto da conversa, que melhora a precisão do reconhecimento para vocabulário específico de domínio. Para detalhes de uso, consulte Context enhancement.
  • Quantidade de mensagens: forneça no máximo 5 mensagens de contexto de cada tipo (input_text e text). Se o limite for excedido, apenas as 5 mais recentes serão mantidas.
  • Comprimento do texto: a soma dos campos text das mensagens user e assistant por turno não pode ultrapassar 400 caracteres. Cada caractere conta como 1. O texto excedente é truncado a partir do final.
  • Ordem das mensagens: organize por turno de conversa. Em cada turno, a mensagem user (input_text) deve preceder a mensagem assistant (text) correspondente.
rolestringObrigatório
A função da mensagem. Valores válidos:
  • user: Os resultados de reconhecimento de turnos anteriores da fala do usuário ou uma lista de palavras específicas de domínio.
  • assistant: As respostas do modelo de linguagem grande em turnos anteriores.
contentarray[object]Obrigatório
A lista de conteúdos da mensagem.
typestringObrigatório
O tipo de conteúdo. Valores válidos:
  • input_text: Os resultados de reconhecimento de turnos anteriores da fala do usuário ou uma lista de palavras específicas de domínio (usado quando a função é user). Você também deve fornecer o campo text.
  • text: As respostas do modelo de linguagem grande em turnos anteriores (usado quando a função é assistant). Você também deve fornecer o campo text.
textstringObrigatório
O conteúdo de texto. Quando type for input_text, insira os resultados de reconhecimento de turnos anteriores da fala do usuário ou uma lista de palavras específicas de domínio. Quando type for text, insira as respostas do modelo de linguagem grande em turnos anteriores.
  • Solicitação básica
  • Com contexto
  • Hotwords instantâneas
Solicitação:
{
  "header": {
    "action": "run-task",
    "task_id": "ab4f7812-2d71-4e3d-93d3-b68ab80d3755",
    "streaming": "duplex"
  },
  "payload": {
    "input": {},
    "task_group": "audio",
    "task": "asr",
    "function": "recognition",
    "model": "qwen-audio-3.1-asr-flash-message",
    "parameters": {
      "format": "pcm",
      "sample_rate": 16000
    }
  }
}
Resposta:
{
  "header": {
    "task_id": "ab4f7812-2d71-4e3d-93d3-b68ab80d3755",
    "task_uuid": "852196dba9d14bea9cf0d6e04ff0b027",
    "event": "task-started",
    "attributes": {}
  },
  "payload": {}
}

continue-task

Após receber task-started, o cliente pode enviar continue-task durante a tarefa para atualizar o contexto da conversa usado no reconhecimento subsequente.
headerobjectObrigatório
actionstringObrigatório
O tipo de comando. Defina como continue-task.
task_idstringObrigatório
Um ID de tarefa gerado pelo cliente (formato UUID) que deve corresponder ao task_id no evento run-task.
streamingstringObrigatório
Defina como duplex.
payloadobjectObrigatório
inputobjectObrigatório
contextarray[object]Opcional
O contexto da conversa, que melhora a precisão do reconhecimento para vocabulário específico de domínio. Para detalhes de uso, consulte Context enhancement.
  • Quantidade de mensagens: forneça no máximo 5 mensagens de contexto de cada tipo (input_text e text). Se o limite for excedido, apenas as 5 mais recentes serão mantidas.
  • Comprimento do texto: a soma dos campos text das mensagens user e assistant por turno não pode ultrapassar 400 caracteres. Cada caractere conta como 1. O texto excedente é truncado a partir do final.
  • Ordem das mensagens: organize por turno de conversa. Em cada turno, a mensagem user (input_text) deve preceder a mensagem assistant (text) correspondente.
rolestringObrigatório
A função da mensagem. Valores válidos:
  • user: Os resultados de reconhecimento de turnos anteriores da fala do usuário ou uma lista de palavras específicas de domínio.
  • assistant: As respostas do modelo de linguagem grande em turnos anteriores.
contentarray[object]Obrigatório
A lista de conteúdos da mensagem.
typestringObrigatório
O tipo de conteúdo. Valores válidos:
  • input_text: Os resultados de reconhecimento de turnos anteriores da fala do usuário ou uma lista de palavras específicas de domínio (usado quando a função é user). Você também deve fornecer o campo text.
  • text: As respostas do modelo de linguagem grande em turnos anteriores (usado quando a função é assistant). Você também deve fornecer o campo text.
textstringObrigatório
O conteúdo de texto. Quando type for input_text, insira os resultados de reconhecimento de turnos anteriores da fala do usuário ou uma lista de palavras específicas de domínio. Quando type for text, insira as respostas do modelo de linguagem grande em turnos anteriores.
Este exemplo atualiza o contexto e continua enviando áudio. O exemplo de resposta é um resultado de reconhecimento recebido em seguida.
Solicitação:
{
  "header": {
    "action": "continue-task",
    "task_id": "bdebb544-9411-413b-a199-aa43485716a0",
    "streaming": "duplex"
  },
  "payload": {
    "input": {
      "context": [
        {
          "role": "user",
          "content": [
            {
              "type": "input_text",
              "text": "We were discussing the quarterly report."
            }
          ]
        },
        {
          "role": "assistant",
          "content": [
            {
              "type": "text",
              "text": "Please send the quarterly report to the project lead."
            }
          ]
        }
      ]
    }
  }
}
Resposta:
{
  "header": {
    "task_id": "bdebb544-9411-413b-a199-aa43485716a0",
    "event": "result-generated",
    "attributes": {}
  },
  "payload": {
    "output": {
      "sentence": {
        "sentence_id": 1,
        "begin_time": 120,
        "end_time": 4040,
        "text": "Please send the quarterly project report to Kellera before Friday. ",
        "sentence_end": true,
        "words": [
          {
            "begin_time": 120,
            "end_time": 320,
            "text": "Please",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 320,
            "end_time": 560,
            "text": " send",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 560,
            "end_time": 760,
            "text": " the",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 760,
            "end_time": 1360,
            "text": " quarterly",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 1360,
            "end_time": 1800,
            "text": " project",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 1800,
            "end_time": 2120,
            "text": " report",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 2120,
            "end_time": 2280,
            "text": " to",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 2280,
            "end_time": 2336,
            "text": " ",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 2336,
            "end_time": 2560,
            "text": "Kell",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 2560,
            "end_time": 2800,
            "text": "era",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 2800,
            "end_time": 3160,
            "text": " before",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 3160,
            "end_time": 4040,
            "text": " Friday",
            "punctuation": ". ",
            "fixed": false
          }
        ],
        "stash": {
          "sentence_id": 2,
          "text": "",
          "begin_time": 4040,
          "current_time": 4040,
          "words": []
        }
      }
    },
    "usage": {
      "duration": 4,
      "input_tokens": 73,
      "output_tokens": 13,
      "total_tokens": 86
    }
  }
}

finish-task

Após enviar todos os dados de áudio, o cliente envia um evento finish-task para informar ao servidor que a entrada de áudio terminou e solicitar a conclusão da tarefa.
Após enviar finish-task, continue recebendo os resultados restantes até chegar task-finished. Use o mesmo task_id de run-task.
headerobjectObrigatório
actionstringObrigatório
O tipo de comando. Defina como finish-task.
task_idstringObrigatório
Um ID de tarefa gerado pelo cliente (formato UUID) que deve corresponder ao task_id no evento run-task.
streamingstringObrigatório
Defina como duplex.
payloadobjectObrigatório
inputobjectObrigatório
Defina como {}.
Solicitação:
{
  "header": {
    "action": "finish-task",
    "task_id": "ab4f7812-2d71-4e3d-93d3-b68ab80d3755",
    "streaming": "duplex"
  },
  "payload": {
    "input": {}
  }
}
Resposta:
{
  "header": {
    "task_id": "ab4f7812-2d71-4e3d-93d3-b68ab80d3755",
    "event": "task-finished",
    "attributes": {}
  },
  "payload": {
    "output": {},
    "usage": {
      "duration": 4,
      "input_tokens": 51,
      "output_tokens": 13,
      "total_tokens": 64
    }
  }
}