Skip to main content

Qwen-Audio-ASR-Message Acesso por AOQ

Esta seção descreve o fluxo de autenticação, configuração de mídia, estabelecimento da conexão e processamento de eventos de tarefa para acessar o Qwen-Audio-ASR-Message pelo AOQ.

Ao acessar o Qwen-Audio-ASR-Message pelo AOQ, o cliente envia áudio pela trilha Audio e envia eventos de tarefa e recebe resultados de reconhecimento pela trilha Data.

Pré-requisitos

  • Use qwen-audio-3.1-asr-flash-message. Para o escopo de suporte, consulte Modelos e protocolos compatíveis.
  • Configure a chave de API no AppServer da aplicação, usando a região e o workspace correspondentes à chamada.
  • Importe o SDK do AOQ da sua plataforma em Download do SDK. O exemplo a seguir usa Android Java e transmissão Opus; importe também o plug-in Opus. Ao capturar áudio pelo microfone, solicite permissão de gravação no cliente.

1. Obter as credenciais de conexão

Para obter um token antecipadamente ou consultar o fluxo completo de autenticação, veja os detalhes da autenticação de conexão.
Defina a variável de ambiente DASHSCOPE_API_KEY no AppServer e substitua {endpoint} pelo domínio de acesso da região e do workspace selecionados. Use o caminho de conexão Inference para o Qwen-Audio-ASR-Message. O exemplo a seguir usa qwen-audio-3.1-asr-flash-message.
curl -X POST \
  "https://{endpoint}/api/v1/webrtc/inference?model=qwen-audio-3.1-asr-flash-message" \
  -H "Authorization: Bearer ${DASHSCOPE_API_KEY}" \
  -H "Content-Type: application/json" \
  -H "x-dashscope-rtc-transport: moq" \
  -d '{}'
Ao usar Token Plan, o WorkspaceId no domínio de acesso é fixado em token-plan. clientIp no corpo da solicitação é opcional: informe o IP público real do cliente para que o gateway selecione um ponto de acesso Relay. Se for omitido, o gateway usará o IP de origem da solicitação. A chave de API é armazenada somente no AppServer. O AppServer retorna ao cliente os parâmetros de conexão da tabela abaixo. sidExpiresInSecs na resposta indica a validade da sessão, em segundos.
Campos da resposta do gatewayCampo de AoqConnectConfig
aoqTokenForClienttoken
sidsid
clientRelayCertFingerprintcertFingerprint
clientRelayEndpointsrelayEndpoints, converta endpoint, port e route_index de cada elemento
extraInfo.workspaceIdHashworkspaceIdHash

2. Inicializar o SDK e conectar

Use AoqCreateConfig para definir o diretório de trabalho do SDK e chame AoqClientEngine.createEngine para criar o mecanismo e registrar os callbacks. Trate o estado da conexão em onConnectionStatusChange, analise os eventos do modelo em onDataMsg e trate os erros do SDK em onError. O SDK para Android fornece as interfaces completas de inicialização do mecanismo e dos campos de conexão. Depois de preencher connectConfig com as credenciais retornadas pelo AppServer, publique as trilhas Audio e Data e assine a trilha Data. O exemplo a seguir configura a codificação Opus mono de 16 kHz e a captura interna, e desativa o envio pela trilha Audio durante o estabelecimento da conexão. O formato de entrada do modelo é definido pelo evento da tarefa; a configuração de codificação do SDK se aplica à transmissão pela trilha de mídia.
AoqClientEngine.AoqAudioCodecConfig codec = new AoqClientEngine.AoqAudioCodecConfig();
codec.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeAudio;
codec.codecType = AoqClientEngine.AoqEncoderType.AoqEncoderTypeAudioOpus;
codec.sampleRate = 16000;
codec.channel = 1;
codec.bitrate = 24000;
engine.setAudioEncoderConfig(codec);

AoqClientEngine.AoqTrackParam audio = new AoqClientEngine.AoqTrackParam();
audio.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeAudio;
connectConfig.publishTracks.add(audio);
AoqClientEngine.AoqTrackParam publishData = new AoqClientEngine.AoqTrackParam();
publishData.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeData;
connectConfig.publishTracks.add(publishData);
AoqClientEngine.AoqTrackParam subscribeData = new AoqClientEngine.AoqTrackParam();
subscribeData.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeData;
connectConfig.subscribeTracks.add(subscribeData);

AoqClientEngine.AoqAudioCaptureConfig capture = new AoqClientEngine.AoqAudioCaptureConfig();
capture.channel = 1;
capture.isExternal = false;
engine.startAudioCapture(capture);
engine.enableSendMediaStream(AoqClientEngine.AoqTrackType.AoqTrackTypeAudio, false);
engine.connect(connectConfig);
Aguarde onConnectionStatusChange retornar AoqConnectionStatusConnected antes de iniciar a tarefa. Em caso de falha na conexão, limpe o estado local da tarefa. Para restabelecer a conexão, obtenha novas credenciais.

3. Iniciar a tarefa de reconhecimento e tratar eventos

Serialize o JSON a seguir em UTF-8, grave-o em AoqDataMsg.data e envie-o pela trilha Data com sendDataMsg. Gere um novo task_id para cada tarefa; todos os eventos da mesma execução usam esse valor.
{
  "header": {
    "action": "run-task",
    "task_id": "0706c14c-dc16-4e45-8cb6-9d00686e8e19",
    "streaming": "duplex"
  },
  "payload": {
    "task_group": "audio",
    "task": "asr",
    "function": "recognition",
    "model": "qwen-audio-3.1-asr-flash-message",
    "parameters": {
      "format": "pcm",
      "sample_rate": 16000
    },
    "input": {}
  }
}
Leia header.event em onDataMsg. O envio de áudio só é permitido após receber task-started.
engine.enableSendMediaStream(AoqClientEngine.AoqTrackType.AoqTrackTypeAudio, true);
Leia o texto reconhecido de payload.output.sentence em result-generated e ignore os heartbeats com heartbeat=true. Por padrão, o texto final da frase é retornado. Se intermediate_result_enabled=true for configurado em run-task, também será retornado texto intermediário editável. Atualize o texto da mesma frase conforme sentence_id. Ao receber task-failed, interrompa o envio desta rodada e leia header.error_code e header.error_message. Os parâmetros de tarefa e os campos de eventos estão em Eventos do cliente e Eventos do servidor.

4. Encerrar a tarefa e liberar os recursos

Ao terminar a gravação, pare a captura de novo áudio e aguarde o envio do áudio pendente. Chame enableSendMediaStream para interromper o envio pela trilha Audio e envie finish-task pela trilha Data. Mantenha a conexão aberta para receber os resultados restantes e aguarde task-finished.
{
  "header": {
    "action": "finish-task",
    "task_id": "0706c14c-dc16-4e45-8cb6-9d00686e8e19",
    "streaming": "duplex"
  },
  "payload": {
    "input": {}
  }
}
Quando não precisar mais da conexão, chame stopAudioCapture, disconnect e AoqClientEngine.destroy, nessa ordem, para liberar os recursos.

Documentação relacionada