Descreve a autenticação, a configuração de mídia, o estabelecimento da conexão e o tratamento de eventos de tarefas para acessar o Fun-ASR-Realtime pelo AOQ.
Ao acessar o Fun-ASR-Realtime pelo AOQ, o cliente envia áudio pela trilha Audio, transmite eventos da tarefa e recebe resultados de reconhecimento pela trilha Data.
Defina a variável de ambiente
Ao usar Token Plan, o
Use
Aguarde
Serialize o JSON a seguir em UTF-8, grave-o em
Leia
Leia o texto reconhecido em
Ao terminar a gravação, pare a captura de novo áudio e aguarde o envio do áudio pendente. Chame
Quando não precisar mais da conexão, chame
Pré-requisitos
- Selecione um modelo compatível com AOQ. Para o escopo específico, consulte Modelos e protocolos compatíveis.
- Configure a chave de API no AppServer da aplicação, usando a região e o workspace correspondentes à chamada.
- Importe o SDK do AOQ da sua plataforma em Download do SDK. O exemplo a seguir usa Android Java e transmissão Opus; importe também o plug-in Opus. Ao capturar áudio pelo microfone, solicite permissão de gravação no cliente.
1. Obter as credenciais de conexão
Para obter um token antecipadamente ou consultar o fluxo completo de autenticação, veja os detalhes da autenticação de conexão.
DASHSCOPE_API_KEY no AppServer e substitua {endpoint} pelo endpoint da região e do workspace selecionados. O Fun-ASR-Realtime usa o caminho de conexão Inference; o exemplo a seguir usa fun-asr-realtime.
WorkspaceId no domínio de acesso é fixado em token-plan. clientIp no corpo da solicitação é opcional: informe o IP público real do cliente para que o gateway selecione um ponto de acesso Relay. Se for omitido, o gateway usará o IP de origem da solicitação.
A chave de API é armazenada somente no AppServer. O AppServer retorna ao cliente os parâmetros de conexão da tabela abaixo. sidExpiresInSecs na resposta indica a validade da sessão, em segundos.
| Campos da resposta do gateway | Campo de AoqConnectConfig |
|---|---|
aoqTokenForClient | token |
sid | sid |
clientRelayCertFingerprint | certFingerprint |
clientRelayEndpoints | relayEndpoints, converta endpoint, port e route_index de cada elemento |
extraInfo.workspaceIdHash | workspaceIdHash |
2. Inicializar o SDK e conectar
Use AoqCreateConfig para definir o diretório de trabalho do SDK e chame AoqClientEngine.createEngine para criar o mecanismo e registrar os callbacks. Trate o estado da conexão em onConnectionStatusChange, analise os eventos do modelo em onDataMsg e trate os erros do SDK em onError. O SDK para Android fornece as interfaces completas de inicialização do mecanismo e dos campos de conexão.
Depois de preencher connectConfig com as credenciais retornadas pelo AppServer, publique as trilhas Audio e Data e assine a trilha Data. O exemplo a seguir configura a codificação Opus mono de 16 kHz e a captura interna, e desativa o envio pela trilha Audio durante o estabelecimento da conexão. O formato de entrada do modelo é definido pelo evento da tarefa; a configuração de codificação do SDK se aplica à transmissão pela trilha de mídia.
onConnectionStatusChange retornar AoqConnectionStatusConnected antes de iniciar a tarefa. Em caso de falha na conexão, limpe o estado local da tarefa. Para restabelecer a conexão, obtenha novas credenciais.
3. Iniciar a tarefa de reconhecimento e tratar eventos
Serialize o JSON a seguir em UTF-8, grave-o em AoqDataMsg.data e envie-o pela trilha Data com sendDataMsg. Gere um novo task_id para cada tarefa; todos os eventos da mesma execução usam esse valor.
header.event em onDataMsg. O envio de áudio só é permitido após receber task-started.
payload.output.sentence de result-generated e ignore o heartbeat com heartbeat=true. sentence_end=false indica texto intermediário, e sentence_end=true, o texto final da frase. Atualize o texto da mesma frase conforme sentence_id. Ao receber task-failed, interrompa o envio desta execução e leia header.error_code e header.error_message.
Para os parâmetros da tarefa e os campos dos eventos, consulte Eventos do cliente e Eventos do servidor.
4. Encerrar a tarefa e liberar os recursos
Ao terminar a gravação, pare a captura de novo áudio e aguarde o envio do áudio pendente. Chame enableSendMediaStream para interromper o envio pela trilha Audio e envie finish-task pela trilha Data. Mantenha a conexão aberta para receber os resultados restantes e aguarde task-finished.
stopAudioCapture, disconnect e AoqClientEngine.destroy, nessa ordem, para liberar os recursos.