Skip to main content

CosyVoice Acesso por AOQ

Descreve a autenticação, a configuração de mídia, o estabelecimento da conexão e o tratamento de eventos de tarefas para acessar o CosyVoice pelo AOQ.

Ao acessar o CosyVoice pelo AOQ, o cliente envia texto e eventos da tarefa pela trilha Data e recebe a fala sintetizada pela trilha Audio.

Pré-requisitos

  • Selecione um modelo compatível com AOQ. Para o escopo específico, consulte Modelos e protocolos compatíveis.
  • Configure a chave de API no AppServer da aplicação, usando a região e o workspace correspondentes à chamada.
  • Importe o SDK do AOQ da sua plataforma em Download do SDK. Os exemplos a seguir usam Android Java e transmissão Opus; importe também o plug-in Opus. A síntese de texto em fala não exige permissões para microfone ou câmera.

1. Obter as credenciais de conexão

Para obter um token antecipadamente ou consultar o fluxo completo de autenticação, veja os detalhes da autenticação de conexão.
Defina a variável de ambiente DASHSCOPE_API_KEY no AppServer e substitua {endpoint} pelo domínio de acesso da região e do workspace selecionados. O CosyVoice usa o caminho de conexão Inference; o exemplo a seguir usa cosyvoice-v3-plus.
curl -X POST \
  "https://{endpoint}/api/v1/webrtc/inference?model=cosyvoice-v3-plus" \
  -H "Authorization: Bearer ${DASHSCOPE_API_KEY}" \
  -H "Content-Type: application/json" \
  -H "x-dashscope-rtc-transport: moq" \
  -d '{}'
Ao usar Token Plan, o WorkspaceId no domínio de acesso é fixado em token-plan. clientIp no corpo da solicitação é opcional: informe o IP público real do cliente para que o gateway selecione um ponto de acesso Relay. Se for omitido, o gateway usará o IP de origem da solicitação. A chave de API é armazenada somente no AppServer. O AppServer retorna ao cliente os parâmetros de conexão da tabela abaixo. sidExpiresInSecs na resposta indica a validade da sessão, em segundos.
Campos da resposta do gatewayCampo de AoqConnectConfig
aoqTokenForClienttoken
sidsid
clientRelayCertFingerprintcertFingerprint
clientRelayEndpointsrelayEndpoints, converta endpoint, port e route_index de cada elemento
extraInfo.workspaceIdHashworkspaceIdHash

2. Inicializar o SDK e conectar

Use AoqCreateConfig para definir o diretório de trabalho do SDK e chame AoqClientEngine.createEngine para criar o mecanismo e registrar os callbacks. Trate o estado da conexão em onConnectionStatusChange, analise os eventos do modelo em onDataMsg e trate os erros do SDK em onError. O SDK para Android fornece as interfaces completas de inicialização do mecanismo e dos campos de conexão. Depois de preencher connectConfig com as credenciais retornadas pelo AppServer, publique a trilha Data e assine as trilhas Audio e Data. O exemplo configura a decodificação Opus mono de 24 kHz e inicia o player. O formato de saída do modelo é definido pelo evento da tarefa; a configuração de decodificação do SDK se aplica à transmissão pela trilha de mídia.
AoqClientEngine.AoqAudioCodecConfig codec = new AoqClientEngine.AoqAudioCodecConfig();
codec.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeAudio;
codec.codecType = AoqClientEngine.AoqEncoderType.AoqEncoderTypeAudioOpus;
codec.sampleRate = 24000;
codec.channel = 1;
engine.setAudioDecoderConfig(codec);

AoqClientEngine.AoqTrackParam audio = new AoqClientEngine.AoqTrackParam();
audio.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeAudio;
connectConfig.subscribeTracks.add(audio);
AoqClientEngine.AoqTrackParam publishData = new AoqClientEngine.AoqTrackParam();
publishData.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeData;
connectConfig.publishTracks.add(publishData);
AoqClientEngine.AoqTrackParam subscribeData = new AoqClientEngine.AoqTrackParam();
subscribeData.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeData;
connectConfig.subscribeTracks.add(subscribeData);

AoqClientEngine.AoqAudioPlaybackConfig playback = new AoqClientEngine.AoqAudioPlaybackConfig();
playback.channel = 1;
playback.isDefaultSpeaker = true;
engine.startAudioPlayer(playback);
engine.connect(connectConfig);
Aguarde onConnectionStatusChange retornar AoqConnectionStatusConnected antes de iniciar a tarefa. Em caso de falha na conexão, limpe o estado local da tarefa. Para restabelecer a conexão, obtenha novas credenciais.

3. Iniciar a tarefa de síntese e processar eventos

Serialize o JSON a seguir em UTF-8, grave-o em AoqDataMsg.data e envie-o pela trilha Data com sendDataMsg. Gere um novo task_id para cada tarefa; todos os eventos da mesma execução usam esse valor. Use a voz correspondente ao modelo selecionado.
{
  "header": {
    "action": "run-task",
    "task_id": "0706c14c-dc16-4e45-8cb6-9d00686e8e19",
    "streaming": "duplex"
  },
  "payload": {
    "task_group": "audio",
    "task": "tts",
    "function": "SpeechSynthesizer",
    "model": "cosyvoice-v3-plus",
    "parameters": {
      "text_type": "PlainText",
      "voice": "longanyang",
      "format": "pcm",
      "sample_rate": 24000
    },
    "input": {}
  }
}
Leia header.event em onDataMsg. Ao receber task-started, envie um ou mais eventos continue-task para fornecer o texto.
{
  "header": {
    "action": "continue-task",
    "task_id": "0706c14c-dc16-4e45-8cb6-9d00686e8e19",
    "streaming": "duplex"
  },
  "payload": {
    "input": {
      "text": "欢迎使用阿里云百炼。"
    }
  }
}
O SDK recebe e reproduz a fala pela trilha Audio. result-generated é um evento da tarefa na trilha Data, enquanto o áudio é transmitido pela trilha Audio. Ao receber task-failed, leia header.error_code e header.error_message e encerre a tarefa atual. Os parâmetros da tarefa e os campos dos eventos estão em Eventos do cliente e Eventos do servidor.

4. Encerrar a tarefa e liberar os recursos

Depois de enviar todo o texto, envie finish-task. Mantenha a conexão aberta e aguarde o servidor sintetizar o texto restante e retornar task-finished.
{
  "header": {
    "action": "finish-task",
    "task_id": "0706c14c-dc16-4e45-8cb6-9d00686e8e19",
    "streaming": "duplex"
  },
  "payload": {
    "input": {}
  }
}
Quando não precisar mais da conexão, aguarde a reprodução do áudio recebido terminar. Em seguida, chame stopAudioPlayer, disconnect e AoqClientEngine.destroy, nessa ordem, para liberar os recursos.

Documentação relacionada