Skip to main content

Connexion AOQ à CosyVoice

Cette section décrit l’authentification, la configuration des médias, l’établissement de la connexion et le traitement des événements de tâche pour accéder à CosyVoice via AOQ.

Pour accéder à CosyVoice via AOQ, le client soumet le texte et les événements de tâche sur la piste Data et reçoit la voix synthétisée sur la piste Audio.

Prérequis

  • Sélectionnez un modèle prenant en charge AOQ. Pour le détail de cette prise en charge, consultez Modèles et protocoles pris en charge.
  • Configurez et utilisez l’API Key sur l’AppServer métier, en respectant la région et l’espace de travail.
  • Importez le SDK AOQ de votre plateforme depuis Téléchargement du SDK. Les exemples suivants utilisent Android Java et une transmission Opus ; importez également le plug-in Opus. La synthèse vocale ne nécessite pas d’autorisation d’accès au microphone ou à la caméra.

1. Obtenir les informations de connexion

Pour obtenir un jeton à l’avance ou consulter le flux complet d’authentification, voir les détails de l’authentification de connexion.
Définissez la variable d’environnement DASHSCOPE_API_KEY sur AppServer et remplacez {endpoint} par le domaine d’accès de la région et de l’espace de travail sélectionnés. CosyVoice utilise le chemin de connexion Inference ; l’exemple suivant utilise cosyvoice-v3-plus.
curl -X POST \
  "https://{endpoint}/api/v1/webrtc/inference?model=cosyvoice-v3-plus" \
  -H "Authorization: Bearer ${DASHSCOPE_API_KEY}" \
  -H "Content-Type: application/json" \
  -H "x-dashscope-rtc-transport: moq" \
  -d '{}'
Avec Token Plan, la valeur de WorkspaceId dans le domaine d’accès est fixée à token-plan. Le champ clientIp du corps de la requête est facultatif ; indiquez l’adresse IP publique réelle du client pour que la passerelle sélectionne un point d’accès Relay. S’il est vide, la passerelle utilise l’IP source de la requête. L’API Key est stockée uniquement sur AppServer. AppServer renvoie au client les paramètres de connexion du tableau ci-dessous ; sidExpiresInSecs dans la réponse indique la durée de validité de la session, en secondes.
Champs de réponse de la passerelleChamp AoqConnectConfig
aoqTokenForClienttoken
sidsid
clientRelayCertFingerprintcertFingerprint
clientRelayEndpointsrelayEndpoints, convertissez endpoint, port et route_index un par un
extraInfo.workspaceIdHashworkspaceIdHash

2. Initialiser le SDK et se connecter

Utilisez AoqCreateConfig pour définir le répertoire de travail du SDK, puis appelez AoqClientEngine.createEngine pour créer le moteur et enregistrer les callbacks. Gérez l’état de la connexion dans onConnectionStatusChange, analysez les événements du modèle dans onDataMsg et traitez les erreurs du SDK dans onError. SDK Android fournit la documentation complète de l’initialisation du moteur et des champs de connexion. Après avoir renseigné dans connectConfig les informations de connexion renvoyées par AppServer, publiez la piste Data et abonnez-vous aux pistes Audio et Data. L’exemple configure le décodage Opus mono à 24 kHz et démarre le lecteur. Le format de sortie du modèle est défini par l’événement de tâche ; la configuration de décodage du SDK sert à la transmission sur les pistes de médias.
AoqClientEngine.AoqAudioCodecConfig codec = new AoqClientEngine.AoqAudioCodecConfig();
codec.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeAudio;
codec.codecType = AoqClientEngine.AoqEncoderType.AoqEncoderTypeAudioOpus;
codec.sampleRate = 24000;
codec.channel = 1;
engine.setAudioDecoderConfig(codec);

AoqClientEngine.AoqTrackParam audio = new AoqClientEngine.AoqTrackParam();
audio.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeAudio;
connectConfig.subscribeTracks.add(audio);
AoqClientEngine.AoqTrackParam publishData = new AoqClientEngine.AoqTrackParam();
publishData.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeData;
connectConfig.publishTracks.add(publishData);
AoqClientEngine.AoqTrackParam subscribeData = new AoqClientEngine.AoqTrackParam();
subscribeData.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeData;
connectConfig.subscribeTracks.add(subscribeData);

AoqClientEngine.AoqAudioPlaybackConfig playback = new AoqClientEngine.AoqAudioPlaybackConfig();
playback.channel = 1;
playback.isDefaultSpeaker = true;
engine.startAudioPlayer(playback);
engine.connect(connectConfig);
Attendez que onConnectionStatusChange renvoie AoqConnectionStatusConnected avant de démarrer la tâche. En cas d’erreur de connexion, effacez l’état local de la tâche ; pour rétablir la connexion, vous devez obtenir de nouvelles informations de connexion.

3. Démarrer la tâche de synthèse et traiter les événements

Sérialisez le JSON suivant en UTF-8, écrivez-le dans AoqDataMsg.data, puis envoyez-le sur la piste Data avec sendDataMsg. Chaque tâche génère un nouveau task_id ; tous les événements de ce tour partagent la même valeur. Utilisez la voix correspondant au modèle sélectionné.
{
  "header": {
    "action": "run-task",
    "task_id": "0706c14c-dc16-4e45-8cb6-9d00686e8e19",
    "streaming": "duplex"
  },
  "payload": {
    "task_group": "audio",
    "task": "tts",
    "function": "SpeechSynthesizer",
    "model": "cosyvoice-v3-plus",
    "parameters": {
      "text_type": "PlainText",
      "voice": "longanyang",
      "format": "pcm",
      "sample_rate": 24000
    },
    "input": {}
  }
}
Lisez header.event dans onDataMsg. À la réception de task-started, envoyez un ou plusieurs événements continue-task pour soumettre le texte.
{
  "header": {
    "action": "continue-task",
    "task_id": "0706c14c-dc16-4e45-8cb6-9d00686e8e19",
    "streaming": "duplex"
  },
  "payload": {
    "input": {
      "text": "欢迎使用阿里云百炼。"
    }
  }
}
Le SDK reçoit et lit la voix depuis la piste Audio. result-generated représente l’événement de tâche sur la piste Data, tandis que l’audio est transmis sur la piste Audio. À la réception de task-failed, lisez header.error_code et header.error_message, puis terminez la tâche actuelle. Les paramètres des tâches et les champs des événements sont détaillés dans Événements client et Événements serveur.

4. Terminer la tâche et libérer les ressources

Une fois tout le texte soumis, envoyez finish-task. Gardez la connexion ouverte et attendez que le serveur synthétise le texte restant et renvoie task-finished.
{
  "header": {
    "action": "finish-task",
    "task_id": "0706c14c-dc16-4e45-8cb6-9d00686e8e19",
    "streaming": "duplex"
  },
  "payload": {
    "input": {}
  }
}
Lorsque la connexion n’est plus nécessaire, attendez la fin de la lecture de l’audio reçu, puis appelez successivement stopAudioPlayer, disconnect et AoqClientEngine.destroy pour libérer les ressources.

Documentation associée