Skip to main content

Connexion AOQ à Qwen-Audio-ASR-Message

Cette section décrit l’authentification, la configuration des médias, l’établissement de la connexion et le traitement des événements de tâche pour accéder à Qwen-Audio-ASR-Message via AOQ.

Pour accéder à Qwen-Audio-ASR-Message via AOQ, le client envoie l’audio sur la piste Audio, puis envoie les événements de tâche et reçoit les résultats de reconnaissance sur la piste Data.

Prérequis

  • Utilisez qwen-audio-3.1-asr-flash-message. Pour le périmètre de prise en charge, consultez Modèles et protocoles pris en charge.
  • Configurez et utilisez l’API Key sur l’AppServer métier, en respectant la région et l’espace de travail.
  • Importez le SDK AOQ de votre plateforme depuis SDK. L’exemple suivant utilise Android Java et une transmission Opus ; importez également le plug-in Opus. Pour capturer l’audio avec un microphone, demandez l’autorisation d’enregistrement côté client.

1. Obtenir les informations de connexion

Pour obtenir un jeton à l’avance ou consulter le flux complet d’authentification, voir les détails de l’authentification de connexion.
Définissez la variable d’environnement DASHSCOPE_API_KEY sur AppServer et remplacez {endpoint} par le domaine d’accès de la région et de l’espace de travail sélectionnés. Utilisez le chemin de connexion Inference pour Qwen-Audio-ASR-Message ; l’exemple suivant utilise qwen-audio-3.1-asr-flash-message.
curl -X POST \
  "https://{endpoint}/api/v1/webrtc/inference?model=qwen-audio-3.1-asr-flash-message" \
  -H "Authorization: Bearer ${DASHSCOPE_API_KEY}" \
  -H "Content-Type: application/json" \
  -H "x-dashscope-rtc-transport: moq" \
  -d '{}'
Avec Token Plan, la valeur de WorkspaceId dans le domaine d’accès est fixée à token-plan. Le champ clientIp du corps de la requête est facultatif ; indiquez l’adresse IP publique réelle du client pour que la passerelle sélectionne un point d’accès Relay. S’il est vide, la passerelle utilise l’IP source de la requête. L’API Key est stockée uniquement sur AppServer. AppServer renvoie au client les paramètres de connexion du tableau ci-dessous ; sidExpiresInSecs dans la réponse indique la durée de validité de la session, en secondes.
Champs de réponse de la passerelleChamp AoqConnectConfig
aoqTokenForClienttoken
sidsid
clientRelayCertFingerprintcertFingerprint
clientRelayEndpointsrelayEndpoints, convertissez endpoint, port et route_index un par un
extraInfo.workspaceIdHashworkspaceIdHash

2. Initialiser le SDK et se connecter

Utilisez AoqCreateConfig pour définir le répertoire de travail du SDK, puis appelez AoqClientEngine.createEngine pour créer le moteur et enregistrer les callbacks. Gérez l’état de la connexion dans onConnectionStatusChange, analysez les événements du modèle dans onDataMsg et traitez les erreurs du SDK dans onError. SDK Android fournit la documentation complète de l’initialisation du moteur et des champs de connexion. Après avoir renseigné dans connectConfig les informations de connexion renvoyées par AppServer, publiez les pistes Audio et Data et abonnez-vous à la piste Data. L’exemple suivant configure un encodage Opus mono à 16 kHz et la capture intégrée, puis désactive l’envoi sur la piste Audio pendant l’établissement de la connexion. Le format d’entrée du modèle est défini par l’événement de tâche ; la configuration d’encodage du SDK sert à la transmission sur les pistes de médias.
AoqClientEngine.AoqAudioCodecConfig codec = new AoqClientEngine.AoqAudioCodecConfig();
codec.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeAudio;
codec.codecType = AoqClientEngine.AoqEncoderType.AoqEncoderTypeAudioOpus;
codec.sampleRate = 16000;
codec.channel = 1;
codec.bitrate = 24000;
engine.setAudioEncoderConfig(codec);

AoqClientEngine.AoqTrackParam audio = new AoqClientEngine.AoqTrackParam();
audio.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeAudio;
connectConfig.publishTracks.add(audio);
AoqClientEngine.AoqTrackParam publishData = new AoqClientEngine.AoqTrackParam();
publishData.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeData;
connectConfig.publishTracks.add(publishData);
AoqClientEngine.AoqTrackParam subscribeData = new AoqClientEngine.AoqTrackParam();
subscribeData.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeData;
connectConfig.subscribeTracks.add(subscribeData);

AoqClientEngine.AoqAudioCaptureConfig capture = new AoqClientEngine.AoqAudioCaptureConfig();
capture.channel = 1;
capture.isExternal = false;
engine.startAudioCapture(capture);
engine.enableSendMediaStream(AoqClientEngine.AoqTrackType.AoqTrackTypeAudio, false);
engine.connect(connectConfig);
Attendez que onConnectionStatusChange renvoie AoqConnectionStatusConnected avant de démarrer la tâche. En cas d’erreur de connexion, effacez l’état local de la tâche ; pour rétablir la connexion, vous devez obtenir de nouvelles informations de connexion.

3. Démarrer la tâche de reconnaissance et traiter les événements

Sérialisez le JSON suivant en UTF-8, écrivez-le dans AoqDataMsg.data, puis envoyez-le sur la piste Data avec sendDataMsg. Chaque tâche génère un nouveau task_id ; tous les événements de ce tour utilisent la même valeur.
{
  "header": {
    "action": "run-task",
    "task_id": "0706c14c-dc16-4e45-8cb6-9d00686e8e19",
    "streaming": "duplex"
  },
  "payload": {
    "task_group": "audio",
    "task": "asr",
    "function": "recognition",
    "model": "qwen-audio-3.1-asr-flash-message",
    "parameters": {
      "format": "pcm",
      "sample_rate": 16000
    },
    "input": {}
  }
}
Lisez header.event dans onDataMsg. L’envoi audio en amont n’est autorisé qu’après la réception de task-started.
engine.enableSendMediaStream(AoqClientEngine.AoqTrackType.AoqTrackTypeAudio, true);
Lisez le texte reconnu dans payload.output.sentence de result-generated et ignorez les messages de maintien de connexion avec heartbeat=true. Le texte final de la phrase est renvoyé par défaut. Si intermediate_result_enabled=true est configuré dans run-task, du texte intermédiaire modifiable est également renvoyé. Actualisez le texte d’une même phrase selon sentence_id. À la réception de task-failed, arrêtez l’envoi en amont de ce tour et lisez header.error_code et header.error_message. Les paramètres des tâches et les champs des événements sont détaillés dans Événements client et Événements serveur.

4. Terminer la tâche et libérer les ressources

À la fin de l’enregistrement, arrêtez la capture de nouvelles données audio et attendez l’envoi de l’audio en attente. Appelez enableSendMediaStream pour désactiver l’envoi en amont de la piste Audio, puis envoyez finish-task sur la piste Data. Gardez la connexion ouverte pour recevoir les résultats de reconnaissance restants et attendez task-finished.
{
  "header": {
    "action": "finish-task",
    "task_id": "0706c14c-dc16-4e45-8cb6-9d00686e8e19",
    "streaming": "duplex"
  },
  "payload": {
    "input": {}
  }
}
Lorsque la connexion n’est plus nécessaire, appelez successivement stopAudioCapture, disconnect et AoqClientEngine.destroy pour libérer les ressources.

Documentation associée