Cette rubrique explique comment intégrer le SDK client AOQ sur Android, iOS et HarmonyOS pour mettre en œuvre des appels audio et vidéo à l'aide d'AOQ et de qwen3.5-omni-plus-realtime.
Obtenir le SDK
Pour obtenir le SDK client AOQ et le plug-in audio Opus, consultez la rubrique Téléchargement du SDK. Le codec Opus est fourni sous forme de plug-in distinct. Intégrez-le selon vos besoins.
Importer le SDK
Copiez les fichiers principaux du SDK dans le répertoire des dépendances de votre projet, puis déclarez les autorisations requises dans la configuration de ce dernier.
Android
Placez le fichier AoqClientSdk-release.aar dans le répertoire app/libs/ de votre projet. Répartissez le fichier libPluginOpus.so par ABI dans les dossiers app/libs/armeabi-v7a/ et app/libs/arm64-v8a/. Dans le fichier app/build.gradle :
AndroidManifest.xml :
RECORD_AUDIO et CAMERA sont soumises à une demande d'autorisation au moment de l'exécution. Votre application doit appeler la méthode Android ActivityCompat.requestPermissions() lors de l'exécution pour solliciter l'accord de l'utilisateur.
iOS (framework)
-
Faites glisser les fichiers
AoqClientSdk.frameworketPluginOpus.frameworkdans votre projet Xcode. Sous Target > General > Frameworks, Libraries, and Embedded Content, sélectionnez Embed & Sign. -
Déclarez les autorisations : dans Xcode, accédez à Target > Info > Custom iOS Target Properties, puis ajoutez les deux descriptions d'utilisation suivantes :
Key
Value
NSMicrophoneUsageDescriptionPour les appels vocaux en temps réel
NSCameraUsageDescriptionPour les appels vidéo en temps réel
-
Projet Swift : utilisez
import AoqClientSdk. Projet Objective-C : utilisez#import <AoqClientSdk/AoqClientSdk.h>.
HarmonyOS (har)
-
Placez le fichier
aoq-client-sdk.hardans le répertoirelibs/de votre projet. Répartissez le fichierlibPluginOpus.sopar ABI dans les dossiersentry/libs/armeabi-v7a/etentry/libs/arm64-v8a/. Déclarez ensuite la dépendance dans le fichierentry/oh-package.json5. -
Ajoutez les autorisations dans le fichier
entry/src/main/module.json5: -
Dans
EntryAbility, déclenchez la demande d'autorisation au moment de l'exécution viaabilityAccessCtrl.createAtManager().requestPermissionsFromUser.
Obtenir un token depuis l'AppServer
Configurez un AppServer selon les Étapes d’authentification AOQ de Qwen-Omni-Realtime. Avant chaque appel, le client demande de nouvelles informations de connexion à AppServer.
Mettre en œuvre les appels audio/vidéo IA
Créer le moteur et définir les callbacks
Appelez l'API createEngine pour créer une instance d'AoqClientEngine.
iOS :
AoqEngineDelegate pour écouter les callbacks tels que onConnectionStatusChange, onDataMsg ou onError.
Android :
Démarrer la capture et la lecture audio/vidéo
Appelez startAudioCapture et startAudioPlayer pour lancer la capture et la lecture audio locales. Appelez ensuite startVideoCapture pour activer la caméra, puis utilisez setLocalView afin d'associer la cible de rendu du SDK à votre contrôle d'aperçu.
Dans les exemples suivants, le SDK lit automatiquement l’audio. Pour vérifier le contenu avant la lecture, définissez isExternal sur true dans la configuration de lecture transmise à startAudioPlayer pour désactiver la lecture automatique du SDK, puis activez le callback des trames audio de lecture. L’application peut copier et mettre en mémoire tampon l’audio PCM reçu dans le callback, puis décider de le lire ou de le supprimer après vérification. Pour la configuration, consultez Lecture audio personnalisée.
iOS :
Pour un appel sur haut-parleur, définissez isVoipMode sur true pour la capture et la lecture avant de les démarrer afin d’activer l’annulation matérielle de l’écho. Gardez le microphone actif pendant la lecture pour que la détection d’activité vocale (VAD) puisse détecter la prise de parole de l’utilisateur et déclencher une interruption.
Obtenir les identifiants de connexion
Le client demande les informations de connexion à AppServer.
Configurer les codecs et établir la connexion
Définissez les paramètres des codecs, puis appelez la méthode connect.
Remarque : qwen3.5-omni-plus-realtime exige que le client commence à envoyer des données multimédias uniquement après avoir reçu l'événement session.updated du serveur. Pour éviter tout envoi accidentel de flux entre l'appel réussi à connect et la réception de session.updated, appelez enableSendMediaStream(trackType, false) pour chaque piste montante avant d'appeler connect. Pour plus de détails sur les événements WebSocket, reportez-vous à la rubrique Événements client.
iOS :
Configurer la session IA
Dans le callback onConnectionStatusChange(Connected), envoyez un message session.update via la méthode sendDataMsg. Ce message contient les paramètres de session tels que les modalités, la voix, les instructions et turn_detection, ce qui finalise la négociation de session. Pour plus de détails sur les événements WebSocket, reportez-vous à la rubrique Événements client.
iOS :
Activer l'envoi multimédia après réception de session.updated
Dans le callback onDataMsg, analysez les messages entrants. Lorsque vous recevez l'événement session.updated du modèle, appelez enableSendMediaStream(trackType, true) pour chaque type de piste précédemment désactivé. Pour plus de détails sur les événements WebSocket, reportez-vous à la rubrique Événements serveur.
iOS :
-
Ne commencez à envoyer des flux multimédias qu'après la réception de
session.updated. L'IA pourrait ne pas être prête à recevoir des données avant cet événement. -
Les pistes audio et vidéo ajoutées lors de la connexion (canaux multimédias AOQ) transmettent automatiquement les données au serveur.
- Audio : transmis directement via la piste audio. Il n'est pas nécessaire d'envoyer des événements
input_audio_buffer.append. - Vidéo : les images sont envoyées via la piste vidéo. Il n'est pas nécessaire d'envoyer des événements
input_image_buffer.append.
- Audio : transmis directement via la piste audio. Il n'est pas nécessaire d'envoyer des événements
Se déconnecter et détruire le moteur
Scénarios courants
Interruption (Barge-in)
- Le SDK est étroitement intégré à Alibaba Cloud Model Studio. Les messages d'interruption provenant du modèle coupent le tour de parole précédent dès qu'un nouveau tour commence.
- Le SDK fournit l'interface
interruptAudioPlayerpour interrompre la lecture locale. Appelez cette API lorsque l'utilisateur souhaite arrêter la lecture en cours.
Couper / rétablir le micro
Une fois le micro coupé, le SDK continue de capturer l'audio mais n'envoie que des trames silencieuses. La session n'est pas interrompue.
Basculer entre les caméras avant et arrière
Sous-titres d'appel et résultats ASR
Le serveur pousse les résultats ASR et les réponses textuelles de l'IA via des messages de données descendants. Dans votre application, acheminez-les en fonction du champ type présent dans le callback onDataMsg. Pour plus de détails sur les événements WebSocket, reportez-vous à la rubrique Événements serveur.
Remarques importantes
-
Sémantique singleton :
createEnginefonctionne comme un singleton ; des appels répétés renvoient toujours la même instance. Le moteur ne peut être recréé qu'après l'appel dedestroy. Pour une utilisation multi-pages, gérez le cycle de vie du moteur au niveau de l'Application ou de l'Ability. -
Types de vues pour l'aperçu local :
- Android :
SurfaceViewouTextureView. Les autres types ne sont pas pris en charge. - iOS : Toute sous-classe de
UIView. - HarmonyOS : Consultez la documentation du SDK.
- Android :
-
Changements de routage audio : Des événements tels que le branchement ou le retrait d'écouteurs, ou encore la connexion Bluetooth, déclenchent
onAudioDeviceRouteChanged. Aucune action n'est généralement requise dans votre application. Toutefois, si votre interface comprend un bouton permettant de basculer entre le haut-parleur et l'écouteur, synchronisez l'état en vous basant sur ce callback. -
Poursuite de l'audio en arrière-plan : Pour que l'audio continue lorsque l'appel passe en arrière-plan, le fichier
Info.plistdoit comporter l'optionUIBackgroundModes = audioactivée, etAVAudioSessiondoit être correctement activé au premier plan. Le SDK gère la plupart des cas ; utilisezsetAudioSessionRestriction:pour un contrôle plus fin.
Télécharger la démo

Documents associés
- API détaillée du SDK client AOQ : Présentation du SDK
- Événements client du modèle qwen3.5-omni-plus-realtime : Événements client
- Événements serveur du modèle qwen3.5-omni-plus-realtime : Événements serveur