Utilisez AOQ pour vous connecter à qwen3,5-omni-plus-realtime et permettre au client de contrôler les limites de tour pour les conversations en mode push-to-talk, avec la possibilité d'inclure des questions basées sur des images. Le code client est implémenté en Swift pour iOS.
Présentation de la solution
Qwen-Omni-Realtime prend en charge la détection automatique de voix (VAD) côté serveur ainsi que le mode manuel contrôlé par le client. Ce tutoriel définit session.turn_detection sur null. Le client transmet l'audio tant que l'utilisateur maintient un bouton enfoncé, valide l'audio et demande explicitement une réponse lorsque l'utilisateur relâche le bouton.
Le mode manuel convient aux boutons d'interphone matériels, aux commandes de type « appuyer et maintenir », aux environnements bruyants où l'application détermine les limites de tour, ainsi qu'aux tours incluant éventuellement une image. L'audio est transporté via la piste audio AOQ. N'envoyez pas input_audio_buffer.append.
Élément | Mode VAD | Mode manuel |
Limite de tour | Détectée par server_vad ou semantic_vad | Contrôlée par un bouton ou l'état de l'application |
Paramètre de session |
|
|
Validation audio | Effectuée automatiquement par le service | Le client envoie |
Déclenchement de la réponse | Déclenché automatiquement par le service | Le client envoie |
Entrée d'image | Piste vidéo continue ou image via la piste de données | Piste vidéo continue ou image via la piste de données |
Prérequis
- Activez Model Studio et suivez les instructions de la rubrique Obtenir et configurer une clé API. Stockez la clé API uniquement sur votre serveur d'application. Ne l'incluez pas dans le code client et ne la commitez pas dans un dépôt de code.
- Confirmez l'endpoint AOQ pour la région dans laquelle votre application est déployée. Pour obtenir des conseils de sélection, consultez la rubrique Sélectionner une région, une étendue de déploiement et un endpoint.
- Téléchargez la dernière version du SDK Client AOQ comme décrit dans la rubrique Téléchargement du SDK.
- Configurez un AppServer selon les Étapes d’authentification AOQ de Qwen-Omni-Realtime. Avant chaque nouvelle connexion, le client doit obtenir de nouvelles informations de connexion auprès d’AppServer.
Importer le SDK
Importez le SDK correspondant à votre plateforme de développement. L'implémentation cliente utilise Swift pour iOS. Les autres plateformes proposent les mêmes interfaces et le même flux d'événements. Ce tutoriel utilise des flux audio PCM. L'encodage Opus est fourni par un plugin. Importez le plugin Opus si la liaison montante utilise Opus.
- Android
- iOS
- HarmonyOS
- Linux (Python)
-
Placez
AoqClientSdk-release.aardansapp/libs, puis configurez la dépendance et les ABI prises en charge par le SDK dansapp/build.gradle: -
Déclarez les permissions suivantes dans
AndroidManifest.xml: -
Demandez les permissions
RECORD_AUDIOetCAMERAau moment de l'exécution avant d'utiliser les périphériques correspondants.
Flux d'implémentation
- Le serveur d'application obtient les paramètres de connexion AOQ pour qwen3,5-omni-plus-realtime à partir de l'URL du jeton Realtime.
- Le client crée le moteur et configure les codecs audio et les pistes. Il configure également la piste vidéo si une compréhension visuelle continue est requise.
- Le client démarre la capture et la lecture locales, désactive l'envoi sur la piste audio par défaut, se connecte à AOQ et envoie
session.update. - Une fois
session.updatedreçu, l'optioncontinuous-videoactive la piste vidéo. La piste audio reste désactivée jusqu'à ce que l'utilisateur appuie sur le bouton de parole. - Lorsque l'utilisateur appuie sur le bouton, le client active la piste audio. Au relâchement, il désactive la piste audio, envoie éventuellement une image, puis envoie
input_audio_buffer.commitetresponse.create. - Après réception de
response.done, un nouveau tour peut commencer. Pour terminer, arrêtez les périphériques, déconnectez-vous et détruisez le moteur.
- Piste vidéo continue
- Envoyer une image via la piste de données
session.updated. Le modèle voit continuellement les dernières images. Chaque tour vocal nécessite uniquement la validation de l'audio et la demande de réponse.
Obtenir un jeton depuis le serveur d'application
Définissez la variable DASHSCOPE_API_KEY sur le serveur d'application et envoyez la requête à l'endpoint de la région sélectionnée. Le paramètre clientIp correspond à l'adresse IP publique réelle du client. Bien que ce champ soit facultatif, sa spécification aide le service à allouer un endpoint de relais approprié.
Champ de réponse | Champ SDK |
aoqTokenForClient | AoqConnectConfig.token |
sid | AoqConnectConfig.sid |
clientRelayCertFingerprint | AoqConnectConfig.certFingerprint |
clientRelayEndpoints | AoqConnectConfig.relayEndpoints |
extraInfo.workspaceIdHash | AoqConnectConfig.workspaceIdHash |
Implémenter le client iOS
Une fois que le client a obtenu AoqConnectConfig depuis le serveur d'application, suivez ces étapes pour mettre en œuvre des conversations vocales push-to-talk sur iOS.
1. Créer le moteur et enregistrer les callbacks
Créez le singleton AOQ engine et enregistrez l'objet application en tant que destinataire des callbacks. Gérez les états de connexion, les événements serveur, les erreurs et les avertissements dans les callbacks.
2. Démarrer les périphériques audio et vidéo
Initialisez la capture et la lecture audio. Démarrez la caméra uniquement pour l'option continuous-video. Obtenez les autorisations microphone et caméra avant d'appeler ces méthodes.
3. Configurer les codecs et les tracks
Configurez les codecs audio pour le modèle sélectionné et le format audio de l'application, puis sélectionnez les tracks pour l'option image-input. Les valeurs audio et vidéo suivantes sont données à titre d'exemple. Ajustez-les selon les exigences du modèle et le scénario d'application. Désactivez l'envoi Audio-track avant l'établissement de la connexion.
- Track Continuous Video
- Envoyer une image via la track Data
4. Configurer une session Manual
Une fois la connexion établie, appelez sendDataMsg pour envoyer un événement session.update. Définissez turn_detection sur null et sélectionnez la voix, les instructions et les modalités de sortie pour votre application. Maintenez la cohérence des paramètres audio de l'exemple avec les paramètres codec du SDK. Pour tous les champs, consultez Événements client.
5. Attendre la configuration de la session
Gérez l'événement session.updated dans le callback onDataMsg. N'envoyez aucun média tant que cet événement n'est pas reçu. Pour l'option continuous-video, appelez enableSendMediaStream pour activer la track Video à ce stade, mais maintenez la track Audio désactivée afin que l'audio précédant l'appui sur le bouton n'entre pas dans le tampon d'entrée.
6. Implémenter l'interaction push-to-talk
Lorsque le bouton est enfoncé, appelez enableSendMediaStream pour activer la track Audio. Au relâchement, appelez enableSendMediaStream pour désactiver la track Audio, assurez-vous que le turn contient de l'audio, envoyez éventuellement une image, puis appelez sendDataMsg pour envoyer input_audio_buffer.commit suivi de response.create.
7. Sélectionnez une option d'entrée d'image
La compréhension visuelle continue et les questions ponctuelles sur des images utilisent des configurations de piste et des comportements d'envoi différents. Sélectionnez une option en fonction de la bande passante, de la consommation d'énergie et de la conception de l'interaction.
- Continuous Video track
- Send a single image over the Data track
input_image_buffer.append.8. Déconnectez et détruisez le moteur
Lorsque la session se termine, déconnectez et détruisez le moteur. Les méthodes disconnect ou destroy ferment automatiquement les périphériques multimédias ; il est donc inutile d'appeler séparément les méthodes d'arrêt. AoqClientEngine est un singleton et ne peut être recréé tant que destroy n'a pas été appelé.
Exemple complet
La classe suivante accepte un objet AoqConnectConfig mappé à partir de la réponse du jeton du serveur d'application. En production, ajoutez la gestion de l'état de l'interface utilisateur, des permissions, de la récupération d'erreurs et de la compression d'image.
Exécution et vérification
Effectuez un tour push-to-talk audio seul, puis un tour incluant une image. Résultats attendus :
- La piste audio est désactivée avant l'appui sur le bouton et envoie l'audio en continu tant que le bouton est maintenu enfoncé.
- Après le relâchement, les événements
input_audio_buffer.committed,response.createdetresponse.donesont reçus séquentiellement, et l'audio généré par le modèle est lu via la piste audio abonnée. - Avec l'option image unique, le modèle répond en utilisant l'image et l'audio du tour. Avec la vidéo continue, il utilise les dernières trames vidéo.
Points importants
- AOQ transporte l'audio via la piste Audio. N'envoyez pas également
input_audio_buffer.append. input_audio_buffer.commitvalide uniquement le tour et ne déclenche pas de réponse du modèle. Envoyez ensuiteresponse.create.- Ne validez pas un tampon audio vide. Le service renvoie une erreur.
- N'activez pas l'envoi multimédia avant
session.updated. En mode manuel, n'activez pas la piste Audio avant que l'utilisateur n'appuie sur le bouton.
Informations connexes
Pour tous les paramètres, champs d'événement et interfaces destinés aux autres plateformes, consultez :
- Obtenir et configurer une clé API
- Sélectionner une région, une étendue de déploiement et un endpoint
- Présentation du SDK client AOQ
- Téléchargement du SDK
- Qwen-Omni-Realtime Connexion AOQ
- Guide d'utilisation Qwen-Omni-Realtime
- Créer des conversations en temps réel en mode VAD via AOQ
- Événements client
- Événements serveur
