Cette rubrique explique comment se connecter à l'API Realtime depuis un navigateur via WebRTC et JavaScript afin d'établir des appels audio et vidéo en temps réel avec le modèle qwen3.5-omni-plus-realtime.
WebRTC convient particulièrement aux scénarios vocaux à faible latence exécutés dans un navigateur. L'audio transite directement par UDP et bénéficie d'une annulation d'écho ainsi que d'une réduction du bruit intégrées. Seul le mode VAD côté serveur (
server_vad ou semantic_vad) est pris en charge ; le mode manuel n'est pas disponible.Prérequis et remarques
- Configurez une clé API et définissez-la comme variable d'environnement.
- Utilisez un navigateur moderne compatible avec WebRTC (Chrome, Edge, Firefox, Safari, etc.).
- Le navigateur doit disposer de l'autorisation d'accéder au microphone. Pour les appels vidéo, l'accès à la caméra est également requis.
- En raison des restrictions CORS, les navigateurs ne peuvent pas envoyer directement de requêtes d'échange SDP au serveur. Dans la démo, exécutez la commande curl dans un terminal pour établir la connexion. En production, cette limitation ne s'applique pas lorsque la requête passe par un proxy AppServer.
Mise en œuvre des appels audio/vidéo IA
Le diagramme de séquence suivant illustre le flux complet d'un appel audio/vidéo WebRTC :
Diagramme de séquence d'un appel audio/vidéo WebRTC

Création de RTCPeerConnection
Appelez le constructeur natif RTCPeerConnection du navigateur pour instancier une connexion. Aucune configuration de serveurs ICE n'est nécessaire, car le serveur gère lui-même la traversée NAT.
Obtention des flux médias locaux
Un unique appel à getUserMedia permet de demander l'audio (obligatoire) et la vidéo (facultative). L'activation de la vidéo dépend de la case à cocher Enable video sélectionnée par l'utilisateur.
L'audio et la vidéo sont capturés lors d'un unique appel à
getUserMedia, et non séparément. La prévisualisation vidéo locale s'effectue à 30 ips pour garantir sa fluidité, tandis que le taux de trames envoyé au serveur est réduit à 2 ips via Canvas.Ajout des pistes média à PeerConnection
Ajout de la piste audio :
session.created :
Cette opération équivaut à
enableSendMediaStream(false) dans d'autres SDK. Ne rétablissez surtout pas l'envoi avant la réception de session.created.Création du DataChannel
Créez un DataChannel nommé oai-events pour échanger les événements de contrôle de session avec le serveur IA.
Génération de l'Offer SDP
Appelez createOffer() puis définissez la description locale. Patientez jusqu'à la fin de la collecte ICE avant d'utiliser l'Offer SDP complète.
Attendez que
iceGatheringState === "complete" avant d'exploiter le SDP. À ce stade, celui-ci contient toutes les informations relatives aux candidats ICE.Échange SDP (via commande curl ou AppServer)
Transmettez l'Offer SDP au serveur pour obtenir l'Answer SDP en retour. Dans la démo, cette étape s'effectue au moyen d'une commande curl :
En production, faites passer cette étape par un proxy AppServer afin d'éviter d'exposer la clé API dans le code front-end.
{endpoint} correspond à l'endpoint de l'API Realtime.Définition de l'Answer SDP pour établir la connexion
Définissez l'Answer SDP renvoyée par le serveur comme description distante afin d'établir la connexion WebRTC. Normalisez au préalable le format du SDP :
La spécification SDP impose des fins de ligne
\r\n. La fonction normalizeSdpForSetRemote assure la compatibilité des fins de ligne provenant de sources diverses.Configuration de la session IA (session.update)
Une fois la connexion établie, le serveur envoie un événement session.created via le DataChannel. Dès sa réception :
- Levez le blocage média pour reprendre l'envoi audio/vidéo.
- Envoyez
session.updatepour configurer les paramètres de la session.
Le paramètre
turn_detection.type accepte les valeurs server_vad (détection basée sur le volume) ou semantic_vad (détection sémantique). Le mode VAD manuel n'est pas pris en charge avec WebRTC.Conversation en temps réel
Une fois la connexion active, les flux audio et vidéo transitent en temps réel via RTP. Les réponses vocales de l'IA distante arrivent par le callback ontrack et sont lues immédiatement. MediaRecorder sert à enregistrer ces réponses en vue de leur téléchargement.
Réception et enregistrement de l'audio distant :
session.created, response.audio_transcript.done, etc.) s'affichent dans le panneau d'événements. Vous pouvez les développer pour consulter le JSON complet :
Fin de session et libération des ressources
Libérez toutes les ressources dans l'ordre approprié lors de la fin d'un appel. Le respect de cette séquence est primordial :
Une fois la session terminée, utilisez le bouton Download remote audio pour sauvegarder l'enregistrement de la réponse IA au format WebM.
Remarques importantes
- Le blocage média doit être levé après session.created : Toute donnée média envoyée avant que le serveur n'émette
session.createdsera ignorée. Recourez àreplaceTrack(null)pour bloquer intégralement l'envoi jusque-là. - La réduction de la fréquence vidéo repose sur Canvas : La prévisualisation locale tourne à 30 ips, mais seuls 2 ips sont transmis au serveur grâce à
captureStream(2). Cette approche préserve la bande passante. - Normalisation du format SDP : Vérifiez que les fins de ligne sont bien
\r\navant d'appliquer l'Answer SDP, faute de quoisetRemoteDescriptionrisque d'échouer. - La vidéo reste optionnelle : Si l'utilisateur ne l'active pas, seule l'autorisation du microphone est demandée ; aucune invite concernant la caméra n'apparaît.
- L'audio distant est enregistré automatiquement : MediaRecorder capture le flux audio de réponse de l'IA. Un fichier WebM devient téléchargeable à la fin de la session.
- WebRTC ne prend en charge que le VAD côté serveur : Le mode
manualn'est pas disponible. Optez pourserver_vad(détection par volume) ousemantic_vad(détection sémantique).
Téléchargement de la démo complète
Téléchargez le code exemple complet : webrtc_demo.html.
Documents associés
- API WebRTC (MDN)
- RTCPeerConnection (MDN)
- Événements client du modèle qwen3.5-omni-plus-realtime : Événements client
- Événements serveur du modèle qwen3.5-omni-plus-realtime : Événements serveur
- Accéder à un modèle ou une application via WebRTC