Skip to main content

Présentation de Realtime API

Découvrez les modèles compatibles de Realtime API, les méthodes de connexion, l’authentification ainsi que les tutoriels et démos disponibles.

Realtime API prend en charge l’interaction multimodale, la reconnaissance vocale, la synthèse vocale, la conversation vocale et la traduction audio et vidéo en temps réel. Vérifiez les méthodes de connexion disponibles pour le modèle souhaité, choisissez celle qui convient à votre application, puis ouvrez la documentation correspondante.

Modèles et protocoles pris en charge

Le tableau suivant présente les protocoles pris en charge par chaque modèle et application. Cliquez sur « Pris en charge » pour ouvrir la documentation de connexion correspondante.
Type de modèle/applicationModèleWebSocketWebRTCAOQ
Multimodal en temps réelqwen3.8-omni-flash-realtime, qwen3.5-omni-plus-realtime, qwen3.5-omni-flash-realtimePris en chargePris en chargePris en charge
Synthèse vocale en temps réelqwen-audio-3.1-tts-plus, qwen-audio-3.1-tts-flash, qwen-audio-3.0-tts-flash, qwen-audio-3.0-tts-plusPris en chargeNon pris en chargePris en charge
Séries de modèles CosyVoicePris en chargeNon pris en chargePris en charge
Reconnaissance vocale en temps réelqwen-audio-3.1-asr-flash-message, qwen-audio-3.1-asr-flash-streaming, qwen-audio-3.0-asr-flash-streaming, modèles de la série Fun-ASR-RealtimeQwen-Audio-ASR-MessageQwen-Audio-ASR-StreamingFun-ASR-RealtimeNon pris en chargeQwen-Audio-ASR-MessageQwen-Audio-ASR-StreamingFun-ASR-Realtime
Conversation vocale en temps réelqwen-audio-3.1-realtime-plus, qwen-audio-3.1-realtime-flash, qwen-audio-3.0-realtime-plus, qwen-audio-3.0-realtime-flashPris en chargePris en chargePris en charge
Traduction vocale en temps réelModèles de la série Qwen-Livetranslate-RealtimePris en chargePris en chargePris en charge
Pour les noms de modèles, les fenêtres de contexte, les prix et les versions figées, consultez la console Alibaba Cloud Model Studio. Pour les limites de débit, consultez Limitation du débit.

Choisir une méthode de connexion

Realtime API prend en charge WebSocket, WebRTC et AOQ (AI over QUIC). Les méthodes de connexion disponibles et les capacités d’entrée et de sortie dépendent du modèle sélectionné. Consultez sa documentation de connexion.
DimensionWebSocketWebRTCAOQ
Cas d’utilisationInteraction vocale et multimodale en temps réel, intégration côté serveur, prototypage rapideInteraction audio et vidéo en temps réel dans le navigateur, applications disposant d’une infrastructure WebRTCApplications natives nécessitant une optimisation pour les réseaux dégradés et une transmission coordonnée de l’audio, de la vidéo et des événements du modèle
Compatibilité avec les navigateursPris en charge nativement ; les exigences d’authentification de l’API restent applicablesPris en charge nativementLe SDK AOQ actuel ne propose pas de connexion depuis le navigateur
Annulation de l’écho et réduction du bruitFourni par les composants de capture et de traitement audio utilisés par le clientFourni par le navigateur ou le client WebRTC, selon la plateforme et la configurationDépend de la configuration audio du SDK AOQ sur la plateforme utilisée
Plateformes clientes prises en chargeToutes les plateformes, dans les environnements prenant en charge WebSocketNavigateurs, clients mobilesMobile, ordinateur de bureau et Linux. Pour plus d’informations, consultez Téléchargements du SDK AOQ.
Token PlanPris en chargePris en chargePris en charge
  • WebSocket : pour l’interaction vocale et multimodale en temps réel, l’intégration côté serveur et le prototypage. Le SDK DashScope permet de mettre rapidement en place des conversations vocales en temps réel.
  • WebRTC : pour l’interaction audio et vidéo en temps réel nécessitant la prise en charge native du navigateur ou utilisant une infrastructure WebRTC existante.
  • AOQ : Basé sur QUIC, AOQ est optimisé pour les interactions en temps réel dans des conditions réseau dégradées. Il transmet l’audio, la vidéo et les événements du modèle sur des pistes distinctes et convient aux applications natives nécessitant l’intégration de la capture multimédia, de l’encodage, du décodage et de la lecture.

Préparer la connexion

Vérifiez la région et le point de terminaison, puis obtenez l’API Key de cette région et de cet espace de travail.
Lors de la première utilisation, suivez les indications de la console pour activer le service. Copiez et conservez la clé API en lieu sûr immédiatement après sa création. Gérez-la via des variables d’environnement ; ne l’intégrez pas dans le code client et ne la validez pas dans un dépôt de code.
Pour AOQ, téléchargez le SDK AOQ de la plateforme cliente.

Méthodes d’authentification

La Realtime API utilise des clés API pour l'authentification. Que vous vous connectiez via AOQ, WebRTC ou WebSocket, vous devez transmettre un jeton porteur (bearer token) dans l'en-tête de requête HTTP Authorization. WebRTC et WebSocket effectuent l’authentification lors de l’établissement de la connexion. Avec AOQ, l’AppServer s’authentifie avec une clé API lorsqu’il demande les identifiants de connexion, puis le client se connecte avec un jeton temporaire. La transmission de données sur une connexion établie ne nécessite pas de nouvelle authentification.

Détails de l'authentification de connexion

  • WebSocket
  • WebRTC
  • AOQ
WebSocket authentifie la connexion au moyen d’une API Key dans les en-têtes de la requête HTTP. Consultez la documentation de connexion du modèle sélectionné pour connaître les exigences spécifiques.

Ressources de développement

Tutoriels WebRTC

Tutoriels AOQ et démo

Utilisez la démo Android pour essayer la connexion AOQ. Scannez le code QR pour télécharger l’APK, puis installez-le et configurez l’API Key et workspaceId. Vous pourrez alors essayer les modèles pris en charge par la démo, qui constituent un sous-ensemble des modèles.
Code QR de téléchargement de l’APK de la démo Android AOQ