Skip to main content

Multimodal en temps réel

Qwen-Omni-Realtime peut combiner la parole et le contexte visuel dans une conversation en temps réel. Les modèles acceptent du texte, de l’audio en streaming et des entrées visuelles. Ils peuvent renvoyer du texte et de l’audio. Les modèles qwen3.8-omni-flash-realtime, qwen3.5-omni-plus-realtime et qwen3.5-omni-flash-realtime prennent en charge WebSocket, WebRTC et AOQ. Pour la documentation WebSocket de l’ancien modèle qwen3-omni-flash-realtime-2025-09-15, consultez SDK Python et Événements client.

Choix du protocole

Pour des conseils généraux, consultez Choisir un mode de connexion à l’API Realtime. Les références de connexion et d’événements indiquent les entrées, les sorties et les champs d’événements disponibles pour votre modèle.
  • Avec WebSocket, envoyez au moins un événement d’entrée audio avant d’envoyer des images ou des images extraites d’une vidéo dans des événements d’image. Les navigateurs prennent en charge WebSocket nativement. Respectez les exigences d’authentification du modèle et conservez les clés d’API de longue durée sur le serveur.
  • Avec WebRTC, utilisez des pistes audio pour la parole, une piste vidéo pour transmettre les entrées visuelles et le DataChannel pour les événements du modèle. Les tours de parole sont toujours délimités automatiquement par détection de l’activité vocale (VAD).
  • Avec AOQ (AI over QUIC), utilisez le SDK client pour envoyer et recevoir l’audio et transmettre les entrées visuelles. Échangez les événements du modèle sur une piste Data distincte. Le SDK client est disponible pour Android, iOS, HarmonyOS, Windows, macOS, Electron et Linux. Le guide de connexion AOQ donne accès aux téléchargements du SDK et aux références de l’API pour chaque plateforme.
Les trois protocoles peuvent être utilisés avec Token Plan. Les modèles et régions disponibles dépendent des spécifications de Token Plan Personal Edition et de Team Edition.

Événements et autres références

Voix