Skip to main content

Multimodal en tiempo real

Este directorio proporciona las referencias de la API de Qwen-Omni-Realtime. qwen3.8-omni-flash-realtime, qwen3.5-omni-plus-realtime y qwen3.5-omni-flash-realtime admiten WebSocket, WebRTC y AOQ. Para la documentación de WebSocket del modelo anterior qwen3-omni-flash-realtime-2025-09-15, consulte SDK de Python y Eventos del cliente. La aplicabilidad de las modalidades de medios y los campos de eventos se determina en sus respectivas referencias de conexión y eventos.

Selección del protocolo

La siguiente comparación describe las características generales de los protocolos. Los tipos de datos de la tabla indican lo que cada protocolo puede transmitir; las entradas y salidas que admite cada modelo dependen de la documentación de conexión. La dificultad de integración, el rendimiento en redes inestables y la velocidad de conexión son referencias cualitativas; la experiencia real depende de las condiciones de red, los dispositivos y la implementación.
Dimensión Conexión mediante WebSocket Conexión mediante WebRTC Conexión mediante AOQ
Casos de usoIntegración del lado del servidor y validación rápida de prototiposInteracción del lado del navegador y llamadas tradicionales de audio y videoInteracción multimodal de IA en tiempo real, escenarios de red inestable y transmisión de datos híbridos
Compatibilidad con navegadoresCompatibilidad nativaCompatibilidad nativaNo compatible
Esfuerzo de integraciónMuy bajaModeradaBaja
Resiliencia ante redes inestablesMalaBuenaExcelente
Datos que transmite el protocoloTexto, audio, imagenAudio/video, textoAudio/video, texto
Velocidad de conexiónLentaLentaRápida
Cancelación de eco y reducción de ruidoSe maneja en el clienteIntegradoIntegrado
Adaptación a escenarios de IABásico, adecuado para escenarios de solo texto o con pocos requisitos de tiempo realDiseño tradicional; los escenarios de IA requieren adaptación adicionalAdaptado de forma nativa a las características de los datos multimodales de IA
Plataformas del clienteSe admiten entornos compatibles con WebSocketNavegadores y dispositivos móvilesAndroid, iOS y HarmonyOS; las demás versiones del SDK se enumeran en la página de conexión
Los navegadores admiten WebSocket de forma nativa, pero el acceso al modelo debe cumplir los requisitos de autenticación. No almacene API Keys de larga duración en navegadores ni dispositivos móviles. AOQ (AI over QUIC) Client SDK proporciona SDK para Android, iOS, HarmonyOS, Windows, macOS, Electron y Linux. Para consultar las descargas y las API de cada plataforma, consulte Conexión mediante AOQ.

Eventos y otras referencias

Voces

Los tres protocolos se pueden usar con Token Plan. Los modelos y las regiones disponibles dependen de las especificaciones de Token Plan Personal Edition y Team Edition.