O Qwen-Omni-Realtime pode combinar fala e contexto visual em conversas em tempo real. Os modelos aceitam texto, áudio em streaming e entrada visual, e podem retornar texto e áudio.
Os modelos
Para orientações gerais, consulte Como escolher um método de acesso à Realtime API. Consulte as referências de acesso e de eventos para verificar as entradas, saídas e os campos de eventos disponíveis para seu modelo.
qwen3.8-omni-flash-realtime, qwen3.5-omni-plus-realtime e qwen3.5-omni-flash-realtime oferecem suporte a WebSocket, WebRTC e AOQ. Para a documentação de WebSocket do modelo anterior qwen3-omni-flash-realtime-2025-09-15, consulte SDK para Python e Eventos do cliente.
Seleção de protocolo
Para orientações gerais, consulte Como escolher um método de acesso à Realtime API. Consulte as referências de acesso e de eventos para verificar as entradas, saídas e os campos de eventos disponíveis para seu modelo.
- Ao usar WebSocket, envie pelo menos um evento de entrada de áudio antes de enviar imagens ou quadros extraídos de um vídeo em eventos de imagem. Os navegadores oferecem suporte nativo a WebSocket. Siga os requisitos de autenticação do modelo e mantenha as chaves de API de longa duração no servidor.
- Com WebRTC, use trilhas de áudio para a fala, uma trilha de vídeo para enviar a entrada visual e o DataChannel para os eventos do modelo. A detecção de atividade de voz (VAD) é o único modo de identificar os turnos de fala nesse método.
- Com AOQ (AI over QUIC), use o SDK cliente para enviar e receber áudio e para enviar a entrada visual. Use uma trilha Data separada para trocar eventos do modelo. O SDK cliente está disponível para Android, iOS, HarmonyOS, Windows, macOS, Electron e Linux. O guia de acesso por AOQ traz os links para download do SDK e para a referência da API de cada plataforma.