Skip to main content

Visão geral da Realtime API

Conheça os modelos compatíveis da Realtime API, os métodos de acesso, a autenticação e os tutoriais e demos disponíveis.

A Realtime API oferece suporte a interação multimodal em tempo real, reconhecimento de fala, síntese de fala, conversa por voz e tradução de áudio e vídeo. Verifique os métodos de acesso compatíveis com o modelo desejado, escolha um método para sua aplicação e abra a documentação de acesso correspondente.

Modelos e aplicações suportados

A tabela a seguir apresenta o suporte de cada protocolo aos diferentes modelos e aplicações:
Tipo de modelo/aplicaçãoModeloWebSocketWebRTCAOQ
Interação multimodal em tempo realqwen3.8-omni-flash-realtime, qwen3.5-omni-plus-realtime, qwen3.5-omni-flash-realtimeCompatívelCompatívelCompatível
Tradução de fala em tempo realModelos da série Qwen-Livetranslate-RealtimeCompatívelCompatívelCompatível
Reconhecimento de fala em tempo realqwen-audio-3.1-asr-flash-message, qwen-audio-3.1-asr-flash-streaming, qwen-audio-3.0-asr-flash-streaming, modelos da série Fun-ASR-RealtimeQwen-Audio-ASR-MessageQwen-Audio-ASR-StreamingFun-ASR-RealtimeSem suporteQwen-Audio-ASR-MessageQwen-Audio-ASR-StreamingFun-ASR-Realtime
Síntese de fala em tempo realqwen-audio-3.1-tts-plus, qwen-audio-3.1-tts-flash, qwen-audio-3.0-tts-flash, qwen-audio-3.0-tts-plusCompatívelSem suporteCompatível
Modelos da série CosyVoiceCompatívelSem suporteCompatível
Conversa por voz em tempo realqwen-audio-3.1-realtime-plus, qwen-audio-3.1-realtime-flash, qwen-audio-3.0-realtime-plus, qwen-audio-3.0-realtime-flashCompatívelCompatívelCompatível
Para obter informações como nomes de modelos, janelas de contexto, preços e versões de snapshot, consulte o console do Alibaba Cloud Model Studio. Para limites de taxa, consulte Rate limiting.

Escolher um método de acesso

A Realtime API oferece suporte a WebSocket, WebRTC e AOQ (AI over QUIC). Os métodos de acesso disponíveis e os recursos de entrada e saída dependem do modelo selecionado. Consulte a documentação de acesso desse modelo.
DimensãoWebSocketWebRTCAOQ
Casos de usoInteração de voz e multimodal em tempo real, integração no lado do servidor, prototipagem rápidaInteração de áudio e vídeo em tempo real no navegador, aplicações com infraestrutura WebRTC existenteAplicações nativas que precisam de otimização para redes instáveis e transmissão coordenada de áudio, vídeo e eventos do modelo
Compatibilidade com navegadoresSuporte nativo; os requisitos de autenticação da API continuam válidosSuporte nativoO SDK do AOQ atual não oferece acesso pelo navegador
Cancelamento de eco e supressão de ruídoFornecido pelos componentes de captura e processamento de áudio usados pelo clienteFornecido pelo navegador ou cliente WebRTC, conforme a plataforma e a configuraçãoDepende da configuração de áudio do SDK do AOQ na plataforma utilizada
Suporte a plataformas clienteTodas as plataformas (qualquer ambiente que suporte WebSocket)Navegadores, clientes móveisDispositivos móveis, desktop e Linux. Para mais detalhes, consulte Downloads do SDK do AOQ.
  • WebSocket: Para interação de voz e multimodal em tempo real, integração no lado do servidor e prototipagem. O DashScope SDK permite implementar rapidamente conversas por voz em tempo real.
  • WebRTC: Para interação de áudio e vídeo em tempo real que exige suporte nativo do navegador ou utiliza infraestrutura WebRTC existente.
  • AOQ: Baseado em QUIC, o AOQ é otimizado para interações em tempo real em redes instáveis. Ele transmite áudio, vídeo e eventos do modelo em faixas separadas e é adequado para aplicações nativas que precisam integrar captura de mídia, codificação, decodificação e reprodução.

Preparar o acesso

Confirme a região e o endpoint e obtenha a chave de API da região e do workspace.
No primeiro uso, siga as instruções do console para ativar o serviço. Copie e armazene a chave de API com segurança imediatamente após criá-la. Gerencie-a por variáveis de ambiente; não a incorpore ao código do cliente nem a envie para um repositório de código.
Para AOQ, baixe o SDK do AOQ da plataforma cliente.

Métodos de autenticação

A Realtime API usa chaves de API para autenticação. Independentemente do protocolo (AOQ, WebRTC ou WebSocket), você deve passar um bearer token no cabeçalho de requisição HTTP Authorization. WebRTC e WebSocket autenticam durante a configuração da conexão. Com AOQ, o AppServer autentica com uma chave de API ao solicitar credenciais de conexão, e o cliente se conecta com um token temporário. A transmissão de dados em uma conexão estabelecida não exige nova autenticação.

Detalhes da autenticação de conexão

  • WebSocket
  • WebRTC
  • AOQ
O WebSocket autentica a conexão usando uma API Key nos cabeçalhos da requisição HTTP. Consulte os requisitos específicos na documentação de acesso do modelo selecionado.

Recursos de desenvolvimento

Tutoriais de WebRTC

Tutoriais de AOQ e Demo

Use o Demo Android para experimentar o acesso por AOQ. Leia o código QR para baixar o APK, instale-o e configure a chave de API e workspaceId. Depois, experimente o subconjunto de modelos compatíveis com o Demo.
Código QR para baixar o APK do Demo Android do AOQ