Skip to main content

Eventos do cliente do Qwen-LiveTranslate-Realtime

Este tópico descreve os eventos de cliente da API de tradução de áudio e vídeo em tempo real Qwen.

Referência: Real-time audio and video translation - Qwen .
Esta página é a referência de eventos do Qwen-LiveTranslate-Realtime. As definições dos eventos são baseadas no acesso por WebSocket. O AOQ e o WebRTC usam seus respectivos canais de dados para enviar e receber eventos do modelo e trilhas de mídia para transmitir mídia. Primeiro, leia Acesso por WebSocket, Acesso por WebRTC ou Acesso por AOQ.
Para usar os SDKs de WebSocket, consulte SDK para Python e SDK para Java. Para selecionar um modelo e um protocolo, consulte Visão geral.

session.update

Envie este evento após estabelecer uma conexão WebSocket para atualizar a configuração padrão da sessão. O servidor valida os parâmetros e retorna um erro (se inválidos) ou a configuração atualizada (se válidos).
typestring(Obrigatório)Tipo de evento. Deve ser definido como session.update.
  • qwen3.8-livetranslate-flash-realtime
  • qwen3.5-livetranslate-flash-realtime
{
  "type": "session.update",
  "session": {
    "output_modalities": [
      "text",
      "audio"
    ],
    "audio": {
      "input": {
        "format": {
          "type": "pcm",
          "sample_rate": 16000
        },
        "turn_detection": {
          "type": "speaker_detection",
          "threshold": 0.5
        }
      }
    },
    "voice": "default",
    "enable_voice_clone": true,
    "voice_clone_options": {
      "frequency": "once"
    },
    "translation": {
      "language": "en",
      "corpus": {
        "phrases": {
          "inteligência artificial": "Artificial Intelligence",
          "aprendizado de máquina": "Machine Learning"
        }
      }
    }
  }
}
sessionobject(Opcional)A configuração da sessão.

Propriedades

output_modalitiesarray (Opcional)Aplica-se a qwen3.8-livetranslate-flash-realtime. Modalidades de saída: ["text"] para somente texto ou ["text", "audio"] para texto e áudio (padrão).audioobject (Opcional)Aplica-se a qwen3.8-livetranslate-flash-realtime. Configuração de áudio.
inputobjectConfiguração do áudio de entrada.
formatobject (Opcional)Formato do áudio de entrada.
typestring (Opcional)Formato de áudio. Valores válidos: pcm (padrão) e opus.sample_rateinteger (Opcional)Taxa de amostragem do áudio de entrada, em Hz. O padrão é 16000.
turn_detectionobject (Opcional)Configuração de detecção de fala.
typestring (Opcional)Valores válidos: speaker_detection (padrão, ativa a separação de falantes em tempo real) e server_vad (detecção de atividade de voz).thresholdnumber (Opcional)No modo speaker_detection, este limiar distingue o silêncio da fala válida. Sons abaixo do limiar são filtrados e não enviados ao modelo. O valor é fixo em 0.5.
modalitiesarray(Opcional)Aplica-se a qwen3.5-livetranslate-flash-realtime.Modalidades de saída. Valores válidos:
  • ["text"] Gera saída apenas em texto.
  • ["text","audio"] (Padrão) Gera saída em texto e áudio.
voicestring(Opcional)Voz para o áudio gerado. Quando a clonagem de voz está desativada, defina este campo como uma voz predefinida do sistema. Valores válidos: Vozes compatíveis. Valor padrão: Tina para Qwen3.5-LiveTranslate-Flash-Realtime ou Cherry para Qwen3-LiveTranslate-Flash-Realtime.A voz padrão de qwen3.8-livetranslate-flash-realtime é Tina.
Quando enable_voice_clone é true, o valor de voice depende da configuração de frequency. Se frequency for once ou always, defina-o como default. Se frequency for never, defina-o como o ID da voz que você clonou anteriormente. O uso de uma voz predefinida do sistema neste caso causa um erro no servidor.
enable_voice_cloneboolean(Opcional)Define se a clonagem de voz será ativada. O padrão é false. Quando ativada, permite clonar a voz de entrada em tempo real durante a tradução ou usar uma voz clonada previamente. Nesse caso, voice deixa de usar uma voz predefinida do sistema. Defina-o como default ou como o ID de uma voz clonada previamente pela API de clonagem de voz.voice_clone_optionsobject(Opcional)Opções de controle da clonagem de voz. Têm efeito somente quando enable_voice_clone é true.

Propriedades

voice_clone_options.frequencystring(Opcional)Frequência da clonagem de voz. Valores válidos:
  • never Desativa a clonagem de voz no servidor e utiliza uma voz que você clonou previamente. Defina voice com o ID da sua voz clonada.
  • once Clona a voz uma única vez no início da sessão e a reutiliza para todas as saídas subsequentes. Ideal para cenários com um único falante. Defina voice como default.
  • always Reclona a voz em tempo real antes de cada saída, adaptando-se dinamicamente ao áudio de entrada. Recomendado para cenários com múltiplos falantes. Defina voice como default.
sample_rateinteger(Opcional)Aplica-se a qwen3.5-livetranslate-flash-realtime.Taxa de amostragem do áudio de entrada, em Hz. Valores válidos:
  • 8000
  • 16000 (Padrão)
input_audio_transcriptionobject(Opcional)Aplica-se a qwen3.5-livetranslate-flash-realtime.Configuração para o áudio de entrada.

Propriedades

modelstring(Opcional)Modelo de reconhecimento de fala. Se configurado, o servidor retorna tanto o resultado do reconhecimento (texto original no idioma de origem) quanto a tradução por meio dos eventos conversation.item.input_audio_transcription.text e conversation.item.input_audio_transcription.completed.Valor válido: qwen3-asr-flash-realtime.languagestring(Opcional)Idioma de origem para tradução. Valores válidos: Idiomas compatíveis. Caso não seja especificado, o modelo detecta automaticamente o idioma de origem.
input_audio_formatstring(Opcional)Aplica-se a qwen3.5-livetranslate-flash-realtime.Formato do áudio de entrada. Valores válidos:
  • pcm (Padrão) Dados de áudio brutos não compactados.
  • opus Codec de áudio com perdas e suporte a baixa latência, adequado para cenários de VoIP.
output_audio_formatstring(Opcional)Aplica-se a qwen3.5-livetranslate-flash-realtime.Formato do áudio de saída. Atualmente, este parâmetro só pode ser definido como pcm.turn_detectionobject(Opcional)Aplica-se a qwen3.5-livetranslate-flash-realtime.Configuração de Detecção de Atividade de Voz (VAD), usada para controlar como o início e o fim da fala são detectados:
  • Definido como um objeto de configuração (padrão): Ativa o modo VAD. O servidor detecta automaticamente o início e o fim da fala, confirma o buffer de áudio e aciona as respostas de tradução. O cliente não precisa enviar eventos input_audio_buffer.commit.
  • Definido como null: Ativa o modo Manual. O cliente confirma manualmente o buffer de áudio enviando eventos input_audio_buffer.commit. O servidor começa a gerar respostas de tradução automaticamente ao receber a confirmação.

Propriedades

typestring(Opcional)Tipo de VAD. Deve ser definido como server_vad.thresholdfloat(Opcional)Sensibilidade da detecção de VAD. Um valor menor facilita o reconhecimento de sons fracos (incluindo ruído de fundo) como fala; um valor maior exige uma fala mais clara e alta para acionar a detecção.Intervalo de valores: [-1,0, 1,0]. Valor padrão: 0,2.silence_duration_msinteger(Opcional)Duração mínima de silêncio (em milissegundos) necessária após o término da fala. Ao ultrapassar essa duração, o servidor determina que a fala terminou, confirma automaticamente o buffer de áudio e aciona uma resposta de tradução.Intervalo de valores: [200, 6000]. Valor padrão: 1000.
translationobject(Opcional)Configuração de tradução.

Propriedades

languagestring(Opcional)Idioma de destino para tradução. Valores válidos: Idiomas compatíveis. Valor padrão: en.corpusobject(Opcional)Configuração de palavras-chave para melhorar a precisão da tradução de termos específicos.

Propriedades

phrasesobject(Opcional)Mapeamento de palavras-chave. A chave é o termo no idioma de origem e o valor é sua tradução no idioma de destino.Exemplo: {"AI": "Artificial Intelligence"}

input_audio_buffer.append

No acesso por WebSocket, adiciona bytes de áudio ao buffer de áudio de entrada. O servidor usa esse buffer para detectar fala e determinar quando confirmá-lo.
typestring(Obrigatório)Tipo de evento. Deve ser definido como input_audio_buffer.append.
{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.append",
    "audio": "xxx"
}
audiostring(Obrigatório)Dados de áudio codificados em Base64.

input_audio_buffer.commit

Confirma o buffer de áudio de entrada. Este evento só precisa ser enviado no modo Manual (turn_detection definido como null). No modo VAD, o servidor faz a confirmação automaticamente e o cliente não precisa enviar este evento. Ao receber este evento, o servidor retorna um evento input_audio_buffer.committed como confirmação e começa automaticamente a gerar uma resposta de tradução (nenhum evento adicional é necessário para acionar a resposta). Se o buffer de áudio estiver vazio, o servidor retorna um evento de erro.
typestring(Obrigatório)Tipo de evento. Deve ser definido como input_audio_buffer.commit.
{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.commit"
}

input_audio_buffer.clear

Limpa os dados de áudio não confirmados do buffer de áudio de entrada.
typestring(Obrigatório)Tipo de evento. Deve ser definido como input_audio_buffer.clear.
{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.clear"
}

input_image_buffer.append

No acesso por WebSocket, adiciona dados de imagem ao buffer de imagens. As imagens podem vir de um arquivo local ou ser capturadas em tempo real de um fluxo de vídeo. Limites para entrada de imagem:
  • Formato da imagem: JPG ou JPEG. Resolução recomendada para melhor desempenho: 480p ou 720p (máximo: 1080p).
  • Tamanho máximo da imagem: 500 KB (antes da codificação Base64).
  • Os dados da imagem devem estar codificados em Base64.
  • Frequência máxima: 2 imagens por segundo.
  • Envie pelo menos um evento input_audio_buffer.append antes de enviar input_image_buffer.append.
typestring(Obrigatório)Tipo de evento. Deve ser definido como input_image_buffer.append.
{
    "event_id": "event_xxx",
    "type": "input_image_buffer.append",
    "image": "xxx"
}
imagestring(Obrigatório)Dados de imagem codificados em Base64.

session.finish

Envie este evento para encerrar a sessão atual. Respostas do servidor: Após receber o evento session.finished, se a reprodução for necessária, o cliente deve concluir a reprodução local de todo o áudio traduzido restante antes de se desconectar.
typestring(Obrigatório)Tipo de evento. Deve ser definido como session.finish.
{
    "event_id": "event_xxx",
    "type": "session.finish"
}