Este tópico descreve os eventos de cliente da API de tradução de áudio e vídeo em tempo real Qwen.
Referência: Real-time audio and video translation - Qwen .
Esta página é a referência de eventos do Qwen-LiveTranslate-Realtime. As definições dos eventos são baseadas no acesso por WebSocket. O AOQ e o WebRTC usam seus respectivos canais de dados para enviar e receber eventos do modelo e trilhas de mídia para transmitir mídia. Primeiro, leia Acesso por WebSocket, Acesso por WebRTC ou Acesso por AOQ.
session.update
Envie este evento após estabelecer uma conexão WebSocket para atualizar a configuração padrão da sessão. O servidor valida os parâmetros e retorna um erro (se inválidos) ou a configuração atualizada (se válidos).
typestring(Obrigatório)Tipo de evento. Deve ser definido como session.update. |
|
sessionobject(Opcional)A configuração da sessão.
Propriedades output_modalities array (Opcional)Aplica-se a qwen3.8-livetranslate-flash-realtime. Modalidades de saída: ["text"] para somente texto ou ["text", "audio"] para texto e áudio (padrão).audioobject (Opcional)Aplica-se a qwen3.8-livetranslate-flash-realtime. Configuração de áudio.
Propriedades input objectConfiguração do áudio de entrada.
Propriedades format object (Opcional)Formato do áudio de entrada.
Propriedades type string (Opcional)Formato de áudio. Valores válidos: pcm (padrão) e opus.sample_rateinteger (Opcional)Taxa de amostragem do áudio de entrada, em Hz. O padrão é 16000.object (Opcional)Configuração de detecção de fala.
Propriedades type string (Opcional)Valores válidos: speaker_detection (padrão, ativa a separação de falantes em tempo real) e server_vad (detecção de atividade de voz).thresholdnumber (Opcional)No modo speaker_detection, este limiar distingue o silêncio da fala válida. Sons abaixo do limiar são filtrados e não enviados ao modelo. O valor é fixo em 0.5.array(Opcional)Aplica-se a qwen3.5-livetranslate-flash-realtime.Modalidades de saída. Valores válidos:
string(Opcional)Voz para o áudio gerado. Quando a clonagem de voz está desativada, defina este campo como uma voz predefinida do sistema. Valores válidos: Vozes compatíveis. Valor padrão: Tina para Qwen3.5-LiveTranslate-Flash-Realtime ou Cherry para Qwen3-LiveTranslate-Flash-Realtime.A voz padrão de qwen3.8-livetranslate-flash-realtime é Tina.Quandoenable_voice_clone boolean(Opcional)Define se a clonagem de voz será ativada. O padrão é false. Quando ativada, permite clonar a voz de entrada em tempo real durante a tradução ou usar uma voz clonada previamente. Nesse caso, voice deixa de usar uma voz predefinida do sistema. Defina-o como default ou como o ID de uma voz clonada previamente pela API de clonagem de voz.voice_clone_optionsobject(Opcional)Opções de controle da clonagem de voz. Têm efeito somente quando enable_voice_clone é true.
Propriedades voice_clone_options.frequency string(Opcional)Frequência da clonagem de voz. Valores válidos:
integer(Opcional)Aplica-se a qwen3.5-livetranslate-flash-realtime.Taxa de amostragem do áudio de entrada, em Hz. Valores válidos:
object(Opcional)Aplica-se a qwen3.5-livetranslate-flash-realtime.Configuração para o áudio de entrada.
Propriedades model string(Opcional)Modelo de reconhecimento de fala. Se configurado, o servidor retorna tanto o resultado do reconhecimento (texto original no idioma de origem) quanto a tradução por meio dos eventos conversation.item.input_audio_transcription.text e conversation.item.input_audio_transcription.completed.Valor válido: qwen3-asr-flash-realtime.languagestring(Opcional)Idioma de origem para tradução. Valores válidos: Idiomas compatíveis. Caso não seja especificado, o modelo detecta automaticamente o idioma de origem.string(Opcional)Aplica-se a qwen3.5-livetranslate-flash-realtime.Formato do áudio de entrada. Valores válidos:
string(Opcional)Aplica-se a qwen3.5-livetranslate-flash-realtime.Formato do áudio de saída. Atualmente, este parâmetro só pode ser definido como pcm.turn_detectionobject(Opcional)Aplica-se a qwen3.5-livetranslate-flash-realtime.Configuração de Detecção de Atividade de Voz (VAD), usada para controlar como o início e o fim da fala são detectados:
Propriedades type string(Opcional)Tipo de VAD. Deve ser definido como server_vad.thresholdfloat(Opcional)Sensibilidade da detecção de VAD. Um valor menor facilita o reconhecimento de sons fracos (incluindo ruído de fundo) como fala; um valor maior exige uma fala mais clara e alta para acionar a detecção.Intervalo de valores: [-1,0, 1,0]. Valor padrão: 0,2.silence_duration_msinteger(Opcional)Duração mínima de silêncio (em milissegundos) necessária após o término da fala. Ao ultrapassar essa duração, o servidor determina que a fala terminou, confirma automaticamente o buffer de áudio e aciona uma resposta de tradução.Intervalo de valores: [200, 6000]. Valor padrão: 1000.object(Opcional)Configuração de tradução.
Propriedades language string(Opcional)Idioma de destino para tradução. Valores válidos: Idiomas compatíveis. Valor padrão: en.corpusobject(Opcional)Configuração de palavras-chave para melhorar a precisão da tradução de termos específicos.
Propriedades phrases object(Opcional)Mapeamento de palavras-chave. A chave é o termo no idioma de origem e o valor é sua tradução no idioma de destino.Exemplo: {"AI": "Artificial Intelligence"} |
input_audio_buffer.append
No acesso por WebSocket, adiciona bytes de áudio ao buffer de áudio de entrada. O servidor usa esse buffer para detectar fala e determinar quando confirmá-lo.
typestring(Obrigatório)Tipo de evento. Deve ser definido como input_audio_buffer.append. | |
audiostring(Obrigatório)Dados de áudio codificados em Base64. |
input_audio_buffer.commit
Confirma o buffer de áudio de entrada. Este evento só precisa ser enviado no modo Manual (turn_detection definido como null). No modo VAD, o servidor faz a confirmação automaticamente e o cliente não precisa enviar este evento.
Ao receber este evento, o servidor retorna um evento input_audio_buffer.committed como confirmação e começa automaticamente a gerar uma resposta de tradução (nenhum evento adicional é necessário para acionar a resposta). Se o buffer de áudio estiver vazio, o servidor retorna um evento de erro.
typestring(Obrigatório)Tipo de evento. Deve ser definido como input_audio_buffer.commit. |
input_audio_buffer.clear
Limpa os dados de áudio não confirmados do buffer de áudio de entrada.
typestring(Obrigatório)Tipo de evento. Deve ser definido como input_audio_buffer.clear. |
input_image_buffer.append
No acesso por WebSocket, adiciona dados de imagem ao buffer de imagens. As imagens podem vir de um arquivo local ou ser capturadas em tempo real de um fluxo de vídeo.
Limites para entrada de imagem:
- Formato da imagem: JPG ou JPEG. Resolução recomendada para melhor desempenho: 480p ou 720p (máximo: 1080p).
- Tamanho máximo da imagem: 500 KB (antes da codificação Base64).
- Os dados da imagem devem estar codificados em Base64.
- Frequência máxima: 2 imagens por segundo.
- Envie pelo menos um evento input_audio_buffer.append antes de enviar input_image_buffer.append.
typestring(Obrigatório)Tipo de evento. Deve ser definido como input_image_buffer.append. | |
imagestring(Obrigatório)Dados de imagem codificados em Base64. |
session.finish
Envie este evento para encerrar a sessão atual. Respostas do servidor:
- Se fala for detectada: o servidor conclui a tradução restante. Se a transcrição da entrada estiver habilitada, também retorna o texto original completo em conversation.item.input_audio_transcription.completed. Após concluir a tradução de todo o áudio, envia session.finished para indicar o fim da sessão.
- Se nenhuma fala for detectada: o servidor envia session.finished diretamente.
session.finished, se a reprodução for necessária, o cliente deve concluir a reprodução local de todo o áudio traduzido restante antes de se desconectar.
typestring(Obrigatório)Tipo de evento. Deve ser definido como session.finish. |