Este documento descreve como usar o SDK Java do DashScope para chamar o modelo de tradução de áudio e vídeo em tempo real Qwen-LiveTranslate-Realtime.
Antes de começar
- Instale o DashScope SDK versão 2.22.5 ou posterior.
- Obtenha uma chave de API.
- Defina a chave da API como variável de ambiente:
- Consulte a Visão geral do modelo Qwen-LiveTranslate para verificar idiomas e vozes compatíveis.
Início rápido
Conecte-se, envie áudio e receba o texto traduzido:
wss://WorkspaceId.cn-beijing.maas.aliyuncs.com/api-ws/v1/realtimewss://WorkspaceId.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/realtimeParâmetros da solicitação
OmniRealtimeParam
Use OmniRealtimeParam.builder() para definir estes parâmetros e estabelecer a conexão WebSocket.
Clique em visualizar o código de exemplo
Clique em visualizar o código de exemplo
Parâmetro | Tipo | Obrigatório | Descrição |
|---|---|---|---|
|
| Sim | Nome do modelo. Recomendamos |
|
| Sim | Endpoint WebSocket. Use Substitua |
|
| Não | Chave da API para autenticação. Se não estiver definida, configure-a pela variável de ambiente |
OmniRealtimeConfig
Defina estas configurações com OmniRealtimeConfig.builder() e chame conversation.updateSession(config) após conectar-se.
Clique em visualizar o código de exemplo
Clique em visualizar o código de exemplo
Parâmetro | Tipo | Obrigatório | Descrição |
|---|---|---|---|
|
| Não | Modalidades de saída. Padrão: |
|
| Não | Voz para fala sintetizada. A voz padrão para |
|
| Não | Formato do áudio de entrada. Padrão: |
|
| Não | Formato do áudio de saída. Padrão: |
|
| Não | Modelo ASR para transcrever a fala original. Defina como |
|
| Não | Configurações de tradução. Consulte OmniRealtimeTranslationParam abaixo. |
|
| Não | Ativa ou desativa o VAD (Detecção de Atividade de Voz). Valor padrão: Defina como |
OmniRealtimeConfig.builder().parameters(Map). As entradas do Map são gravadas diretamente em session. Por exemplo, prepare os parâmetros abaixo para ativar a clonagem de voz em tempo real:
.voice("default") e adicione .parameters(parameters). Mantenha as configurações de idioma e áudio e chame conversation.updateSession(config) após construir a configuração. Consulte Clonagem de voz para as combinações de frequência e voz.
OmniRealtimeTranslationParam
Configure o idioma de destino e a terminologia personalizada com OmniRealtimeTranslationParam.builder().
Clique em visualizar o código de exemplo
Clique em visualizar o código de exemplo
Parâmetro | Tipo | Obrigatório | Descrição |
|---|---|---|---|
|
| Não | Código do idioma de destino. Padrão: |
|
| Não | Terminologia personalizada para termos específicos do domínio. |
|
| Não | Mapeamento de termos: as chaves são termos de origem e os valores são traduções de destino. Exemplo: |
Interfaces principais
OmniRealtimeConversation
Gerencia a conexão WebSocket e o ciclo de vida da transmissão de áudio.
Importação: com.alibaba.dashscope.audio.omni.OmniRealtimeConversation
Método | Descrição |
|---|---|
| Crie uma instância de conversa com parâmetros de conexão e um callback de eventos. |
| Abre a conexão WebSocket. Aciona os eventos session.created e session.updated. Lança |
| Atualiza a configuração da sessão após a conexão. Aciona o evento session.updated. Defina apenas os parâmetros necessários; valores padrão aplicam-se aos omitidos. |
| Envia um trecho de áudio codificado em Base64 ao servidor. O servidor detecta automaticamente os limites da fala e inicia a tradução. |
| No modo Manual, confirma o áudio adicionado previamente ao buffer do servidor pelo método |
| Limpa dados de áudio não confirmados do buffer do servidor. Aciona o evento input_audio_buffer.cleared. |
| Encerra a sessão adequadamente. O servidor conclui a tradução em andamento antes de enviar session.finished. Lança |
| Interrompe a tarefa e fecha a conexão WebSocket. |
| Retorna o ID da sessão. |
| Retorna o ID da resposta mais recente do servidor. |
| Retorna a latência do primeiro texto da resposta mais recente (milissegundos). |
| Retorna a latência do primeiro áudio da resposta mais recente (milissegundos). |
OmniRealtimeCallback
Processa eventos do servidor entregues via WebSocket. Estenda esta classe e implemente cada método para tratar eventos.
Importação: com.alibaba.dashscope.audio.omni.OmniRealtimeCallback
Método | Parâmetros | Descrição |
|---|---|---|
| Nenhum | Chamado quando a conexão WebSocket é estabelecida. |
|
| Invocado para cada evento do servidor. Analise o campo |
|
| Chamado quando a conexão WebSocket é fechada. |
onEvent:
Tipo de evento | Descrição |
|---|---|
| Servidor detectou fala no fluxo de áudio. |
| Servidor detectou o fim de um segmento de fala. |
| Transcrição no idioma de origem pronta. Leia |
| Texto traduzido pronto. Leia |
| Trecho de áudio traduzido disponível. Leia |
| Erro ocorrido. Leia |
Exemplo completo
Este exemplo captura áudio do microfone, traduz em tempo real e reproduz a fala traduzida no alto-falante do sistema.
Funcionamento:
- Conecta-se ao Qwen-LiveTranslate via WebSocket.
- Configura tradução de espanhol para inglês com terminologia personalizada.
- Transmite áudio do microfone em trechos de 100 ms.
- Visualize transcrição original e texto traduzido.
- Reproduz áudio traduzido no alto-falante.
Código de exemplo para tradução em tempo real via microfone
Código de exemplo para tradução em tempo real via microfone
Placeholder | Descrição | Exemplo |
|---|---|---|
| Chave da API do Model Studio |
|
Tópicos relacionados
- Visão geral do modelo Qwen-LiveTranslate -- Idiomas, vozes e capacidades compatíveis
- Referência de eventos do lado do servidor -- Tipos de eventos, esquemas JSON e códigos de erro
- Instale o DashScope SDK -- Instalação e configuração de dependências
- Obtenha uma chave de API -- Criação e gerenciamento