Skip to main content

Tradução de fala em tempo real com qwen3.8-livetranslate-flash-realtime sobre AOQ

Este tutorial utiliza o Android para mostrar como integrar o SDK do Cliente AOQ com o qwen3.8-livetranslate-flash-realtime para tradução de fala em tempo real. Outras plataformas usam fluxos de integração e manipulação de eventos de modelo semelhantes com seus respectivos métodos de SDK. Todos os exemplos do lado do cliente abaixo utilizam Java.

Para os recursos do modelo, consulte Tradução de fala e áudio/vídeo em tempo real. Para as funções da mídia e dos eventos do modelo, consulte Acesso por AOQ.

Baixar o SDK

Para o SDK do Cliente AOQ e o plugin de áudio Opus, consulte Download do SDK. Os exemplos de transmissão de áudio neste tutorial usam Opus, portanto você também deve importar o plugin para sua plataforma. Para regiões suportadas, idiomas, preços e limites de taxa, consulte Tradução de fala e áudio/vídeo em tempo real.

Importar o SDK

  • Android
  • iOS
  • HarmonyOS
Coloque AoqClientSdk-release.aar em app/libs/. Coloque libPluginOpus.so em app/libs/armeabi-v7a/ e app/libs/arm64-v8a/, de acordo com a ABI.Declare a dependência em app/build.gradle:
android {
    defaultConfig {
        minSdk 21
        ndk { abiFilters 'armeabi-v7a', 'arm64-v8a' }
    }
    sourceSets { main { jniLibs.srcDirs = ['libs'] } }
}

dependencies {
    implementation fileTree(dir: 'libs', include: ['*.aar'])
}
Se o projeto principal já contiver bibliotecas nativas com os mesmos nomes, verifique suas versões e dependências antes de empacotá-las para evitar incluir versões diferentes da mesma biblioteca.Declare as permissões em AndroidManifest.xml:
<uses-permission android:name="android.permission.INTERNET" />
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
<uses-permission android:name="android.permission.RECORD_AUDIO" />
<uses-permission android:name="android.permission.MODIFY_AUDIO_SETTINGS" />
Solicite permissão RECORD_AUDIO em tempo de execução e obtenha autorização do usuário. A tradução somente de fala não requer permissão de câmera. Declare e solicite CAMERA apenas quando habilitar o aprimoramento visual.Os exemplos em Java usam as seguintes importações:
import com.alibaba.aoq.clientsdk.AoqClientEngine;
import com.alibaba.aoq.clientsdk.AoqClientEngine.*;
import com.alibaba.aoq.clientsdk.AoqClientListener;
import java.nio.charset.StandardCharsets;
import java.util.HashMap;
import java.util.Map;
import org.json.JSONException;
import org.json.JSONObject;

Obter um token através do seu AppServer

Não armazene a chave de API do Model Studio no cliente. Seu AppServer usa a chave de API para a região e workspace correspondentes para solicitar credenciais temporárias para cada conexão de tradução. Ele retorna as credenciais via HTTPS para um cliente que passou pela autenticação do seu aplicativo. Configure um AppServer seguindo as Etapas de autenticação AOQ do Qwen-LiveTranslate-Realtime. A tradução em tempo real usa o protocolo Realtime. Especifique os seguintes valores ao solicitar credenciais:
model=qwen3.8-livetranslate-flash-realtime
Execute o seguinte comando apenas no seu AppServer. Defina BAILIAN_ENDPOINT como o endpoint para seu workspace: {WorkspaceId}.cn-beijing.maas.aliyuncs.com ou {WorkspaceId}.ap-southeast-1.maas.aliyuncs.com. Leia DASHSCOPE_API_KEY de uma variável de ambiente do lado do servidor ou de um serviço de gerenciamento de segredos.
curl --fail-with-body --request POST \
  "https://${BAILIAN_ENDPOINT}/api/v1/webrtc/realtime?model=qwen3.8-livetranslate-flash-realtime" \
  --header "Content-Type: application/json" \
  --header "Authorization: Bearer ${DASHSCOPE_API_KEY}" \
  --header "x-dashscope-rtc-transport: moq" \
  --data '{}'
Se seu AppServer puder obter o endereço IP público real do cliente a partir de uma cadeia de proxy confiável, inclua clientIp no corpo da solicitação para agendamento do ponto de acesso. Mapeie os campos da resposta para AoqConnectConfig no cliente:
Campo de resposta do GatewayCampo do SDKDescrição
aoqTokenForClienttokenToken temporário para esta conexão
sidsidIdentificador desta sessão
clientRelayCertFingerprintcertFingerprintUse a impressão digital do certificado exatamente como retornada
clientRelayEndpointsrelayEndpointsConverta a lista completa de pontos de acesso para a estrutura do SDK
extraInfo.workspaceIdHashworkspaceIdHashUse o valor retornado. Se estiver ausente, siga os requisitos do SDK

Implementar tradução de fala em tempo real

Fluxo de interação

AOQ real-time speech translation sequence

Criar o mecanismo e definir callbacks

Chame createEngine para criar o mecanismo e registrar callbacks para status da conexão, mensagens de Dados e erros. Seu aplicativo deve manter os objetos do mecanismo e do listener durante toda a sessão.
// 配置引擎工作目录。
AoqCreateConfig createConfig = new AoqCreateConfig();
createConfig.workDir = appCtx.getFilesDir().getAbsolutePath();
// 创建引擎并注册事件监听对象。
engine = AoqClientEngine.createEngine(appCtx, createConfig, listener);
Implemente AoqClientListener para receber eventos de conexão, mensagem do modelo e dispositivo de mídia, e passe-o ao criar o mecanismo.
AoqClientListener listener = new AoqClientListener() {
    // 接收音频采集与播放设备状态。
    @Override
    public void onAudioDeviceStateChanged(AoqAudioDeviceState state) {

    }

    // 接收耳机、蓝牙及扬声器等音频路由变化。
    @Override
    public void onAudioDeviceRouteChanged(int routeType) {
        android.util.Log.i("LiveTranslate", "音频路由: " + AoqAudioDeviceRouteType.fromValue(routeType));
    }

    // 接收音频设备中断及中断结束通知。
    @Override
    public void onAudioDeviceInterrupted(boolean interrupt) {
        android.util.Log.i("LiveTranslate", "音频设备中断: " + interrupt);
    }

    // 接收 Android 音频焦点变化。
    @Override
    public void onAudioDeviceFocusChanged(int audioFocus) {
        android.util.Log.i("LiveTranslate", "音频焦点: " + audioFocus);
    }

    // 接收 SDK 异步错误。
    @Override
    public void onError(int code, String message) {
        android.util.Log.e("LiveTranslate", "SDK 错误: " + code + ", " + message);
    }
};

Iniciar captura e reprodução de áudio

Após obter permissão de microfone, prepare a captura e reprodução de áudio. Desative a transmissão de áudio antes de iniciar a captura para impedir que o mecanismo envie mídia automaticamente após conectar. Iniciar a captura não significa que o modelo está pronto para receber áudio. Solicite ao usuário que fale apenas após receber session.updated e habilitar com sucesso a transmissão. Este tutorial não implementa buffer de áudio antes da conexão.
// 关闭音频上行,等待模型配置确认。
engine.enableSendMediaStream(AoqTrackType.AoqTrackTypeAudio, false);

AoqAudioCaptureConfig audioCaptureConfig = new AoqAudioCaptureConfig();
audioCaptureConfig.channel = 1;
audioCaptureConfig.isExternal = false;
// 启动 SDK 内置麦克风采集。
engine.startAudioCapture(audioCaptureConfig);

AoqAudioPlaybackConfig audioPlaybackConfig = new AoqAudioPlaybackConfig();
audioPlaybackConfig.channel = 1;
audioPlaybackConfig.isExternal = false;
// 启动 SDK 内置播放器,播放下行译音。
engine.startAudioPlayer(audioPlaybackConfig);

Configurar codecs e estabelecer a conexão

O cenário principal exige as seguintes faixas:
DireçãoFaixaFinalidade
PublicarÁudioEnviar fala ao modelo
PublicarDadosEnviar configuração da sessão e eventos de conclusão
AssinarÁudioReceber fala traduzida
AssinarDadosReceber texto original, texto traduzido e eventos de status
Configure áudio de upstream e downstream separadamente. O exemplo a seguir usa Opus, 16 kHz e áudio mono para transmissão.
AoqAudioCodecConfig audioEncoderConfig = new AoqAudioCodecConfig();
audioEncoderConfig.codecType = AoqEncoderType.AoqEncoderTypeAudioOpus;
audioEncoderConfig.sampleRate = 16000;
audioEncoderConfig.channel = 1;
// 设置上行音频编码参数。
engine.setAudioEncoderConfig(audioEncoderConfig);

AoqAudioCodecConfig audioDecoderConfig = new AoqAudioCodecConfig();
audioDecoderConfig.codecType = AoqEncoderType.AoqEncoderTypeAudioOpus;
audioDecoderConfig.sampleRate = 16000;
audioDecoderConfig.channel = 1;
// 设置下行音频解码参数。
engine.setAudioDecoderConfig(audioDecoderConfig);

AoqTrackParam audioTrackParam = new AoqTrackParam();
audioTrackParam.trackType = AoqTrackType.AoqTrackTypeAudio;
AoqTrackParam dataTrackParam = new AoqTrackParam();
dataTrackParam.trackType = AoqTrackType.AoqTrackTypeData;
// 发布音频和 Data 轨,发送语音及模型事件。
connectConfig.publishTracks.add(audioTrackParam);
connectConfig.publishTracks.add(dataTrackParam);
// 订阅音频和 Data 轨,接收译音及字幕事件。
connectConfig.subscribeTracks.add(audioTrackParam);
connectConfig.subscribeTracks.add(dataTrackParam);

// 发起 AOQ 连接,连接结果通过 onConnectionStatusChange 返回。
engine.connect(connectConfig);
Um retorno bem-sucedido de connect significa que a chamada foi aceita. Aguarde onConnectionStatusChange relatar uma conexão bem-sucedida antes de enviar a configuração do modelo.

Configurar a sessão de tradução

Após conectar, envie o seguinte evento session.update pela faixa de Dados. Esta configuração usa a voz padrão e não habilita clonagem de voz:
{
  "type": "session.update",
  "session": {
    "output_modalities": ["text", "audio"],
    "audio": {
      "input": {
        "turn_detection": {
          "type": "speaker_detection",
          "threshold": 0.5
        }
      }
    },
    "translation": {
      "language": "en"
    }
  }
}
Para o fluxo de interação, consulte Tradução em tempo real. Para todos os parâmetros session.update, consulte Eventos do cliente de tradução em tempo real. Codifique o JSON como bytes UTF-8 e envie-o com sendDataMsg.
private static final String SESSION_UPDATE_JSON =
        "{\"type\":\"session.update\",\"session\":{"
        + "\"output_modalities\":[\"text\",\"audio\"],"
        + "\"audio\":{\"input\":{\"turn_detection\":{"
        + "\"type\":\"speaker_detection\",\"threshold\":0.5}}},"
        + "\"translation\":{\"language\":\"en\"}}}";

// 接收 AOQ 连接状态变化。
@Override
public void onConnectionStatusChange(AoqConnectionStatus status) {
    if (status == AoqConnectionStatus.AoqConnectionStatusConnected) {
        AoqDataMsg message = new AoqDataMsg();
        message.data = SESSION_UPDATE_JSON.getBytes(StandardCharsets.UTF_8);
        // 通过 Data 轨发送翻译会话配置。
        engine.sendDataMsg(message);
    }
}

Habilitar transmissão de mídia após receber session.updated

Analise o tipo de evento em onDataMsg. O trecho a seguir roteia eventos de controle. Para eventos de texto original e texto traduzido, consulte Eventos do servidor. Após receber session.finished, defina o estado de conclusão do seu aplicativo e use o método de liberação descrito em "Desconectar e destruir o mecanismo" para concluir a limpeza.
// 接收 Data 轨中的模型事件。
@Override
public void onDataMsg(AoqDataMsg message) {
    if (message == null || message.data == null) { return; }
    try {
        JSONObject event = new JSONObject(new String(message.data, StandardCharsets.UTF_8));
        String type = event.optString("type");
        if ("session.updated".equals(type)) {
            // 模型配置生效后,开启音频上行。
            engine.enableSendMediaStream(AoqTrackType.AoqTrackTypeAudio, true);
        } else if ("session.finished".equals(type)) {
            android.util.Log.i("LiveTranslate", "服务端已完成本次翻译处理");
        } else if ("error".equals(type)) {
            android.util.Log.e("LiveTranslate", "翻译模型错误: " + event.optJSONObject("error"));
        }
    } catch (JSONException error) {
        android.util.Log.e("LiveTranslate", "无法解析模型事件", error);
    }
}
Diferenças entre AOQ e WebSocket: Este exemplo envia e recebe áudio diretamente pelas trilhas Audio. Não envie input_audio_buffer.append para transmitir o mesmo áudio novamente nem copie o exemplo WebSocket iniciando outro player ao receber response.audio.delta. O áudio traduzido é gerenciado pela assinatura de áudio e pelo player do SDK. A trilha Data transporta legendas e eventos do modelo. Para o uso de trilhas de mídia e Data, consulte Acesso por AOQ.

Concluir entrada e aguardar a tradução final

Quando o usuário parar a tradução, siga esta ordem:
  1. Pare a captura para que nenhuma nova entrada seja submetida.
  2. Após finalizar a entrada, desative o áudio de upstream e envie session.finish uma vez. Mantenha a conexão AOQ, assinatura de Dados e reprodução de áudio ativas.
  3. Continue recebendo o texto original final, texto traduzido e fala traduzida. Aguarde session.finished.
  4. Desconecte e libere recursos de acordo com sua política local de conclusão de reprodução.
Para os requisitos de envio de session.finish, consulte Eventos do cliente de tradução em tempo real. Para os campos e significado de session.finished, consulte Eventos do servidor de tradução em tempo real.
AoqDataMsg message = new AoqDataMsg();
message.data = "{\"type\":\"session.finish\"}".getBytes(StandardCharsets.UTF_8);
// 通知模型输入结束,等待 session.finished。
engine.sendDataMsg(message);

Desconectar e destruir o mecanismo

Após receber session.finished, o servidor concluiu o processamento desta sessão. Isso não significa que o alto-falante local terminou de reproduzir o último segmento de áudio. Se seu aplicativo precisar reproduzir toda a fala traduzida, conclua a reprodução local antes de executar os seguintes métodos.
// 停止译音播放。
engine.stopAudioPlayer();
// 断开 AOQ 连接。
engine.disconnect();
// 销毁本会话独占的引擎。
AoqClientEngine.destroy();

Documentação relacionada