Skip to main content

Qwen-Livetranslate-Realtime Flutter SDK

Integre Qwen-Livetranslate-Realtime ao SDK do Flutter. Consulte a sequência de chamadas Dart, os parâmetros da solicitação e os eventos.

Qwen-Livetranslate-Realtime recebe áudio em tempo real e retorna a tradução. O aplicativo pode receber a tradução em texto ou em texto e áudio.

Pré-requisitos

  • Configure o ambiente de desenvolvimento Flutter para a plataforma de destino. O aplicativo de exemplo requer Dart 3.4 ou posterior, abaixo de 4.0.
  • Obtenha uma chave de API. Selecione um endpoint de serviço na mesma região da chave de API. Se usar um domínio específico do espaço de trabalho, obtenha também o ID do espaço de trabalho.
Não inclua chaves de API de longa duração no código do aplicativo móvel. Para modelos que aceitam uma chave de API temporária, use o servidor do aplicativo para gerar uma chave de API temporária e enviá-la ao cliente.

Instalar o SDK

Abra Seleção e download do SDK móvel de voz, selecione a guia Flutter e baixe e extraia o pacote. Copie o diretório extraído do SDK para packages/aliyun_neonui no projeto Flutter e adicione a dependência local ao pubspec.yaml.
dependencies:
  aliyun_neonui:
    path: packages/aliyun_neonui
Execute flutter pub get e importe o SDK no arquivo Dart.
import 'package:aliyun_neonui/neonui.dart';

Início rápido

Execute o aplicativo de exemplo

  1. Conecte o dispositivo de destino. Execute estes comandos no diretório do SDK extraído.
    cd example
    flutter pub get
    flutter run
    
  2. Na tela inicial do aplicativo de exemplo, abra 百炼(DashScope). Selecione um endpoint de serviço e informe a API Key. Se usar um domínio específico do espaço de trabalho, informe também o WorkspaceId.
  3. Abra Qwen-LiveTranslate 实时音视频翻译 e execute o exemplo. Autorize o acesso ao microfone ao executar um exemplo que captura áudio.
O código completo está em example/lib/pages/dashscope/dash_live_translate_page.dart no pacote do SDK.

Modelos incluídos no exemplo

  • qwen3.5-livetranslate-flash-realtime

Sequência de chamadas

Chame estes métodos na instância retornada por NativeNui(). Use o JSON de conexão e o JSON da tarefa em Parâmetros da solicitação como initJson e sessionJson. Verifique se cada chamada foi bem-sucedida antes de continuar.
  1. Assine eventStream e ttsAudioStream antes de chamar os métodos.
  2. Defina os parâmetros de conexão e da tarefa e inicie a sessão.
    await nui.nuiInitialize(params: initJson);
    await nui.dialogSetParams(sessionJson);
    await nui.dialogStart(vadMode: VadMode.p2t.code, dialogParams: sessionJson);
    
  3. Quando a sessão começar, capture o áudio e envie blocos PCM com sendAudio. O exemplo de gravação captura PCM mono de 16 bits a 16 kHz. No iOS, inicie o microfone antes de iniciar o player de áudio. Se o player já estiver em execução, reinicie-o após iniciar o microfone para que o áudio da resposta seja reproduzido.
  4. Encerre a captura e chame dialogStop. Após processar os últimos eventos, chame nuiRelease e cancele as assinaturas.

Parâmetros de solicitação

O exemplo usa um modelo incluído no pacote. Para outras configurações, consulte example/lib/dashscope_params.dart. Para mais detalhes sobre os parâmetros, consulte guia de integração via WebSocket. Substitua YOUR_WS_HOST pelo host WebSocket da região, YOUR_DEVICE_ID pelo ID do dispositivo e YOUR_API_KEY por uma chave de API da mesma região.

Parâmetros de conexão

Passe o JSON do exemplo como string ao método Dart.
{
  "device_id": "YOUR_DEVICE_ID",
  "url": "wss://YOUR_WS_HOST/api-ws/v1/realtime?model=qwen3.5-livetranslate-flash-realtime",
  "service_mode": "1",
  "audio_update_manually": "false"
}

Parâmetros da tarefa

Passe o JSON do exemplo como string ao método Dart.
{
  "apikey": "YOUR_API_KEY",
  "nls_config": {
    "sample_rate": 16000,
    "sr_format": "pcm",
    "modalities": "[\"text\",\"audio\"]",
    "source_language": "zh",
    "translation": "{\"language\":\"en\"}",
    "turn_detection": "{\"type\":\"server_vad\",\"threshold\":0.2,\"silence_duration_ms\":1000}"
  },
  "service_type": 4
}
O parâmetro model da URL seleciona o modelo de tradução. nls_config.model é usado para o reconhecimento opcional do idioma de origem. translation é uma string JSON que contém o idioma de destino em language. Para detectar o idioma automaticamente, omita source_language.

Referência da API

Métodos

Nos métodos que retornam Future<int>, o código 0 indica êxito. sendAudio retorna Future<Object?>.
Assinatura do métodoFinalidade
Future<int> nuiInitialize({required String params, int logLevel = 0, bool saveLog = false})Inicializa o SDK com os parâmetros de conexão em uma string JSON.
Future<int> dialogSetParams(String params)Define os parâmetros JSON da sessão atual.
Future<int> dialogStart({required int vadMode, String dialogParams = "{}"})Inicia a sessão. vadMode seleciona o modo de segmentação, e dialogParams recebe os parâmetros da sessão em uma string JSON.
Future<Object?> sendAudio(Uint8List data)Envia um bloco de áudio PCM.
Future<int> dialogStop()Encerra a sessão de captura atual e mantém a conexão aberta.
Future<int> dialogCancel()Cancela a sessão ou tarefa de síntese atual.
Future<int> nuiRelease()Libera os recursos do SDK.

Eventos e fluxos de áudio

Leia os eventos em eventStream. Quando um evento chega como um mapa Dart, leia o nome em event e consulte resultCode para identificar erros na tarefa. O fluxo ttsAudioStream fornece blocos de áudio para reprodução pelo aplicativo.
EventoFinalidade
EVENT_ASR_PARTIAL_RESULTResultado parcial do reconhecimento
EVENT_RESULT_TRANSLATEDResultado da tradução
EVENT_RESULT_TRANSLATED_ENDTradução final da frase atual
EVENT_TRANSCRIBER_COMPLETEConclusão da tarefa ou da saída de áudio atual
EVENT_ASR_ERRORFalha na tarefa