Skip to main content

Qwen-Audio-Realtime Flutter SDK

Integre Qwen-Audio-Realtime ao SDK do Flutter. Consulte a sequência de chamadas Dart, os parâmetros da solicitação e os eventos.

Qwen-Audio-Realtime recebe áudio em tempo real e gera respostas. Configure a sessão para receber as respostas em texto e áudio.

Pré-requisitos

  • Configure o ambiente de desenvolvimento Flutter para a plataforma de destino. O aplicativo de exemplo requer Dart 3.4 ou posterior, abaixo de 4.0.
  • Obtenha uma chave de API. Selecione um endpoint de serviço na mesma região da chave de API. Se usar um domínio específico do espaço de trabalho, obtenha também o ID do espaço de trabalho.
Não inclua chaves de API de longa duração no código do aplicativo móvel. Para modelos que aceitam uma chave de API temporária, use o servidor do aplicativo para gerar uma chave de API temporária e enviá-la ao cliente.

Instalar o SDK

Abra Seleção e download do SDK móvel de voz, selecione a guia Flutter e baixe e extraia o pacote. Copie o diretório extraído do SDK para packages/aliyun_neonui no projeto Flutter e adicione a dependência local ao pubspec.yaml.
dependencies:
  aliyun_neonui:
    path: packages/aliyun_neonui
Execute flutter pub get e importe o SDK no arquivo Dart.
import 'package:aliyun_neonui/neonui.dart';

Início rápido

Execute o aplicativo de exemplo

  1. Conecte o dispositivo de destino. Execute estes comandos no diretório do SDK extraído.
    cd example
    flutter pub get
    flutter run
    
  2. Na tela inicial do aplicativo de exemplo, abra 百炼(DashScope). Selecione um endpoint de serviço e informe a API Key. Se usar um domínio específico do espaço de trabalho, informe também o WorkspaceId.
  3. Abra Qwen-Audio 实时语音对话 e execute o exemplo. Autorize o acesso ao microfone ao executar um exemplo que captura áudio.
O código completo está em example/lib/pages/dashscope/dash_qwen_audio_chat_page.dart no pacote do SDK.

Modelos incluídos no exemplo

  • qwen-audio-3.1-realtime-plus
  • qwen-audio-3.0-realtime-plus
  • qwen-audio-3.0-realtime-flash

Sequência de chamadas

Chame estes métodos na instância retornada por NativeNui(). Use o JSON de conexão e o JSON da tarefa em Parâmetros da solicitação como initJson e sessionJson. Verifique se cada chamada foi bem-sucedida antes de continuar.
  1. Assine eventStream e ttsAudioStream antes de chamar os métodos.
  2. Defina os parâmetros de conexão e da tarefa e inicie a sessão.
    await nui.nuiInitialize(params: initJson);
    await nui.dialogSetParams(sessionJson);
    await nui.dialogStart(vadMode: VadMode.p2t.code, dialogParams: sessionJson);
    
  3. Quando a sessão começar, capture o áudio e envie blocos PCM com sendAudio. O exemplo de gravação captura PCM mono de 16 bits a 16 kHz. No iOS, inicie o microfone antes de iniciar o player de áudio. Se o player já estiver em execução, reinicie-o após iniciar o microfone para que o áudio da resposta seja reproduzido.
  4. Encerre a captura e chame dialogStop. Após processar os últimos eventos, chame nuiRelease e cancele as assinaturas.

Parâmetros de solicitação

O exemplo usa um modelo incluído no pacote. Para outras configurações, consulte example/lib/dashscope_params.dart. Para mais detalhes sobre os parâmetros, consulte Android SDK, iOS SDK, HarmonyOS SDK. Substitua YOUR_WS_HOST pelo host WebSocket da região, YOUR_DEVICE_ID pelo ID do dispositivo e YOUR_API_KEY por uma chave de API da mesma região.

Parâmetros de conexão

Passe o JSON do exemplo como string ao método Dart.
{
  "device_id": "YOUR_DEVICE_ID",
  "url": "wss://YOUR_WS_HOST/api-ws/v1/realtime?model=qwen-audio-3.1-realtime-plus",
  "service_mode": "1",
  "audio_update_manually": "false"
}

Parâmetros da tarefa

Passe o JSON do exemplo como string ao método Dart.
{
  "apikey": "YOUR_API_KEY",
  "nls_config": {
    "model": "qwen-audio-3.1-realtime-plus",
    "sr_format": "pcm",
    "modalities": "[\"text\",\"audio\"]",
    "voice": "longanqian_v3.1",
    "turn_detection": "{\"type\":\"server_vad\",\"threshold\":0.5,\"silence_duration_ms\":800}"
  },
  "service_type": 4
}
Use o mesmo ID de modelo no parâmetro model da URL e em nls_config.model. No SDK Dart, modalities e turn_detection são strings JSON.

Referência da API

Métodos

Nos métodos que retornam Future<int>, o código 0 indica êxito. sendAudio retorna Future<Object?>.
Assinatura do métodoFinalidade
Future<int> nuiInitialize({required String params, int logLevel = 0, bool saveLog = false})Inicializa o SDK com os parâmetros de conexão em uma string JSON.
Future<int> dialogSetParams(String params)Define os parâmetros JSON da sessão atual.
Future<int> dialogStart({required int vadMode, String dialogParams = "{}"})Inicia a sessão. vadMode seleciona o modo de segmentação, e dialogParams recebe os parâmetros da sessão em uma string JSON.
Future<Object?> sendAudio(Uint8List data)Envia um bloco de áudio PCM.
Future<int> dialogStop()Encerra a sessão de captura atual e mantém a conexão aberta.
Future<int> dialogCancel()Cancela a sessão ou tarefa de síntese atual.
Future<int> nuiRelease()Libera os recursos do SDK.
Future<int> dialogAction(String actionParams)Envia o resultado de uma chamada de ferramenta para a sessão.

Eventos e fluxos de áudio

Leia os eventos em eventStream. Quando um evento chega como um mapa Dart, leia o nome em event e consulte resultCode para identificar erros na tarefa. O fluxo ttsAudioStream fornece blocos de áudio para reprodução pelo aplicativo.
EventoFinalidade
EVENT_ASR_PARTIAL_RESULTResultado parcial do reconhecimento
EVENT_SENTENCE_ENDResultado final do reconhecimento da frase atual
EVENT_AUDIO_TRANSCRIPTION_COMPLETEDConclusão da transcrição da resposta falada
EVENT_ASR_TTS_STARTInício da síntese ou do áudio da resposta
EVENT_ASR_TTS_COMPLETEConclusão da tarefa ou da saída de áudio atual
EVENT_ASR_ERRORFalha na tarefa