Integra Qwen-Audio-Realtime con el SDK de Flutter. Consulta la secuencia de llamadas en Dart, los parámetros de la solicitud y los eventos.
Qwen-Audio-Realtime recibe audio en tiempo real y genera respuestas. Configura la sesión para recibir respuestas en texto y audio.
Abra Selección y descarga del SDK móvil de voz, seleccione la pestaña Flutter y descargue y extraiga el paquete.
Copie el directorio extraído del SDK a
Ejecute
Llama a estos métodos en la instancia que devuelve
Este ejemplo usa un modelo incluido en el paquete. Consulta
Pasa el JSON del ejemplo como cadena al método de Dart.
Pasa el JSON del ejemplo como cadena al método de Dart.
Usa el mismo ID de modelo en el parámetro
En los métodos que devuelven
Lee los eventos desde
Requisitos previos
- Configure un entorno de desarrollo de Flutter para la plataforma de destino. La aplicación de ejemplo requiere Dart 3.4 o posterior, con una versión inferior a 4.0.
- Obtenga una clave de API. Seleccione un punto de conexión en la misma región que la clave de API. Si usa un dominio específico del espacio de trabajo, obtenga también el ID del espacio de trabajo.
Instalar el SDK
Abra Selección y descarga del SDK móvil de voz, seleccione la pestaña Flutter y descargue y extraiga el paquete.
Copie el directorio extraído del SDK a packages/aliyun_neonui en el proyecto de Flutter y agregue la dependencia local en pubspec.yaml.
flutter pub get y luego importe el SDK en el archivo Dart.
Inicio rápido
Ejecutar la aplicación de ejemplo
-
Conecte el dispositivo de destino. Ejecute estos comandos desde el directorio extraído del SDK.
- En la pantalla de inicio de la aplicación de ejemplo, abra 百炼(DashScope). Seleccione un punto de conexión e introduzca su API Key. Si usa un dominio específico del espacio de trabajo, introduzca también el WorkspaceId.
- Abre Qwen-Audio 实时语音对话 y ejecuta el ejemplo. Concede acceso al micrófono si el ejemplo captura audio.
example/lib/pages/dashscope/dash_qwen_audio_chat_page.dart dentro del paquete del SDK.
Modelos incluidos en el ejemplo
qwen-audio-3.1-realtime-plusqwen-audio-3.0-realtime-plusqwen-audio-3.0-realtime-flash
Orden de las llamadas
Llama a estos métodos en la instancia que devuelve NativeNui().
Usa el JSON de conexión y el JSON de la tarea de Parámetros de la solicitud como initJson y sessionJson. Comprueba que cada llamada se complete correctamente antes de continuar.
-
Suscríbete a
eventStreamyttsAudioStreamantes de llamar a los métodos. -
Define los parámetros de conexión y de la tarea e inicia la sesión.
-
Cuando se abra la sesión, captura el audio y envía bloques PCM con
sendAudio. El ejemplo de grabación captura PCM mono de 16 bits a 16 kHz. En iOS, inicia el micrófono antes del reproductor de audio. Si el reproductor ya está activo, reinícialo después de iniciar el micrófono para que pueda reproducir el audio de la respuesta. -
Detén la captura y llama a
dialogStop. Después de procesar los últimos eventos, llama anuiReleasey cancela las suscripciones.
Parámetros de solicitud
Este ejemplo usa un modelo incluido en el paquete. Consulta example/lib/dashscope_params.dart para otras opciones de configuración. Para más información sobre los parámetros, consulta Android SDK, iOS SDK, HarmonyOS SDK.
Sustituye YOUR_WS_HOST por el host WebSocket de tu región, YOUR_DEVICE_ID por un identificador de dispositivo y YOUR_API_KEY por una clave de API de esa región.
Parámetros de conexión
Pasa el JSON del ejemplo como cadena al método de Dart.
Parámetros de la tarea
Pasa el JSON del ejemplo como cadena al método de Dart.
model de la URL y en nls_config.model. En el SDK de Dart, modalities y turn_detection son cadenas JSON.
Referencia de la API
Métodos
En los métodos que devuelven Future<int>, el código 0 indica éxito. sendAudio devuelve Future<Object?>.
| Firma del método | Finalidad |
|---|---|
Future<int> nuiInitialize({required String params, int logLevel = 0, bool saveLog = false}) | Inicializa el SDK con los parámetros de conexión como cadena JSON. |
Future<int> dialogSetParams(String params) | Define los parámetros JSON de la sesión actual. |
Future<int> dialogStart({required int vadMode, String dialogParams = "{}"}) | Inicia la sesión. vadMode selecciona el modo de segmentación y dialogParams admite los parámetros de la sesión como cadena JSON. |
Future<Object?> sendAudio(Uint8List data) | Envía un bloque de audio PCM. |
Future<int> dialogStop() | Termina la sesión de captura actual y mantiene abierta la conexión. |
Future<int> dialogCancel() | Cancela la sesión o la tarea de síntesis actual. |
Future<int> nuiRelease() | Libera los recursos del SDK. |
Future<int> dialogAction(String actionParams) | Envía el resultado de una llamada a una herramienta a la sesión. |
Eventos y flujos de audio
Lee los eventos desde eventStream. Si un evento se entrega como mapa de Dart, lee su nombre desde event y consulta resultCode para ver los errores.
El flujo ttsAudioStream proporciona bloques de audio para que la aplicación los reproduzca.
| Evento | Finalidad |
|---|---|
EVENT_ASR_PARTIAL_RESULT | Resultado parcial del reconocimiento |
EVENT_SENTENCE_END | Resultado final del reconocimiento de la frase actual |
EVENT_AUDIO_TRANSCRIPTION_COMPLETED | Finalización de la transcripción de la respuesta de voz |
EVENT_ASR_TTS_START | Inicio de la síntesis o del audio de respuesta |
EVENT_ASR_TTS_COMPLETE | Finalización de la tarea o de la salida de audio actual |
EVENT_ASR_ERROR | Error de la tarea |