SDK de HarmonyOS para CosyVoice

​

NativeNui

• Cree una instancia de conversión de texto a voz en streaming llamando a new NativeNui(Constants.ModeType.MODE_STREAM_INPUT_TTS). NativeNui.GetInstance() devuelve un singleton MODE_DIALOG y no se puede utilizar para la conversión de texto a voz en streaming.
• No llame a initialize() en el modo de conversión de texto a voz en streaming. Pase las credenciales y los parámetros de síntesis directamente a startStreamInputTts(), playStreamInputTts() o asyncPlayStreamInputTts().
• Reciba eventos de síntesis y audio a través de INativeStreamInputTtsCallback.
• El SDK devuelve STREAM_INPUT_TTS_EVENT_SYNTHESIS_STARTED cuando comienza la tarea, audio a través de onStreamInputTtsDataCallback, STREAM_INPUT_TTS_EVENT_SYNTHESIS_COMPLETE cuando finaliza la tarea y STREAM_INPUT_TTS_EVENT_TASK_FAILED cuando falla la síntesis.

import { Constants, INativeStreamInputTtsCallback, NativeNui, StreamInputTtsEvent } from 'neonui';

const nuiInstance = new NativeNui(Constants.ModeType.MODE_STREAM_INPUT_TTS);

​

Flujos de llamadas

1. Llame a playStreamInputTts o asyncPlayStreamInputTts para pasar el texto completo e iniciar la síntesis. El primero bloquea hasta que finaliza la síntesis. El segundo devuelve el control inmediatamente y sintetiza en segundo plano. No llame primero a startStreamInputTts ni llame a un método de detención después.
2. Reciba el audio en onStreamInputTtsDataCallback.
3. La síntesis finaliza cuando se recibe STREAM_INPUT_TTS_EVENT_SYNTHESIS_COMPLETE.

1. Llame a startStreamInputTts para abrir la conexión y configurar el callback y los parámetros.
2. Llame a sendStreamInputTts para enviar fragmentos de texto.
3. Reciba el audio en onStreamInputTtsDataCallback.
4. Después de enviar todo el texto, llame a stopStreamInputTts.
5. La síntesis finaliza cuando se recibe STREAM_INPUT_TTS_EVENT_SYNTHESIS_COMPLETE.

​

startStreamInputTts

startStreamInputTts(
  callback: INativeStreamInputTtsCallback,
  ticket: string,
  parameters: string,
  session_id: string,
  log_level: number,
  save_log: boolean
): number

​

campos de ticket

{
  "url": "wss://dashscope.aliyuncs.com/api-ws/v1/inference",
  "apikey": "st-****",
  "device_id": "my_device_id"
}

​

campos de parameters

{
  "model": "cosyvoice-v3-plus",
  "voice": "longanyang",
  "format": "mp3",
  "sample_rate": 24000,
  "volume": 50,
  "rate": 1.0,
  "pitch": 1.0,
  "enable_audio_decoder": true
}

​

sendStreamInputTts

sendStreamInputTts(text: string): number

​

stopStreamInputTts

stopStreamInputTts(flag_async: boolean = true): number

• true (predeterminado): Finaliza de forma asíncrona y devuelve el control inmediatamente. Espere a STREAM_INPUT_TTS_EVENT_SYNTHESIS_COMPLETE para determinar que la síntesis ha finalizado.
• false: Bloquea hasta que se reciban todo el audio y el evento de síntesis completada. El tiempo de espera está controlado por complete_waiting_ms.

​

cancelStreamInputTts

cancelStreamInputTts(): number

​

cancelStreamInputTtsKeepConnection

cancelStreamInputTtsKeepConnection(): number

​

playStreamInputTts

playStreamInputTts(
  callback: INativeStreamInputTtsCallback,
  ticket: string,
  parameters: string,
  text: string,
  session_id: string,
  log_level: number,
  save_log: boolean
): number

​

asyncPlayStreamInputTts

asyncPlayStreamInputTts(
  callback: INativeStreamInputTtsCallback,
  ticket: string,
  parameters: string,
  text: string,
  session_id: string,
  log_level: number,
  save_log: boolean
): number

​

releaseStreamInputTts

releaseStreamInputTts(): number

​

INativeStreamInputTtsCallback

export interface INativeStreamInputTtsCallback {
  onStreamInputTtsEventCallback(
    event: StreamInputTtsEvent,
    task_id: string,
    session_id: string,
    ret_code: number,
    error_msg: string,
    timestamp: string,
    all_response: string
  ): void;

  onStreamInputTtsDataCallback(data: ArrayBuffer | null): void;
}

​

onStreamInputTtsEventCallback

​

onStreamInputTtsDataCallback

onStreamInputTtsDataCallback(data: ArrayBuffer | null): void;

• Los datos MP3 y Opus requieren un decodificador en streaming. Alternativamente, establezca enable_audio_decoder en true para permitir que el SDK devuelva PCM.
• Para ensamblar un archivo completo, añada los datos del callback en orden.
• Para WAV y MP3, solo el primer callback contiene el encabezado del archivo. Cada trama Opus es una página Ogg independiente y se pueden concatenar en orden.

​

StreamInputTtsEvent

{
  "header": {
    "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
    "event": "task-failed",
    "error_code": "InvalidParameter",
    "error_message": "[tts:]Engine return error code: 418",
    "attributes": {}
  },
  "payload": {}
}

​

Código de ejemplo

1. Obtenga una clave API. No codifique de forma rígida una clave API de larga duración en una aplicación cliente. Recomendamos que el servidor de su aplicación obtenga una clave API temporal y la envíe al cliente.
2. Descargue el paquete SDK más reciente. Extraiga el paquete, copie entry/libs/neonui.har en el directorio entry/libs de su aplicación y agregue la dependencia a entry/oh-package.json5:

{
  "dependencies": {
    "neonui": "file:libs/neonui.har"
  }
}

3. Abra el proyecto de ejemplo del paquete SDK en DevEco Studio. La página de ejemplo es entry/src/main/ets/pages/dashscope/DashCosyVoiceStreamTtsPage.ets. Configure una clave API y ejecute el proyecto.

import { Constants, INativeStreamInputTtsCallback, NativeNui, StreamInputTtsEvent } from 'neonui';

const callback: INativeStreamInputTtsCallback = {
  onStreamInputTtsEventCallback: (event: StreamInputTtsEvent, taskId: string,
    sessionId: string, retCode: number, errorMsg: string,
    timestamp: string, allResponse: string): void => {
    if (event == StreamInputTtsEvent.STREAM_INPUT_TTS_EVENT_SYNTHESIS_COMPLETE) {
      // Synthesis is complete.
    } else if (event == StreamInputTtsEvent.STREAM_INPUT_TTS_EVENT_TASK_FAILED) {
      // Handle the error based on retCode, errorMsg, or allResponse.
    }
  },
  onStreamInputTtsDataCallback: (data: ArrayBuffer | null): void => {
    if (data != null) {
      // Write PCM to AudioRenderer, or append encoded audio data in order.
    }
  }
};

const nuiInstance = new NativeNui(Constants.ModeType.MODE_STREAM_INPUT_TTS);
const ticket: Record<string, Object> = {
  'url': 'wss://dashscope.aliyuncs.com/api-ws/v1/inference',
  'apikey': 'st-****',
  'device_id': 'my_device_id'
};
const parameters: Record<string, Object> = {
  'model': 'cosyvoice-v3-plus',
  'voice': 'longanyang',
  'format': 'mp3',
  'sample_rate': 24000,
  'enable_audio_decoder': true
};

const result = nuiInstance.startStreamInputTts(
  callback,
  JSON.stringify(ticket),
  JSON.stringify(parameters),
  '',
  Constants.LogLevel.LOG_LEVEL_INFO,
  false
);

if (result == Constants.NuiResultCode.SUCCESS) {
  nuiInstance.sendStreamInputTts('Hello, ');
  nuiInstance.sendStreamInputTts('welcome to real-time speech synthesis.');
  nuiInstance.stopStreamInputTts(true);
}

// Call nuiInstance.releaseStreamInputTts() from the SYNTHESIS_COMPLETE handler.

const oneShotInstance = new NativeNui(Constants.ModeType.MODE_STREAM_INPUT_TTS);
oneShotInstance.asyncPlayStreamInputTts(
  callback,
  JSON.stringify(ticket),
  JSON.stringify(parameters),
  'Hello, welcome to real-time speech synthesis.',
  '',
  Constants.LogLevel.LOG_LEVEL_INFO,
  false
);
// Call oneShotInstance.releaseStreamInputTts() from the SYNTHESIS_COMPLETE handler.

​

Funciones avanzadas

​

SSML

​

Expresiones matemáticas