CosyVoice HarmonyOS SDK

​

NativeNui

• Buat instance text-to-speech streaming dengan memanggil new NativeNui(Constants.ModeType.MODE_STREAM_INPUT_TTS). NativeNui.GetInstance() mengembalikan singleton MODE_DIALOG dan tidak dapat digunakan untuk text-to-speech streaming.
• Jangan panggil initialize() dalam mode text-to-speech streaming. Berikan kredensial dan parameter sintesis langsung ke startStreamInputTts(), playStreamInputTts(), atau asyncPlayStreamInputTts().
• Terima peristiwa sintesis dan audio melalui INativeStreamInputTtsCallback.
• SDK mengembalikan STREAM_INPUT_TTS_EVENT_SYNTHESIS_STARTED saat tugas dimulai, audio melalui onStreamInputTtsDataCallback, STREAM_INPUT_TTS_EVENT_SYNTHESIS_COMPLETE saat tugas berakhir, dan STREAM_INPUT_TTS_EVENT_TASK_FAILED saat sintesis gagal.

import { Constants, INativeStreamInputTtsCallback, NativeNui, StreamInputTtsEvent } from 'neonui';

const nuiInstance = new NativeNui(Constants.ModeType.MODE_STREAM_INPUT_TTS);

​

Alur panggilan

1. Panggil playStreamInputTts atau asyncPlayStreamInputTts untuk memberikan teks lengkap dan memulai sintesis. Yang pertama memblokir hingga sintesis selesai. Yang kedua segera mengembalikan dan mensintesis di latar belakang. Jangan panggil startStreamInputTts terlebih dahulu, dan jangan panggil metode stop setelahnya.
2. Terima audio di onStreamInputTtsDataCallback.
3. Sintesis berakhir saat STREAM_INPUT_TTS_EVENT_SYNTHESIS_COMPLETE diterima.

1. Panggil startStreamInputTts untuk membuka koneksi dan mengonfigurasi callback serta parameter.
2. Panggil sendStreamInputTts untuk mengirim fragmen teks.
3. Terima audio di onStreamInputTtsDataCallback.
4. Setelah semua teks dikirim, panggil stopStreamInputTts.
5. Sintesis berakhir saat STREAM_INPUT_TTS_EVENT_SYNTHESIS_COMPLETE diterima.

​

startStreamInputTts

startStreamInputTts(
  callback: INativeStreamInputTtsCallback,
  ticket: string,
  parameters: string,
  session_id: string,
  log_level: number,
  save_log: boolean
): number

​

bidang ticket

{
  "url": "wss://dashscope.aliyuncs.com/api-ws/v1/inference",
  "apikey": "st-****",
  "device_id": "my_device_id"
}

​

bidang parameters

{
  "model": "cosyvoice-v3-plus",
  "voice": "longanyang",
  "format": "mp3",
  "sample_rate": 24000,
  "volume": 50,
  "rate": 1.0,
  "pitch": 1.0,
  "enable_audio_decoder": true
}

​

sendStreamInputTts

sendStreamInputTts(text: string): number

​

stopStreamInputTts

stopStreamInputTts(flag_async: boolean = true): number

• true (default): Akhiri secara asinkron dan segera kembalikan. Tunggu STREAM_INPUT_TTS_EVENT_SYNTHESIS_COMPLETE untuk memastikan bahwa sintesis telah selesai.
• false: Blokir hingga semua audio dan peristiwa sintesis selesai diterima. Waktu habis dikendalikan oleh complete_waiting_ms.

​

cancelStreamInputTts

cancelStreamInputTts(): number

​

cancelStreamInputTtsKeepConnection

cancelStreamInputTtsKeepConnection(): number

​

playStreamInputTts

playStreamInputTts(
  callback: INativeStreamInputTtsCallback,
  ticket: string,
  parameters: string,
  text: string,
  session_id: string,
  log_level: number,
  save_log: boolean
): number

​

asyncPlayStreamInputTts

asyncPlayStreamInputTts(
  callback: INativeStreamInputTtsCallback,
  ticket: string,
  parameters: string,
  text: string,
  session_id: string,
  log_level: number,
  save_log: boolean
): number

​

releaseStreamInputTts

releaseStreamInputTts(): number

​

INativeStreamInputTtsCallback

export interface INativeStreamInputTtsCallback {
  onStreamInputTtsEventCallback(
    event: StreamInputTtsEvent,
    task_id: string,
    session_id: string,
    ret_code: number,
    error_msg: string,
    timestamp: string,
    all_response: string
  ): void;

  onStreamInputTtsDataCallback(data: ArrayBuffer | null): void;
}

​

onStreamInputTtsEventCallback

​

onStreamInputTtsDataCallback

onStreamInputTtsDataCallback(data: ArrayBuffer | null): void;

• Data MP3 dan Opus memerlukan decoder streaming. Sebagai alternatif, atur enable_audio_decoder ke true agar SDK mengembalikan PCM.
• Untuk merakit file yang lengkap, tambahkan data callback secara berurutan.
• Untuk WAV dan MP3, hanya callback pertama yang berisi header file. Setiap frame Opus adalah halaman Ogg independen dan dapat digabungkan secara berurutan.

​

StreamInputTtsEvent

{
  "header": {
    "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
    "event": "task-failed",
    "error_code": "InvalidParameter",
    "error_message": "[tts:]Engine return error code: 418",
    "attributes": {}
  },
  "payload": {}
}

​

Kode contoh

1. Dapatkan API key. Jangan melakukan hard-code API key berumur panjang di aplikasi klien. Kami menyarankan agar server aplikasi Anda mendapatkan API key sementara dan mengirimkannya ke klien.
2. Unduh paket SDK terbaru. Ekstrak paket tersebut, salin entry/libs/neonui.har ke direktori entry/libs aplikasi Anda, dan tambahkan dependensi ke entry/oh-package.json5:

{
  "dependencies": {
    "neonui": "file:libs/neonui.har"
  }
}

3. Buka proyek contoh dari paket SDK di DevEco Studio. Halaman contohnya adalah entry/src/main/ets/pages/dashscope/DashCosyVoiceStreamTtsPage.ets. Konfigurasikan API key dan jalankan proyek.

import { Constants, INativeStreamInputTtsCallback, NativeNui, StreamInputTtsEvent } from 'neonui';

const callback: INativeStreamInputTtsCallback = {
  onStreamInputTtsEventCallback: (event: StreamInputTtsEvent, taskId: string,
    sessionId: string, retCode: number, errorMsg: string,
    timestamp: string, allResponse: string): void => {
    if (event == StreamInputTtsEvent.STREAM_INPUT_TTS_EVENT_SYNTHESIS_COMPLETE) {
      // Synthesis is complete.
    } else if (event == StreamInputTtsEvent.STREAM_INPUT_TTS_EVENT_TASK_FAILED) {
      // Handle the error based on retCode, errorMsg, or allResponse.
    }
  },
  onStreamInputTtsDataCallback: (data: ArrayBuffer | null): void => {
    if (data != null) {
      // Write PCM to AudioRenderer, or append encoded audio data in order.
    }
  }
};

const nuiInstance = new NativeNui(Constants.ModeType.MODE_STREAM_INPUT_TTS);
const ticket: Record<string, Object> = {
  'url': 'wss://dashscope.aliyuncs.com/api-ws/v1/inference',
  'apikey': 'st-****',
  'device_id': 'my_device_id'
};
const parameters: Record<string, Object> = {
  'model': 'cosyvoice-v3-plus',
  'voice': 'longanyang',
  'format': 'mp3',
  'sample_rate': 24000,
  'enable_audio_decoder': true
};

const result = nuiInstance.startStreamInputTts(
  callback,
  JSON.stringify(ticket),
  JSON.stringify(parameters),
  '',
  Constants.LogLevel.LOG_LEVEL_INFO,
  false
);

if (result == Constants.NuiResultCode.SUCCESS) {
  nuiInstance.sendStreamInputTts('Hello, ');
  nuiInstance.sendStreamInputTts('welcome to real-time speech synthesis.');
  nuiInstance.stopStreamInputTts(true);
}

// Call nuiInstance.releaseStreamInputTts() from the SYNTHESIS_COMPLETE handler.

const oneShotInstance = new NativeNui(Constants.ModeType.MODE_STREAM_INPUT_TTS);
oneShotInstance.asyncPlayStreamInputTts(
  callback,
  JSON.stringify(ticket),
  JSON.stringify(parameters),
  'Hello, welcome to real-time speech synthesis.',
  '',
  Constants.LogLevel.LOG_LEVEL_INFO,
  false
);
// Call oneShotInstance.releaseStreamInputTts() from the SYNTHESIS_COMPLETE handler.

​

Fitur lanjutan

​

SSML

​

Ekspresi matematika