Skip to main content

Peristiwa server CosyVoice

Referensi peristiwa server CosyVoice: bidang awal tugas, sintesis kalimat, penyelesaian, kegagalan, dan permintaan terkait.

Alur peristiwa

  1. Kirim run-task untuk memulai dan mengonfigurasi tugas, lalu tunggu task-started.
  2. Setelah menerima task-started, kirim teks melalui continue-task sambil menerima result-generated dan audio hasil sintesis.
  3. Setelah semua teks terkirim, kirim finish-task dan terus terima sisa hasil serta audio hingga task-finished diterima. Tugas yang gagal mengembalikan task-failed.
result-generated mengembalikan metadata kalimat. Audio dikirim secara terpisah melalui frame biner WebSocket atau Audio Track AOQ. Untuk koneksi, autentikasi, dan transmisi audio, lihat API WebSocket atau akses AOQ.

task-started

Menunjukkan bahwa tugas berhasil dimulai dan klien dapat mulai mengirim teks untuk sintesis.
Tunggu task-started sebelum mengirim continue-task. run-task hanya memulai dan mengonfigurasi tugas. Kirim teks yang akan disintesis melalui continue-task.
headerobject
task_idstring
ID tugas yang dihasilkan oleh klien.
eventstring
Jenis event. Nilai tetap: task-started.
payloadobject
Objek kosong.
Permintaan:
{
  "header": {
    "action": "run-task",
    "task_id": "b6e6cdf6-e9fa-429c-b1c1-cd231977c918",
    "streaming": "duplex"
  },
  "payload": {
    "input": {},
    "task_group": "audio",
    "task": "tts",
    "function": "SpeechSynthesizer",
    "model": "cosyvoice-v3-plus",
    "parameters": {
      "text_type": "PlainText",
      "voice": "longanyang",
      "format": "mp3",
      "sample_rate": 22050
    }
  }
}
Respons:
{
  "header": {
    "task_id": "b6e6cdf6-e9fa-429c-b1c1-cd231977c918",
    "task_uuid": "1dd2b10b644e45b798f58ef96405215e",
    "event": "task-started",
    "attributes": {}
  },
  "payload": {}
}

result-generated

Mengembalikan metadata kalimat, termasuk awal kalimat, penanda potongan data audio, dan akhir kalimat.
sentence-end menandai selesainya sintesis satu kalimat, bukan seluruh tugas. Tugas berakhir saat task-finished diterima. Audio dikembalikan melalui frame biner WebSocket atau Audio Track AOQ.
headerobject
task_idstring
ID tugas yang dihasilkan oleh klien.
eventstring
Jenis event. Nilai tetap: result-generated.
payloadobject
outputobject
Informasi output.
sentenceobject
indexinteger
Indeks kalimat, dimulai dari 0.
wordsarray
Array timestamp tingkat kata.
textstring
Konten teks kata tersebut.
begin_indexinteger
Indeks karakter awal kata dalam kalimat. Dimulai dari 0.
end_indexinteger
Indeks karakter akhir kata dalam kalimat. Dimulai dari 1.
begin_timeinteger
Waktu mulai audio yang sesuai dengan kata tersebut, dalam milidetik.
end_timeinteger
Waktu akhir audio yang sesuai dengan kata tersebut, dalam milidetik.
typestring
Jenis sub-event. Nilai yang valid:
  • sentence-begin: Awal kalimat. Mengembalikan teks yang akan disintesis.
  • sentence-synthesis: Menandai satu frame audio. Satu frame audio dikirimkan melalui saluran biner WebSocket segera setelah setiap event.
  • sentence-end: Akhir kalimat. Mengembalikan konten teks dan jumlah kumulatif karakter.
original_textstring
Teks kalimat sebagaimana telah disegmentasi untuk sintesis.
usageobject
Informasi penagihan, dikembalikan dalam event sentence-end.
usage berisi penggunaan kumulatif tugas saat ini. Jangan menjumlahkan nilai usage dari beberapa peristiwa. Setelah tugas selesai, gunakan penggunaan kumulatif akhir dalam task-finished.
charactersinteger
Jumlah kumulatif karakter yang ditagih.
Contoh berikut mengatur word_timestamp_enabled=true saat memulai tugas.
  • sentence-begin
  • sentence-synthesis
  • sentence-end
Permintaan:
{
  "header": {
    "action": "continue-task",
    "task_id": "3785722c-8fb0-42cf-9fbe-21dd8d8c29bf",
    "streaming": "duplex"
  },
  "payload": {
    "input": {
      "text": "Welcome to the speech synthesis service."
    }
  }
}
Respons:
{
  "header": {
    "task_id": "3785722c-8fb0-42cf-9fbe-21dd8d8c29bf",
    "event": "result-generated",
    "attributes": {
      "x-dashscope-inner-response-type": "ws"
    }
  },
  "payload": {
    "output": {
      "sentence": {
        "index": 0,
        "words": [
          {
            "text": "Welcome",
            "begin_index": 0,
            "end_index": 1,
            "begin_time": 0,
            "end_time": 560
          }
        ]
      },
      "type": "sentence-begin",
      "original_text": "Welcome to the speech synthesis service.",
      "normalized_text": "Welcome to the speech synthesis service."
    }
  }
}

task-finished

Server mengembalikan event task-finished ketika tugas selesai. Klien kemudian dapat menutup koneksi WebSocket atau menggunakannya kembali untuk memulai tugas baru.
headerobject
task_idstring
ID tugas yang dihasilkan oleh klien.
eventstring
Jenis event. Nilai tetap: task-finished.
payloadobject
usageobject
charactersinteger
Jumlah kumulatif karakter yang ditagih.
Permintaan:
{
  "header": {
    "action": "finish-task",
    "task_id": "b6e6cdf6-e9fa-429c-b1c1-cd231977c918",
    "streaming": "duplex"
  },
  "payload": {
    "input": {}
  }
}
Respons:
{
  "header": {
    "task_id": "b6e6cdf6-e9fa-429c-b1c1-cd231977c918",
    "event": "task-finished",
    "attributes": {
      "x-dashscope-inner-response-type": "ws"
    }
  },
  "payload": {
    "output": {},
    "usage": {
      "characters": 40
    }
  }
}

task-failed

Server mengembalikan event task-failed ketika tugas gagal. Saat menerima event ini, klien harus menutup koneksi WebSocket dan menangani kesalahan tersebut.
headerobject
task_idstring
ID tugas yang dihasilkan oleh klien.
eventstring
Jenis event. Nilai tetap: task-failed.
error_codestring
Kode kesalahan.
error_messagestring
Pesan kesalahan detail.
Contoh ini menggunakan format audio yang tidak didukung. Setelah tugas dimulai dan teks dikirim, server mengembalikan kesalahan. Kode dan pesan kesalahan bergantung pada penyebab kegagalan.
Permintaan:
{
  "header": {
    "action": "run-task",
    "task_id": "27928f57-cf3b-4f3d-a245-aef64895a3c9",
    "streaming": "duplex"
  },
  "payload": {
    "input": {},
    "task_group": "audio",
    "task": "tts",
    "function": "SpeechSynthesizer",
    "model": "cosyvoice-v3-plus",
    "parameters": {
      "text_type": "PlainText",
      "voice": "longanyang",
      "format": "invalid-format",
      "sample_rate": 22050
    }
  }
}
Respons:
{
  "header": {
    "task_id": "27928f57-cf3b-4f3d-a245-aef64895a3c9",
    "event": "task-failed",
    "error_code": "InvalidParameter",
    "error_message": "Request format is invalid!"
  },
  "payload": {}
}