Skip to main content

Peristiwa server Qwen-Audio-TTS

Referensi peristiwa server Qwen-Audio-TTS: bidang awal tugas, sintesis kalimat, penyelesaian, kegagalan, dan permintaan terkait.

Alur peristiwa

  1. Kirim run-task untuk memulai dan mengonfigurasi tugas, lalu tunggu task-started.
  2. Setelah menerima task-started, kirim teks melalui continue-task sambil menerima result-generated dan audio hasil sintesis.
  3. Setelah semua teks terkirim, kirim finish-task dan terus terima sisa hasil serta audio hingga task-finished diterima. Tugas yang gagal mengembalikan task-failed.
result-generated mengembalikan metadata kalimat. Audio dikirim secara terpisah melalui frame biner WebSocket atau Audio Track AOQ. Untuk koneksi, autentikasi, dan transmisi audio, lihat API WebSocket atau akses AOQ.

task-started

Menunjukkan bahwa tugas berhasil dimulai dan klien dapat mulai mengirim teks untuk sintesis.
Tunggu task-started sebelum mengirim continue-task. run-task hanya memulai dan mengonfigurasi tugas. Kirim teks yang akan disintesis melalui continue-task.
headerobject
task_idstring
ID tugas yang dihasilkan oleh klien.
eventstring
Jenis event. Nilai tetap: task-started.
payloadobject
Objek kosong.
Permintaan:
{
  "header": {
    "action": "run-task",
    "task_id": "f604f46b-5329-4520-a767-4ede894e0418",
    "streaming": "duplex"
  },
  "payload": {
    "input": {},
    "task_group": "audio",
    "task": "tts",
    "function": "SpeechSynthesizer",
    "model": "qwen-audio-3.1-tts-flash",
    "parameters": {
      "text_type": "PlainText",
      "voice": "longanhuan_v3.1",
      "format": "mp3",
      "sample_rate": 22050
    }
  }
}
Respons:
{
  "header": {
    "task_id": "f604f46b-5329-4520-a767-4ede894e0418",
    "task_uuid": "573f4010c82040ad90d2a15e7d8afdbd",
    "event": "task-started",
    "attributes": {}
  },
  "payload": {}
}

result-generated

Mengembalikan metadata kalimat, termasuk awal kalimat, penanda potongan data audio, dan akhir kalimat.
sentence-end menandai selesainya sintesis satu kalimat, bukan seluruh tugas. Tugas berakhir saat task-finished diterima. Audio dikembalikan melalui frame biner WebSocket atau Audio Track AOQ.
headerobject
task_idstring
ID tugas yang dihasilkan oleh klien.
eventstring
Jenis event. Nilai tetap: result-generated.
payloadobject
outputobject
Informasi output.
sentenceobject
indexinteger
Indeks kalimat, dimulai dari 0.
wordsarray
Array timestamp tingkat kata.
textstring
Konten teks kata tersebut.
begin_indexinteger
Indeks karakter awal kata dalam kalimat. Dimulai dari 0.
end_indexinteger
Indeks karakter akhir kata dalam kalimat. Dimulai dari 1.
begin_timeinteger
Waktu mulai audio yang sesuai dengan kata tersebut, dalam milidetik.
end_timeinteger
Waktu akhir audio yang sesuai dengan kata tersebut, dalam milidetik.
typestring
Jenis sub-event. Nilai yang valid:
  • sentence-begin: Awal kalimat. Mengembalikan teks yang akan disintesis.
  • sentence-synthesis: Menandai satu frame audio. Satu frame audio dikirimkan melalui saluran biner WebSocket segera setelah setiap event.
  • sentence-end: Akhir kalimat. Mengembalikan konten teks dan informasi penggunaan (usage).
original_textstring
Teks kalimat sebagaimana telah disegmentasi untuk sintesis.
usageobject
Penggunaan untuk penagihan, dikembalikan dalam event sentence-end.
  • usage berisi penggunaan kumulatif tugas saat ini. Jangan menjumlahkan nilai usage dari beberapa peristiwa. Setelah tugas selesai, gunakan penggunaan kumulatif akhir dalam task-finished.
  • qwen-audio-3.1-tts-flash: ditagih berdasarkan token input dan output, yang masing-masing dilaporkan dalam input_tokens dan output_tokens. Total penggunaan dilaporkan dalam total_tokens.
  • qwen-audio-3.1-tts-plus: ditagih berdasarkan karakter (characters). Model ini juga mengembalikan bidang statistik token di atas.
  • qwen-audio-3.0-tts-plus dan qwen-audio-3.0-tts-flash: ditagih berdasarkan karakter (characters).
input_tokensinteger
Jumlah token input untuk permintaan ini.
output_tokensinteger
Jumlah token output untuk permintaan ini.
total_tokensinteger
Jumlah token input dan output.
charactersinteger
Jumlah kumulatif karakter yang ditagih.
Contoh berikut mengatur word_timestamp_enabled=true saat memulai tugas.
  • sentence-begin
  • sentence-synthesis
  • sentence-end
Permintaan:
{
  "header": {
    "action": "continue-task",
    "task_id": "51bcc1f0-b65f-484a-8f5f-5f22b2a90607",
    "streaming": "duplex"
  },
  "payload": {
    "input": {
      "text": "Welcome to the speech synthesis service."
    }
  }
}
Respons:
{
  "header": {
    "task_id": "51bcc1f0-b65f-484a-8f5f-5f22b2a90607",
    "event": "result-generated",
    "attributes": {
      "x-dashscope-inner-response-type": "ws"
    }
  },
  "payload": {
    "output": {
      "sentence": {
        "index": 0,
        "words": [
          {
            "text": "Welcome",
            "begin_index": 0,
            "end_index": 1,
            "begin_time": 80,
            "end_time": 400
          },
          {
            "text": " to",
            "begin_index": 1,
            "end_index": 2,
            "begin_time": 400,
            "end_time": 640
          },
          {
            "text": " the",
            "begin_index": 2,
            "end_index": 3,
            "begin_time": 640,
            "end_time": 720
          },
          {
            "text": " speech",
            "begin_index": 3,
            "end_index": 4,
            "begin_time": 720,
            "end_time": 1040
          },
          {
            "text": " synthesis",
            "begin_index": 4,
            "end_index": 5,
            "begin_time": 1120,
            "end_time": 1600
          }
        ]
      },
      "type": "sentence-begin",
      "original_text": "Welcome to the speech synthesis service.",
      "normalized_text": "Welcome to the speech synthesis service."
    }
  }
}

task-finished

Server mengembalikan event task-finished ketika tugas selesai. Klien kemudian dapat menutup koneksi WebSocket atau menggunakannya kembali untuk memulai tugas baru.
headerobject
task_idstring
ID tugas yang dihasilkan oleh klien.
eventstring
Jenis event. Nilai tetap: task-finished.
payloadobject
usageobject
Field sama dengan usage di result-generated.
Permintaan:
{
  "header": {
    "action": "finish-task",
    "task_id": "f604f46b-5329-4520-a767-4ede894e0418",
    "streaming": "duplex"
  },
  "payload": {
    "input": {}
  }
}
Respons:
{
  "header": {
    "task_id": "f604f46b-5329-4520-a767-4ede894e0418",
    "event": "task-finished",
    "attributes": {
      "x-dashscope-inner-response-type": "ws"
    }
  },
  "payload": {
    "output": {},
    "usage": {
      "input_tokens": 7,
      "output_tokens": 30,
      "total_tokens": 37,
      "characters": 40
    }
  }
}

task-failed

Server mengembalikan event task-failed ketika tugas gagal. Saat menerima event ini, klien harus menutup koneksi WebSocket dan menangani kesalahan tersebut.
headerobject
task_idstring
ID tugas yang dihasilkan oleh klien.
eventstring
Jenis event. Nilai tetap: task-failed.
error_codestring
Kode kesalahan.
error_messagestring
Pesan kesalahan detail.
Contoh ini menggunakan format audio yang tidak didukung. Setelah tugas dimulai dan teks dikirim, server mengembalikan kesalahan. Kode dan pesan kesalahan bergantung pada penyebab kegagalan.
Permintaan:
{
  "header": {
    "action": "run-task",
    "task_id": "7b091c3c-4b35-4c54-9b22-250749ce1b74",
    "streaming": "duplex"
  },
  "payload": {
    "input": {},
    "task_group": "audio",
    "task": "tts",
    "function": "SpeechSynthesizer",
    "model": "qwen-audio-3.1-tts-flash",
    "parameters": {
      "text_type": "PlainText",
      "voice": "longanhuan_v3.1",
      "format": "invalid-format",
      "sample_rate": 22050
    }
  }
}
Respons:
{
  "header": {
    "task_id": "7b091c3c-4b35-4c54-9b22-250749ce1b74",
    "event": "task-failed",
    "error_code": "InvalidParameter",
    "error_message": "Request format is invalid!"
  },
  "payload": {}
}