Skip to main content

Peristiwa klien Qwen-Audio-ASR-Message

Referensi peristiwa klien Qwen-Audio-ASR-Message: bidang run-task, continue-task, dan finish-task, urutan pengiriman, serta peristiwa server terkait.

Alur peristiwa

  1. Kirim run-task. Tunggu task-started sebelum mengirim audio.
  2. Terus kirim audio sambil menerima peristiwa result-generated.
  3. Selama tugas berlangsung, gunakan continue-task untuk memperbarui konteks percakapan. Audio tetap dikirim melalui saluran audio.
  4. Setelah semua audio terkirim, kirim finish-task dan terima hasil hingga task-finished diterima. Tugas yang gagal mengembalikan task-failed.
Audio tidak dikirim melalui run-task: WebSocket menggunakan frame biner, sedangkan AOQ menggunakan Audio Track. Untuk koneksi, autentikasi, dan transmisi audio, lihat API WebSocket atau akses AOQ.

run-task

Setelah koneksi terbentuk, klien mengirim peristiwa run-task untuk memulai tugas pengenalan dan mengonfigurasi model, format audio, sample rate, serta parameter lainnya.
Tunggu task-started sebelum mengirim audio. run-task hanya memulai dan mengonfigurasi tugas; peristiwa ini tidak memuat data audio.
headerobjectWajib
actionstringWajib
Jenis perintah. Tetapkan ke run-task.
task_idstringWajib
ID tugas yang dihasilkan klien (format UUID) yang menghubungkan event berikutnya dengan tugas ini.
streamingstringWajib
Tetapkan ke duplex.
payloadobjectWajib
task_groupstringWajib
Grup tugas. Tetapkan ke audio.
taskstringWajib
Jenis tugas. Tetapkan ke asr.
functionstringWajib
Jenis fungsi. Tetapkan ke recognition.
modelstringWajib
Nama model.
parametersobjectWajib
Parameter pengenalan ucapan.
formatstringWajib
Format audio.Nilai yang valid:
  • pcm
  • wav
  • mp3
  • opus
  • speex
  • aac
  • amr
  • opus/speex: Harus menggunakan enkapsulasi Ogg.
  • wav: Harus menggunakan encoding PCM.
  • amr: Hanya tipe AMR-NB yang didukung.
sample_rateintegerWajib
Laju sampel dalam Hz. Hanya 16000 yang didukung.
keep_dialectbooleanOpsional
Default: false, yang mentranskripsikan dialek menjadi bahasa Mandarin standar. Tetapkan ke true untuk mempertahankan ungkapan dialek.
Parameter ini hanya berlaku pada hasil akhir (sentence_end=true) dan tidak didukung pada hasil sementara (sentence_end=false).
vad_modelstringOpsional
Model VAD. Nilai default: far_field_meeting_16k.
  • near_meeting_16k: Untuk audio yang direkam dengan mikrofon dekat dengan pembicara, seperti panggilan layanan pelanggan menggunakan headset atau input suara pada aplikasi di ponsel yang dipegang.
  • far_field_meeting_16k: Untuk audio yang direkam dengan mikrofon jauh dari pembicara, seperti interaksi dengan speaker pintar, penggunaan mikrofon bersama di ruang rapat, dan interaksi suara hands-free di kendaraan.
max_sentence_silenceintegerOpsional
Ambang keheningan VAD untuk segmentasi, dalam milidetik. Kalimat dianggap selesai jika keheningan setelah ucapan melebihi ambang ini. Default: 800. Rentang valid: [200, 6000].
speech_noise_thresholdfloatOpsional
Ambang batas untuk membedakan ucapan dari kebisingan, digunakan untuk menyesuaikan sensitivitas Voice Activity Detection (VAD).Nilai yang valid: [-1.0, 1.0].Deskripsi nilai:
  • Semakin dekat nilai ke -1: Ambang batas kebisingan menurun, sehingga kebisingan lebih mungkin dikenali sebagai ucapan, yang dapat menyebabkan lebih banyak kebisingan ditranskripsikan.
  • Semakin dekat nilai ke +1: Ambang batas kebisingan meningkat, sehingga ucapan lebih mungkin salah dianggap sebagai kebisingan, yang dapat menyebabkan sebagian ucapan difilter.
Ini adalah parameter konfigurasi lanjutan. Penyesuaian dapat berdampak signifikan pada hasil pengenalan. Rekomendasi:
  • Uji dan verifikasi hasil secara menyeluruh sebelum menyesuaikan.
  • Lakukan penyesuaian secara bertahap berdasarkan lingkungan audio aktual (langkah 0.1 direkomendasikan).
disfluency_removal_enabledbooleanOpsional
Menentukan apakah kata pengisi difilter dan teks keluaran dirapikan. Default: false. Tetapkan ke true untuk mengaktifkan.
intermediate_result_enabledbooleanOpsional
Menentukan apakah hasil streaming sementara dikembalikan. Default: false. Tetapkan ke true untuk menerimanya.
vocabulary_idstringOpsional
ID daftar kata kunci yang telah dikompilasi sebelumnya.Hasilkan ID ini terlebih dahulu dengan memanggil API pembuatan daftar kata kunci. Berikan ID tersebut selama pengenalan untuk menggunakan kata kunci dalam daftar.Cocok untuk skenario di mana kosakata diketahui dan relatif stabil, serta Anda perlu menggunakan kembali daftar kata yang sama di berbagai permintaan.Untuk detail penggunaan, lihat Kata kunci yang telah dikompilasi.
vocabularyobjectOpsional
Kata kunci instan.Diberikan sebagai pasangan kunci-nilai, di mana kunci adalah teks kata kunci (string) dan nilai adalah bobot kata kunci (integer). Tidak perlu membuat daftar kata kunci terlebih dahulu. Bobot berkisar antara [1, 5] atau ditetapkan ke 50: nilai dalam [1, 5] membuat model lebih cenderung mengeluarkan kata tersebut seiring peningkatan nilainya; nilai 50 menunjukkan kata kunci super, yang sangat meningkatkan recall, tetapi jumlah kata kunci super tidak boleh melebihi 50.Cocok untuk optimasi kata kunci sementara tingkat sesi.
Jika hotword instan dan prakompilasi dikonfigurasi bersama, sistem menggabungkan kedua kumpulan. Jika hasil gabungan melebihi 2000 hotword, sistem memilih 2000 secara acak untuk digunakan. Untuk detail penggunaan, lihat Hotword instan.
language_hintsarray[string]Opsional
Bahasa audio yang akan dikenali. Tidak ada nilai default; jika tidak ditetapkan, model akan mendeteksi bahasa secara otomatis.Anda dapat menetapkan hingga 4 nilai. Jika lebih, hanya 4 nilai pertama yang berlaku.
  • zh: Chinese
  • en: English
  • ja: Japanese
  • ko: Korean
  • vi: Vietnamese
  • th: Thai
  • id: Indonesian
  • ms: Malay
  • tl: Filipino
  • hi: Hindi
  • ar: Arabic
  • fr: French
  • de: German
  • es: Spanish
  • pt: Portuguese
  • ru: Russian
  • it: Italian
  • nl: Dutch
  • sv: Swedish
  • da: Danish
  • fi: Finnish
  • no: Norwegian
  • el: Greek
  • pl: Polish
  • cs: Czech
  • hu: Hungarian
  • ro: Romanian
  • bg: Bulgarian
  • hr: Croatian
  • sk: Slovak
Parameter ini hanya berlaku pada hasil akhir (sentence_end=true) dan tidak didukung pada hasil sementara (sentence_end=false).
heartbeatbooleanOpsional
Apakah paket heartbeat diaktifkan.Nilai default: false.
  • true: Menjaga koneksi ke server tetap aktif meskipun audio diam dikirim terus-menerus.
  • false (default): Meskipun audio diam dikirim terus-menerus, koneksi akan timeout dan ditutup setelah periode waktu tertentu.
Audio diam mengacu pada konten dalam file audio atau aliran data yang tidak mengandung sinyal suara. Anda dapat menghasilkan audio diam dengan beberapa cara, seperti menggunakan perangkat lunak pengedit audio seperti Audacity atau Adobe Audition, atau menggunakan alat command-line seperti FFmpeg.
inputobjectWajib
Objek input. Berikan {} jika tidak ada konteks yang disediakan.
Hanya model qwen-audio-3.1-asr-flash-message yang mendukung konteks.
contextarray[object]Opsional
Konteks percakapan meningkatkan akurasi pengenalan untuk kosakata spesifik domain. Untuk detail penggunaan, lihat Peningkatan konteks.
  • Jumlah pesan: Maksimal 5 pesan konteks untuk setiap jenis (input_text dan text). Jika melebihi batas, hanya 5 pesan terbaru yang dipertahankan.
  • Panjang teks: Total panjang bidang text dari pesan user dan assistant per giliran tidak boleh melebihi 400 karakter. Setiap karakter dihitung sebagai 1. Kelebihan teks dipotong dari bagian akhir.
  • Urutan pesan: Susun pesan berdasarkan giliran percakapan. Dalam setiap giliran, pesan user (input_text) harus mendahului pesan assistant (text) yang sesuai.
rolestringWajib
Peran pesan. Nilai yang valid:
  • user: Hasil pengenalan dari giliran ucapan pengguna sebelumnya, atau daftar kata spesifik domain.
  • assistant: Tanggapan dari model bahasa besar pada giliran sebelumnya.
contentarray[object]Wajib
Daftar konten pesan.
typestringWajib
Jenis konten. Nilai yang valid:
  • input_text: Hasil pengenalan dari giliran ucapan pengguna sebelumnya, atau daftar kata spesifik domain (digunakan saat role adalah user). Anda juga harus menyediakan bidang text.
  • text: Tanggapan dari model bahasa besar pada giliran sebelumnya (digunakan saat role adalah assistant). Anda juga harus menyediakan bidang text.
textstringWajib
Isi teks. Saat type bernilai input_text, masukkan hasil pengenalan dari giliran ucapan pengguna sebelumnya atau daftar kata spesifik domain. Saat type bernilai text, masukkan tanggapan dari model bahasa besar pada giliran sebelumnya.
  • Permintaan dasar
  • Dengan konteks
  • Hotword instan
Permintaan:
{
  "header": {
    "action": "run-task",
    "task_id": "ab4f7812-2d71-4e3d-93d3-b68ab80d3755",
    "streaming": "duplex"
  },
  "payload": {
    "input": {},
    "task_group": "audio",
    "task": "asr",
    "function": "recognition",
    "model": "qwen-audio-3.1-asr-flash-message",
    "parameters": {
      "format": "pcm",
      "sample_rate": 16000
    }
  }
}
Respons:
{
  "header": {
    "task_id": "ab4f7812-2d71-4e3d-93d3-b68ab80d3755",
    "task_uuid": "852196dba9d14bea9cf0d6e04ff0b027",
    "event": "task-started",
    "attributes": {}
  },
  "payload": {}
}

continue-task

Setelah menerima task-started, klien dapat mengirim continue-task selama tugas berlangsung untuk memperbarui konteks percakapan bagi pengenalan berikutnya.
headerobjectWajib
actionstringWajib
Jenis perintah. Tetapkan ke continue-task.
task_idstringWajib
ID tugas yang dihasilkan klien (dalam format UUID) harus sesuai dengan task_id dalam event run-task.
streamingstringWajib
Tetapkan ke duplex.
payloadobjectWajib
inputobjectWajib
contextarray[object]Opsional
Konteks percakapan meningkatkan akurasi pengenalan untuk kosakata spesifik domain. Untuk detail penggunaan, lihat Peningkatan konteks.
  • Jumlah pesan: Maksimal 5 pesan konteks untuk setiap jenis (input_text dan text). Jika melebihi batas, hanya 5 pesan terbaru yang dipertahankan.
  • Panjang teks: Total panjang bidang text dari pesan user dan assistant per giliran tidak boleh melebihi 400 karakter. Setiap karakter dihitung sebagai 1. Kelebihan teks dipotong dari bagian akhir.
  • Urutan pesan: Susun pesan berdasarkan giliran percakapan. Dalam setiap giliran, pesan user (input_text) harus mendahului pesan assistant (text) yang sesuai.
rolestringWajib
Peran pesan. Nilai yang valid:
  • user: Hasil pengenalan dari giliran ucapan pengguna sebelumnya, atau daftar kata spesifik domain.
  • assistant: Tanggapan dari model bahasa besar pada giliran sebelumnya.
contentarray[object]Wajib
Daftar konten pesan.
typestringWajib
Jenis konten. Nilai yang valid:
  • input_text: Hasil pengenalan dari giliran ucapan pengguna sebelumnya, atau daftar kata spesifik domain (digunakan saat role adalah user). Anda juga harus menyediakan bidang text.
  • text: Tanggapan dari model bahasa besar pada giliran sebelumnya (digunakan saat role adalah assistant). Anda juga harus menyediakan bidang text.
textstringWajib
Isi teks. Saat type bernilai input_text, masukkan hasil pengenalan dari giliran ucapan pengguna sebelumnya atau daftar kata spesifik domain. Saat type bernilai text, masukkan tanggapan dari model bahasa besar pada giliran sebelumnya.
Contoh ini memperbarui konteks, lalu melanjutkan pengiriman audio. Contoh respons adalah hasil pengenalan yang diterima sesudahnya.
Permintaan:
{
  "header": {
    "action": "continue-task",
    "task_id": "bdebb544-9411-413b-a199-aa43485716a0",
    "streaming": "duplex"
  },
  "payload": {
    "input": {
      "context": [
        {
          "role": "user",
          "content": [
            {
              "type": "input_text",
              "text": "We were discussing the quarterly report."
            }
          ]
        },
        {
          "role": "assistant",
          "content": [
            {
              "type": "text",
              "text": "Please send the quarterly report to the project lead."
            }
          ]
        }
      ]
    }
  }
}
Respons:
{
  "header": {
    "task_id": "bdebb544-9411-413b-a199-aa43485716a0",
    "event": "result-generated",
    "attributes": {}
  },
  "payload": {
    "output": {
      "sentence": {
        "sentence_id": 1,
        "begin_time": 120,
        "end_time": 4040,
        "text": "Please send the quarterly project report to Kellera before Friday. ",
        "sentence_end": true,
        "words": [
          {
            "begin_time": 120,
            "end_time": 320,
            "text": "Please",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 320,
            "end_time": 560,
            "text": " send",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 560,
            "end_time": 760,
            "text": " the",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 760,
            "end_time": 1360,
            "text": " quarterly",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 1360,
            "end_time": 1800,
            "text": " project",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 1800,
            "end_time": 2120,
            "text": " report",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 2120,
            "end_time": 2280,
            "text": " to",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 2280,
            "end_time": 2336,
            "text": " ",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 2336,
            "end_time": 2560,
            "text": "Kell",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 2560,
            "end_time": 2800,
            "text": "era",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 2800,
            "end_time": 3160,
            "text": " before",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 3160,
            "end_time": 4040,
            "text": " Friday",
            "punctuation": ". ",
            "fixed": false
          }
        ],
        "stash": {
          "sentence_id": 2,
          "text": "",
          "begin_time": 4040,
          "current_time": 4040,
          "words": []
        }
      }
    },
    "usage": {
      "duration": 4,
      "input_tokens": 73,
      "output_tokens": 13,
      "total_tokens": 86
    }
  }
}

finish-task

Setelah seluruh data audio terkirim, klien mengirim peristiwa finish-task untuk memberi tahu server bahwa input audio selesai dan meminta penyelesaian tugas.
Setelah mengirim finish-task, terus terima hasil yang tersisa hingga task-finished diterima. Gunakan task_id yang sama seperti pada run-task.
headerobjectWajib
actionstringWajib
Jenis perintah. Tetapkan ke finish-task.
task_idstringWajib
ID tugas yang dihasilkan klien (format UUID) dan harus sesuai dengan task_id dalam event run-task.
streamingstringWajib
Tetapkan ke duplex.
payloadobjectWajib
inputobjectWajib
Tetapkan ke {}.
Permintaan:
{
  "header": {
    "action": "finish-task",
    "task_id": "ab4f7812-2d71-4e3d-93d3-b68ab80d3755",
    "streaming": "duplex"
  },
  "payload": {
    "input": {}
  }
}
Respons:
{
  "header": {
    "task_id": "ab4f7812-2d71-4e3d-93d3-b68ab80d3755",
    "event": "task-finished",
    "attributes": {}
  },
  "payload": {
    "output": {},
    "usage": {
      "duration": 4,
      "input_tokens": 51,
      "output_tokens": 13,
      "total_tokens": 64
    }
  }
}