Referensi peristiwa klien Qwen-Audio-ASR-Message: bidang run-task, continue-task, dan finish-task, urutan pengiriman, serta peristiwa server terkait.
Alur peristiwa
- Kirim run-task. Tunggu task-started sebelum mengirim audio.
- Terus kirim audio sambil menerima peristiwa result-generated.
- Selama tugas berlangsung, gunakan continue-task untuk memperbarui konteks percakapan. Audio tetap dikirim melalui saluran audio.
- Setelah semua audio terkirim, kirim finish-task dan terima hasil hingga task-finished diterima. Tugas yang gagal mengembalikan task-failed.
run-task: WebSocket menggunakan frame biner, sedangkan AOQ menggunakan Audio Track. Untuk koneksi, autentikasi, dan transmisi audio, lihat API WebSocket atau akses AOQ.
run-task
Setelah koneksi terbentuk, klien mengirim peristiwa run-task untuk memulai tugas pengenalan dan mengonfigurasi model, format audio, sample rate, serta parameter lainnya.
headerobjectWajibactionstringWajibJenis perintah. Tetapkan ke
run-task.task_idstringWajibID tugas yang dihasilkan klien (format UUID) yang menghubungkan event berikutnya dengan tugas ini.
streamingstringWajibTetapkan ke
duplex.payloadobjectWajibtask_groupstringWajibGrup tugas. Tetapkan ke
audio.taskstringWajibJenis tugas. Tetapkan ke
asr.functionstringWajibJenis fungsi. Tetapkan ke
recognition.modelstringWajibNama model.
parametersobjectWajibParameter pengenalan ucapan.
formatstringWajibFormat audio.Nilai yang valid:
pcmwavmp3opusspeexaacamr
opus/speex: Harus menggunakan enkapsulasi Ogg.wav: Harus menggunakan encoding PCM.amr: Hanya tipe AMR-NB yang didukung.
sample_rateintegerWajibLaju sampel dalam Hz. Hanya
16000 yang didukung.keep_dialectbooleanOpsionalDefault:
false, yang mentranskripsikan dialek menjadi bahasa Mandarin standar. Tetapkan ke true untuk mempertahankan ungkapan dialek.Parameter ini hanya berlaku pada hasil akhir (
sentence_end=true) dan tidak didukung pada hasil sementara (sentence_end=false).vad_modelstringOpsionalModel VAD. Nilai default:
far_field_meeting_16k.near_meeting_16k: Untuk audio yang direkam dengan mikrofon dekat dengan pembicara, seperti panggilan layanan pelanggan menggunakan headset atau input suara pada aplikasi di ponsel yang dipegang.far_field_meeting_16k: Untuk audio yang direkam dengan mikrofon jauh dari pembicara, seperti interaksi dengan speaker pintar, penggunaan mikrofon bersama di ruang rapat, dan interaksi suara hands-free di kendaraan.
max_sentence_silenceintegerOpsionalAmbang keheningan VAD untuk segmentasi, dalam milidetik. Kalimat dianggap selesai jika keheningan setelah ucapan melebihi ambang ini. Default:
800. Rentang valid: [200, 6000].speech_noise_thresholdfloatOpsionalAmbang batas untuk membedakan ucapan dari kebisingan, digunakan untuk menyesuaikan sensitivitas Voice Activity Detection (VAD).Nilai yang valid: [-1.0, 1.0].Deskripsi nilai:
- Semakin dekat nilai ke -1: Ambang batas kebisingan menurun, sehingga kebisingan lebih mungkin dikenali sebagai ucapan, yang dapat menyebabkan lebih banyak kebisingan ditranskripsikan.
- Semakin dekat nilai ke +1: Ambang batas kebisingan meningkat, sehingga ucapan lebih mungkin salah dianggap sebagai kebisingan, yang dapat menyebabkan sebagian ucapan difilter.
- Uji dan verifikasi hasil secara menyeluruh sebelum menyesuaikan.
- Lakukan penyesuaian secara bertahap berdasarkan lingkungan audio aktual (langkah 0.1 direkomendasikan).
disfluency_removal_enabledbooleanOpsionalMenentukan apakah kata pengisi difilter dan teks keluaran dirapikan. Default:
false. Tetapkan ke true untuk mengaktifkan.intermediate_result_enabledbooleanOpsionalMenentukan apakah hasil streaming sementara dikembalikan. Default:
false. Tetapkan ke true untuk menerimanya.vocabulary_idstringOpsionalID daftar kata kunci yang telah dikompilasi sebelumnya.Hasilkan ID ini terlebih dahulu dengan memanggil API pembuatan daftar kata kunci. Berikan ID tersebut selama pengenalan untuk menggunakan kata kunci dalam daftar.Cocok untuk skenario di mana kosakata diketahui dan relatif stabil, serta Anda perlu menggunakan kembali daftar kata yang sama di berbagai permintaan.Untuk detail penggunaan, lihat Kata kunci yang telah dikompilasi.
vocabularyobjectOpsionalKata kunci instan.Diberikan sebagai pasangan kunci-nilai, di mana kunci adalah teks kata kunci (
string) dan nilai adalah bobot kata kunci (integer). Tidak perlu membuat daftar kata kunci terlebih dahulu. Bobot berkisar antara [1, 5] atau ditetapkan ke 50: nilai dalam [1, 5] membuat model lebih cenderung mengeluarkan kata tersebut seiring peningkatan nilainya; nilai 50 menunjukkan kata kunci super, yang sangat meningkatkan recall, tetapi jumlah kata kunci super tidak boleh melebihi 50.Cocok untuk optimasi kata kunci sementara tingkat sesi.Jika hotword instan dan prakompilasi dikonfigurasi bersama, sistem menggabungkan kedua kumpulan. Jika hasil gabungan melebihi 2000 hotword, sistem memilih 2000 secara acak untuk digunakan. Untuk detail penggunaan, lihat Hotword instan.
language_hintsarray[string]OpsionalBahasa audio yang akan dikenali. Tidak ada nilai default; jika tidak ditetapkan, model akan mendeteksi bahasa secara otomatis.Anda dapat menetapkan hingga 4 nilai. Jika lebih, hanya 4 nilai pertama yang berlaku.
Klik untuk melihat kode bahasa yang didukung
Klik untuk melihat kode bahasa yang didukung
zh: Chineseen: Englishja: Japaneseko: Koreanvi: Vietnameseth: Thaiid: Indonesianms: Malaytl: Filipinohi: Hindiar: Arabicfr: Frenchde: Germanes: Spanishpt: Portugueseru: Russianit: Italiannl: Dutchsv: Swedishda: Danishfi: Finnishno: Norwegianel: Greekpl: Polishcs: Czechhu: Hungarianro: Romanianbg: Bulgarianhr: Croatiansk: Slovak
Parameter ini hanya berlaku pada hasil akhir (
sentence_end=true) dan tidak didukung pada hasil sementara (sentence_end=false).heartbeatbooleanOpsionalApakah paket
heartbeat diaktifkan.Nilai default: false.true: Menjaga koneksi ke server tetap aktif meskipun audio diam dikirim terus-menerus.false(default): Meskipun audio diam dikirim terus-menerus, koneksi akan timeout dan ditutup setelah periode waktu tertentu.
inputobjectWajibObjek input. Berikan
{} jika tidak ada konteks yang disediakan.Hanya model qwen-audio-3.1-asr-flash-message yang mendukung konteks.
contextarray[object]OpsionalKonteks percakapan meningkatkan akurasi pengenalan untuk kosakata spesifik domain. Untuk detail penggunaan, lihat Peningkatan konteks.
- Jumlah pesan: Maksimal 5 pesan konteks untuk setiap jenis (
input_textdantext). Jika melebihi batas, hanya 5 pesan terbaru yang dipertahankan. - Panjang teks: Total panjang bidang
textdari pesanuserdanassistantper giliran tidak boleh melebihi 400 karakter. Setiap karakter dihitung sebagai 1. Kelebihan teks dipotong dari bagian akhir. - Urutan pesan: Susun pesan berdasarkan giliran percakapan. Dalam setiap giliran, pesan
user(input_text) harus mendahului pesanassistant(text) yang sesuai.
rolestringWajibPeran pesan. Nilai yang valid:
user: Hasil pengenalan dari giliran ucapan pengguna sebelumnya, atau daftar kata spesifik domain.assistant: Tanggapan dari model bahasa besar pada giliran sebelumnya.
contentarray[object]WajibDaftar konten pesan.
typestringWajibJenis konten. Nilai yang valid:
input_text: Hasil pengenalan dari giliran ucapan pengguna sebelumnya, atau daftar kata spesifik domain (digunakan saatroleadalahuser). Anda juga harus menyediakan bidangtext.text: Tanggapan dari model bahasa besar pada giliran sebelumnya (digunakan saatroleadalahassistant). Anda juga harus menyediakan bidangtext.
textstringWajibIsi teks. Saat
type bernilai input_text, masukkan hasil pengenalan dari giliran ucapan pengguna sebelumnya atau daftar kata spesifik domain. Saat type bernilai text, masukkan tanggapan dari model bahasa besar pada giliran sebelumnya.- Permintaan dasar
- Dengan konteks
- Hotword instan
Permintaan:
Respons:
continue-task
Setelah menerima task-started, klien dapat mengirim continue-task selama tugas berlangsung untuk memperbarui konteks percakapan bagi pengenalan berikutnya.
headerobjectWajibactionstringWajibJenis perintah. Tetapkan ke
continue-task.task_idstringWajibID tugas yang dihasilkan klien (dalam format UUID) harus sesuai dengan
task_id dalam event run-task.streamingstringWajibTetapkan ke
duplex.payloadobjectWajibinputobjectWajibcontextarray[object]OpsionalKonteks percakapan meningkatkan akurasi pengenalan untuk kosakata spesifik domain. Untuk detail penggunaan, lihat Peningkatan konteks.
- Jumlah pesan: Maksimal 5 pesan konteks untuk setiap jenis (
input_textdantext). Jika melebihi batas, hanya 5 pesan terbaru yang dipertahankan. - Panjang teks: Total panjang bidang
textdari pesanuserdanassistantper giliran tidak boleh melebihi 400 karakter. Setiap karakter dihitung sebagai 1. Kelebihan teks dipotong dari bagian akhir. - Urutan pesan: Susun pesan berdasarkan giliran percakapan. Dalam setiap giliran, pesan
user(input_text) harus mendahului pesanassistant(text) yang sesuai.
rolestringWajibPeran pesan. Nilai yang valid:
user: Hasil pengenalan dari giliran ucapan pengguna sebelumnya, atau daftar kata spesifik domain.assistant: Tanggapan dari model bahasa besar pada giliran sebelumnya.
contentarray[object]WajibDaftar konten pesan.
typestringWajibJenis konten. Nilai yang valid:
input_text: Hasil pengenalan dari giliran ucapan pengguna sebelumnya, atau daftar kata spesifik domain (digunakan saatroleadalahuser). Anda juga harus menyediakan bidangtext.text: Tanggapan dari model bahasa besar pada giliran sebelumnya (digunakan saatroleadalahassistant). Anda juga harus menyediakan bidangtext.
textstringWajibIsi teks. Saat
type bernilai input_text, masukkan hasil pengenalan dari giliran ucapan pengguna sebelumnya atau daftar kata spesifik domain. Saat type bernilai text, masukkan tanggapan dari model bahasa besar pada giliran sebelumnya.Contoh ini memperbarui konteks, lalu melanjutkan pengiriman audio. Contoh respons adalah hasil pengenalan yang diterima sesudahnya.
Permintaan:
Respons:
finish-task
Setelah seluruh data audio terkirim, klien mengirim peristiwa finish-task untuk memberi tahu server bahwa input audio selesai dan meminta penyelesaian tugas.
headerobjectWajibactionstringWajibJenis perintah. Tetapkan ke
finish-task.task_idstringWajibID tugas yang dihasilkan klien (format UUID) dan harus sesuai dengan
task_id dalam event run-task.streamingstringWajibTetapkan ke
duplex.payloadobjectWajibinputobjectWajibTetapkan ke
{}.Permintaan:
Respons: