Referensi peristiwa klien Qwen-Audio-ASR-Streaming: bidang run-task dan finish-task, urutan pengiriman, serta peristiwa server terkait.
Alur peristiwa
- Kirim run-task. Tunggu task-started sebelum mengirim audio.
- Terus kirim audio sambil menerima peristiwa result-generated.
- Setelah semua audio terkirim, kirim finish-task dan terima hasil hingga task-finished diterima. Tugas yang gagal mengembalikan task-failed.
run-task: WebSocket menggunakan frame biner, sedangkan AOQ menggunakan Audio Track. Untuk koneksi, autentikasi, dan transmisi audio, lihat API WebSocket atau akses AOQ.
run-task
Setelah koneksi terbentuk, klien mengirim peristiwa run-task untuk memulai tugas pengenalan dan mengonfigurasi model, format audio, sample rate, serta parameter lainnya.
headerobjectWajibactionstringWajibJenis perintah. Tetapkan ke
run-task.task_idstringWajibID tugas yang dihasilkan klien (format UUID) yang menghubungkan event berikutnya dengan tugas ini.
streamingstringWajibTetapkan ke
duplex.payloadobjectWajibtask_groupstringWajibGrup tugas. Tetapkan ke
audio.taskstringWajibJenis tugas. Tetapkan ke
asr.functionstringWajibJenis fungsi. Tetapkan ke
recognition.modelstringWajibNama model.
parametersobjectWajibParameter pengenalan ucapan.
formatstringWajibFormat audio.Nilai yang valid:
pcmwavmp3opusspeexaacamr
opus/speex: Harus menggunakan enkapsulasi Ogg.wav: Harus menggunakan encoding PCM.amr: Hanya tipe AMR-NB yang didukung.
sample_rateintegerWajibLaju sampel dalam Hz. Semua laju sampel didukung.
keep_dialectbooleanOpsionalHanya berlaku untuk qwen-audio-3.1-asr-flash-streaming.
false, yang mentranskripsikan dialek menjadi bahasa Mandarin standar. Tetapkan ke true untuk mempertahankan ungkapan dialek.vad_modelstringOpsionalHanya berlaku untuk qwen-audio-3.1-asr-flash-streaming.
far_field_meeting_16k.near_meeting_16k: Untuk audio yang direkam dengan mikrofon dekat dengan pembicara, seperti panggilan layanan pelanggan menggunakan headset atau input suara pada aplikasi di ponsel yang dipegang.far_field_meeting_16k: Untuk audio yang direkam dengan mikrofon jauh dari pembicara, seperti interaksi dengan speaker pintar, penggunaan mikrofon bersama di ruang rapat, dan interaksi suara hands-free di kendaraan.
max_sentence_silenceintegerOpsionalAmbang batas diam VAD untuk segmentasi, dalam ms. Ketika keheningan setelah segmen ucapan melebihi ambang batas ini, sistem menentukan bahwa kalimat telah berakhir.Nilai default: 800.Nilai yang valid: [200, 6000].
multi_threshold_mode_enabledbooleanOpsionalApakah mode multi-ambang batas diaktifkan. Saat diaktifkan, ini mencegah segmen VAD menjadi terlalu panjang.Nilai default:
false.speech_noise_thresholdfloatOpsionalAmbang batas untuk membedakan ucapan dari kebisingan, digunakan untuk menyesuaikan sensitivitas Voice Activity Detection (VAD).Nilai yang valid: [-1.0, 1.0].Deskripsi nilai:
- Semakin dekat nilai ke -1: Ambang batas kebisingan menurun, sehingga kebisingan lebih mungkin dikenali sebagai ucapan, yang dapat menyebabkan lebih banyak kebisingan ditranskripsikan.
- Semakin dekat nilai ke +1: Ambang batas kebisingan meningkat, sehingga ucapan lebih mungkin salah dianggap sebagai kebisingan, yang dapat menyebabkan sebagian ucapan difilter.
- Uji dan verifikasi hasil secara menyeluruh sebelum menyesuaikan.
- Lakukan penyesuaian secara bertahap berdasarkan lingkungan audio aktual (langkah 0.1 direkomendasikan).
vocabulary_idstringOpsionalID daftar kata kunci yang telah dikompilasi sebelumnya.Hasilkan ID ini terlebih dahulu dengan memanggil API pembuatan daftar kata kunci. Berikan ID tersebut selama pengenalan untuk menggunakan kata kunci dalam daftar.Cocok untuk skenario di mana kosakata diketahui dan relatif stabil, serta Anda perlu menggunakan kembali daftar kata yang sama di berbagai permintaan.Untuk detail penggunaan, lihat Kata kunci yang telah dikompilasi.
vocabularyobjectOpsionalKata kunci instan.Diberikan sebagai pasangan kunci-nilai, di mana kunci adalah teks kata kunci (
string) dan nilai adalah bobot kata kunci (integer). Tidak perlu membuat daftar kata kunci terlebih dahulu. Bobot berkisar antara [1, 5] atau ditetapkan ke 50: nilai dalam [1, 5] membuat model lebih cenderung mengeluarkan kata tersebut seiring peningkatan nilainya; nilai 50 menunjukkan kata kunci super, yang sangat meningkatkan recall, tetapi jumlah kata kunci super tidak boleh melebihi 50.Cocok untuk optimasi kata kunci sementara tingkat sesi.Jika hotword instan dan prakompilasi dikonfigurasi bersama, sistem menggabungkan kedua kumpulan. Jika hasil gabungan melebihi 2000 hotword, sistem memilih 2000 secara acak untuk digunakan. Untuk detail penggunaan, lihat Hotword instan.
language_hintsarray[string]OpsionalBahasa audio yang akan dikenali. Tidak ada nilai default; jika tidak ditetapkan, model akan mendeteksi bahasa secara otomatis.Anda dapat menetapkan hingga 4 nilai. Jika lebih, hanya 4 nilai pertama yang berlaku.
Klik untuk melihat kode bahasa yang didukung
Klik untuk melihat kode bahasa yang didukung
zh: Chineseen: Englishja: Japaneseko: Koreanvi: Vietnameseth: Thaiid: Indonesianms: Malaytl: Filipinohi: Hindiar: Arabicfr: Frenchde: Germanes: Spanishpt: Portugueseru: Russianit: Italiannl: Dutchsv: Swedishda: Danishfi: Finnishno: Norwegianel: Greekpl: Polishcs: Czechhu: Hungarianro: Romanianbg: Bulgarianhr: Croatiansk: Slovak
heartbeatbooleanOpsionalApakah paket heartbeat diaktifkan.Nilai default:
false.true: Menjaga koneksi ke server tetap aktif meskipun audio diam dikirim terus-menerus.false(default): Meskipun audio diam dikirim terus-menerus, koneksi akan timeout dan ditutup setelah periode waktu tertentu.
special_word_filterstringOpsionalAturan penyaringan untuk mengganti kata tertentu dalam hasil pengenalan dengan tanda bintang dalam jumlah yang sama atau menghapusnya. Nilainya berupa string JSON hasil serialisasi objek aturan. Maksimal 32 kata sensitif dapat dikonfigurasi. Tidak ada penyaringan jika parameter dihilangkan.
filter_with_signed.word_list: Array string. Kata yang cocok diganti dengan tanda bintang berjumlah sama.filter_with_empty.word_list: Array string. Kata yang cocok dihapus dari hasil.system_reserved_filter: Boolean, defaultfalse. Mengontrol penggunaan daftar bawaan. Dua daftar di atas mengatur penggantian dan penghapusan kustom.
inputobjectWajibObjek input. Berikan
{} jika tidak ada konteks yang disediakan.contextarray(object)OpsionalKonteks percakapan meningkatkan akurasi pengenalan untuk kosakata spesifik domain. Untuk detail penggunaan, lihat Peningkatan konteks.
- Jumlah pesan: Maksimal 5 pesan konteks untuk setiap jenis (
input_textdantext). Jika melebihi batas, hanya 5 pesan terbaru yang dipertahankan. - Panjang teks: Total panjang bidang
textdari pesanuserdanassistantper giliran tidak boleh melebihi 400 karakter. Setiap karakter dihitung sebagai 1. Kelebihan teks dipotong dari bagian akhir. - Urutan pesan: Susun pesan berdasarkan giliran percakapan. Dalam setiap giliran, pesan
user(input_text) harus mendahului pesanassistant(text) yang sesuai.
rolestringWajibPeran pesan. Nilai yang valid:
user: Hasil pengenalan dari giliran ucapan pengguna sebelumnya, atau daftar kata spesifik domain.assistant: Tanggapan dari model bahasa besar pada giliran sebelumnya.
contentarray(object)WajibDaftar konten pesan.
typestringWajibJenis konten. Nilai yang valid:
input_text: Hasil pengenalan dari giliran ucapan pengguna sebelumnya, atau daftar kata spesifik domain (digunakan saatroleadalahuser). Anda juga harus menyediakan bidangtext.text: Tanggapan dari model bahasa besar pada giliran sebelumnya (digunakan saatroleadalahassistant). Anda juga harus menyediakan bidangtext.
textstringWajibIsi teks. Saat
type bernilai input_text, masukkan hasil pengenalan dari giliran ucapan pengguna sebelumnya atau daftar kata spesifik domain. Saat type bernilai text, masukkan tanggapan dari model bahasa besar pada giliran sebelumnya.- Permintaan dasar
- Dengan konteks
- Hotword instan
Permintaan:
Respons:
finish-task
Setelah seluruh data audio terkirim, klien mengirim peristiwa finish-task untuk memberi tahu server bahwa input audio selesai dan meminta penyelesaian tugas.
headerobjectWajibactionstringWajibJenis perintah. Tetapkan ke
finish-task.task_idstringWajibID tugas yang dihasilkan klien (format UUID) dan harus sesuai dengan
task_id dalam event run-task.streamingstringWajibTetapkan ke
duplex.payloadobjectWajibinputobjectWajibTetapkan ke
{}.Permintaan:
Respons: