Qwen-Audio adalah model besar end-to-end untuk interaksi suara real-time. Model ini mendukung percakapan suara berlatensi rendah dan cocok untuk skenario seperti asisten suara, layanan pelanggan cerdas, serta pendamping AI.
Ikhtisar
Memungkinkan konversi audio real-time menjadi ucapan/teks, dengan dukungan input audio streaming serta output ucapan dan teks streaming.
Selain protokol WebSocket, model ini juga mendukung akses melalui protokol AOQ dan WebRTC. Jika Anda melakukan integrasi di sisi klien dan memprioritaskan latensi yang stabil, kemampuan interaksi pada jaringan lemah, serta peredaman derau dan pembatalan gema full-duplex real-time, AOQ direkomendasikan. Untuk perbandingan dan pemilihan protokol, lihat Referensi API.
- Mendukung Function Calling untuk pemanggilan tool; model dapat secara mandiri memutuskan apakah perlu memanggil tool eksternal untuk memperoleh informasi
- Mendukung pencarian web; model dapat secara mandiri memutuskan apakah perlu melakukan pencarian berdasarkan pertanyaan real-time dan mengembalikan sumber hasil pencarian, serta dapat diaktifkan bersama Function Calling
- Mendukung manajemen konteks percakapan (membuat, mengambil, dan menghapus item percakapan), sehingga Anda dapat menyuntikkan konteks historis secara fleksibel atau membersihkan item percakapan yang tidak relevan
- Output ucapan yang sangat ekspresif, secara dinamis menyesuaikan nada, kecepatan, dan ekspresi emosi berdasarkan konteks percakapan
- Mendukung suara sistem dan suara hasil kloning; Anda dapat membuat suara AI khusus melalui voice cloning untuk output percakapan suara
qwen-audio-3.1-realtime-plus, qwen-audio-3.1-realtime-flash, qwen-audio-3.0-realtime-plus, dan qwen-audio-3.0-realtime-flash.
- Mendukung tiga mode interaksi: VAD akustik (server_vad), pengambilan giliran semantik cerdas (smart_turn dan smart_turn_v2, yang terakhir direkomendasikan), dan kontrol manual (push-to-talk)
- Mode smart_turn / smart_turn_v2 menggabungkan persepsi akustik dengan pemahaman semantik untuk menentukan batas giliran, sehingga suara pengisi tanpa makna (seperti "uh" dan "ah") tidak akan mengganggu percakapan
- Peningkatan speaker didukung pada mode smart_turn / smart_turn_v2; setelah Anda memberikan audio rekaman pengguna target, model dapat mengunci pembicara target secara presisi dalam percakapan full-duplex, secara efektif memblokir suara orang lain dan kebisingan latar belakang
Cara kerja
Qwen-Audio menggunakan arsitektur berbasis event. Klien dan server mengirim serta menerima data secara simultan melalui koneksi persisten: klien terus-menerus mengirim streaming audio yang ditangkap mikrofon, dan server mengembalikan respons ucapan dan teks secara real-time. Seluruh interaksi digerakkan oleh event klien (seperti session.update dan input_audio_buffer.append) dan event server (seperti response.audio.delta dan response.done), tanpa polling.
Siklus hidup koneksi yang khas adalah: membuat koneksi WebSocket → mengirim session.update untuk mengonfigurasi parameter sesi → terus-menerus mengirim audio dan menerima respons → menutup koneksi secara aktif.
Format audio
Arah | Format | Spesifikasi |
|---|---|---|
Input (klien → server) | PCM | Laju sampel 16 kHz, kedalaman bit 16-bit, mono |
Output (server → klien) | PCM | Laju sampel 24 kHz, kedalaman bit 16-bit, mono |
Bahasa yang didukung
Percakapan suara real-time mendukung bahasa dan dialek Tionghoa berikut:
- Bahasa (
qwen-audio-3.1-realtime-plus,qwen-audio-3.1-realtime-flash): Jerman (de), Inggris (en), Spanyol (es), Prancis (fr), Indonesia (id), Italia (it), Jepang (ja), Korea (ko), Portugis (pt), Rusia (ru), Tionghoa (zh), Thai (th), Vietnam (vi), Arab (ar). - Bahasa (
qwen-audio-3.0-realtime-plus,qwen-audio-3.0-realtime-flash): Jerman (de), Inggris (en), Spanyol (es), Prancis (fr), Indonesia (id), Italia (it), Jepang (ja), Korea (ko), Portugis (pt), Rusia (ru), Tionghoa (zh). - Tionghoa dan dialek: Mandarin, Kanton, dialek Chongqing, Mandarin Timur Laut, dialek Gansu, dialek Guizhou, dialek Zhejiang, dialek Hebei, dialek Henan, dialek Hubei, dialek Hunan, dialek Jiangxi, dialek Ningbo, dialek Ningxia, dialek Qingdao, dialek Shaanxi, dialek Shanxi, dialek Shandong, dialek Shanghai, dialek Sichuan, dialek Yunnan.
qwen-audio-3.1-realtime-plus atau qwen-audio-3.1-realtime-flash, Anda dapat menggunakan session.input_audio_transcription.language dan session.output_audio.language untuk masing-masing menentukan bahasa sumber audio input dan bahasa target audio output. Untuk kode bahasa yang tersedia bagi kedua parameter tersebut, lihat Event klien. Perhatikan bahwa session.output_audio.language berlaku untuk text-to-speech (TTS): parameter ini membuat output ucapan menggunakan bahasa target sebisa mungkin, tetapi tidak dijamin selalu berlaku, dan tidak mengubah bahasa respons teks model.
Kapasitas konteks
Model mempertahankan konteks riwayat percakapan. Ketika jumlah giliran dialog atau durasi audio kumulatif melebihi batas berikut, riwayat yang lebih awal dibuang secara otomatis. Durasi maksimum mengacu pada batas atas durasi audio kumulatif yang dapat dipertahankan dalam konteks model.
Model | Giliran audio maksimum | Durasi audio maksimum |
|---|---|---|
qwen-audio-3.1-realtime-plus | 50 | 300 detik |
qwen-audio-3.1-realtime-flash | 50 | 300 detik |
qwen-audio-3.0-realtime-plus | 50 | 300 detik |
qwen-audio-3.0-realtime-flash | 50 | 300 detik |
max_history_turns mengontrol jumlah giliran tanya-jawab historis yang dirujuk model selama inferensi, dengan nilai default 20 dan rentang nilai 1-50. Untuk cara menyesuaikannya, lihat Kontrol giliran riwayat.
Untuk rekomendasi pemilihan model secara keseluruhan bagi model omni-modal, lihat Omni-modal.
Prasyarat
- Anda telah memperoleh dan mengonfigurasi API Key serta mengonfigurasinya sebagai variabel lingkungan.
- Jika Anda terhubung melalui protokol AOQ, Anda perlu mengunduh dan mengintegrasikan SDK klien AOQ. Untuk informasi selengkapnya, lihat Ikhtisar SDK AOQ.
Mulai cepat
Contoh WebSocket dasar berikut menggunakan qwen-audio-3.1-realtime-plus dan secara eksplisit mengatur suara sistem longanqian_v3.1. Saat bermigrasi dari 3.0 Plus, perbarui parameter kueri URL model dan pilih voice yang sesuai dengan model menurut Konfigurasi suara; protokol event WebSocket tidak berubah.
Ikuti langkah-langkah berikut untuk segera merasakan percakapan suara real-time dengan model Qwen-Audio.
- WebSocket native
realtime_quickstart.py:python realtime_quickstart.py dan bicaralah ke mikrofon untuk melakukan percakapan real-time dengan model. Server secara otomatis mendeteksi awal dan akhir ucapan serta memicu respons.Contoh lengkapContoh lengkap berikut menambahkan penanganan interupsi ucapan, penekanan gema, dan fitur lainnya di atas percakapan dasar. Buat dua file berikut (keduanya harus berada dalam direktori yang sama):B64PCMPlayer.py
B64PCMPlayer.py
realtime_demo.py
realtime_demo.py
websockets lebih rendah dari 11, ubah additional_headers dalam kode menjadi extra_headers, atau lakukan peningkatan: pip install --upgrade websockets.python realtime_demo.py dan bicaralah ke mikrofon untuk melakukan percakapan real-time dengan model. Sistem secara otomatis mendeteksi awal dan akhir ucapan serta memicu respons.Konfigurasi sesi
Mode interaksi
Qwen-Audio mendukung tiga mode interaksi: server_vad (VAD akustik otomatis mendeteksi awal dan akhir ucapan), smart_turn (giliran semantik cerdas, menggabungkan sinyal akustik dan semantik; smart_turn_v2 direkomendasikan), dan push-to-talk (kontrol manual di sisi klien). Untuk deskripsi rinci tiap mode dan urutan interaksi event (termasuk diagram urutan), lihat Mode interaksi.
turn_detection hanya dapat diubah sebelum audio pertama dikirim (dalam status IDLE). Mengganti mode interaksi setelah sesi dibuat memerlukan koneksi ulang.turn_detection dalam event session.update:
- server_vad:
- smart_turn / smart_turn_v2:
smart_turn_v2 (direkomendasikan): dibangun di atas smart_turn dengan pemahaman konteks percakapan yang ditingkatkan agar lebih baik menafsirkan maksud interaksi dalam skenario multi-pembicara. Mode ini mengurangi respons keliru dan interupsi keliru yang disebabkan oleh ucapan orang di sekitar atau sisipan yang tidak relevan. Menetapkan type ke smart_turn tetap menggunakan deteksi giliran cerdas versi asli.
- push-to-talk:
manual_realtime.py
manual_realtime.py
Instruksi sistem
Gunakan parameter instructions untuk menentukan peran model, gaya respons, dan preferensi perilaku. Parameter ini dikonfigurasi dalam session.update dan berlaku untuk seluruh sesi.
- Tentukan peran secara jelas (misalnya, "Anda adalah asisten suara cerdas" atau "Anda adalah tutor percakapan bahasa Inggris"). Anda dapat menambahkan detail persona seperti nama dan jenis kelamin.
- Tentukan nada percakapan dan gaya penyusunan kalimat, sambil menekankan bahwa gaya percakapan tidak boleh mengorbankan kelengkapan konten — detail, angka, dan rekomendasi spesifik tetap harus disertakan, hanya diungkapkan dengan cara yang santai dan alami.
- Minta model mempertimbangkan seluruh batasan dalam konteks percakapan (seperti anggaran, preferensi, larangan, dan kesepakatan yang telah dicapai sebelumnya). Ketika melibatkan beberapa kondisi, tangani satu per satu dan jangan hilangkan informasi penting.
- Kontrol format output: kecuali diminta oleh pengguna, jangan menghasilkan simbol khusus seperti emoji atau format Markdown. Utamakan teks biasa untuk memastikan narasi TTS yang alami dan lancar.
- Tentukan strategi respons: pertahankan obrolan santai dan sapaan agar tetap singkat dan alami; untuk pertanyaan kompleks yang melibatkan penalaran dan perhitungan, beberapa batasan, daftar rekomendasi, atau saran keamanan, utamakan jawaban yang lengkap dan benar, pastikan informasi penting (seperti harga, lokasi, dan kondisi) lengkap, dan hindari pembukaan bertele-tele atau retorika yang berulang.
- Tetapkan strategi pertanyaan lanjutan: ikuti prinsip "jawab dulu dengan baik pertanyaan pengguna saat ini, lalu ajukan pertanyaan lanjutan secara alami di akhir untuk menggerakkan topik ke depan". Ajukan hanya satu pertanyaan pada satu waktu, dan jangan mengajukan pertanyaan lanjutan beruntun atau konfirmasi berulang kali.
- Daidai (pendamping manis dan keren):
- Aleng (dingin dan tajam berlidah):
- Mochen (tenang dan karismatik):
- Hannibal (elegan dan tajam):
- Heizi (soban khas Timur Laut):
Konfigurasi suara
Gunakan parameter voice untuk mengatur suara TTS untuk respons model. Baik suara sistem maupun suara hasil kloning didukung. Suara default untuk 3.1 Plus/Flash adalah longanqian_v3.1, dan suara default untuk 3.0 Plus/Flash adalah longanqian.
Suara sistem: Pilih ID suara berdasarkan model.
| Model | ID suara sistem |
|---|---|
qwen-audio-3.1-realtime-plus, qwen-audio-3.1-realtime-flash | Suara yang tersedia mencakup longanqian_v3.1, ditambah semua suara dalam daftar suara qwen-audio-3.1-tts-plus dan qwen-audio-3.1-tts-flash. Anda dapat mencari ID suara dan memutar contoh suara dalam daftar tersebut. |
qwen-audio-3.0-realtime-plus, qwen-audio-3.0-realtime-flash | longanqian, longanlingxin, longanlingxi, longanxiaoxin, longanlufeng |
target_model ke qwen-audio-3.1-realtime-plus, qwen-audio-3.1-realtime-flash, qwen-audio-3.0-realtime-plus, atau qwen-audio-3.0-realtime-flash saat membuatnya), lalu isi voice_id yang dikembalikan API ke parameter voice.
Kecepatan bicara output audio
Gunakan session.update untuk mengatur speech_rate dalam objek session guna mengontrol kecepatan bicara output audio model. Rentang nilainya [0.5, 2.0] dan nilai defaultnya 1.0. Nilai yang lebih kecil berarti kecepatan bicara lebih lambat, dan nilai yang lebih besar berarti kecepatan bicara lebih cepat. Ini berlaku untuk qwen-audio-3.1-realtime-plus, qwen-audio-3.1-realtime-flash, qwen-audio-3.0-realtime-plus, dan qwen-audio-3.0-realtime-flash. Contoh berikut menetapkan parameter ini ke 1.2:
Modalitas output
Gunakan parameter modalities untuk mengontrol jenis konten output model:
["audio", "text"](default): Menghasilkan audio dan teks.["text"]: Hanya menghasilkan teks, tanpa menghasilkan audio. Cocok untuk debugging, logging, atau skenario yang hanya memerlukan respons teks.
response.modalities pada response.create.
Konfigurasi VAD
Konfigurasikan parameter VAD dalam session.turn_detection. threshold berlaku untuk server_vad, smart_turn, dan smart_turn_v2. silence_duration_ms hanya berlaku untuk server_vad.
Parameter | Tipe | Deskripsi |
|---|---|---|
| float | Sensitivitas VAD. Nilai yang lebih rendah membuat VAD lebih sensitif dan lebih mungkin mengenali suara samar (termasuk kebisingan latar belakang) sebagai ucapan; nilai yang lebih tinggi membuatnya kurang sensitif, sehingga membutuhkan ucapan yang lebih jelas dan keras untuk memicu. Rentang nilainya [-1.0, 1.0] dan nilai defaultnya 0.5. |
| integer | Durasi hening minimum (dalam milidetik) yang harus dipertahankan setelah ucapan berakhir; ketika batas waktu tercapai, respons model dipicu. Nilai yang lebih rendah menghasilkan respons lebih cepat tetapi dapat menyebabkan pemicuan palsu saat jeda singkat. Rentang nilainya [200, 6000] dan nilai defaultnya 800. Untuk skenario percakapan, 400-800 direkomendasikan. |
Kontrol giliran riwayat
Bagian ini berlaku untuk qwen-audio-3.1-realtime-plus, qwen-audio-3.1-realtime-flash, qwen-audio-3.0-realtime-plus, dan qwen-audio-3.0-realtime-flash.
Gunakan parameter max_history_turns untuk mengontrol jumlah giliran tanya-jawab historis yang dirujuk model selama inferensi. Nilai yang lebih besar memungkinkan model meninjau lebih banyak riwayat percakapan untuk memahami konteks, tetapi meningkatkan konsumsi Token dan latensi inferensi.
max_history_turns adalah 1-50, dan nilai defaultnya 20.
Saran optimasi:
- Skenario percakapan pendek (seperti tanya-jawab cepat): tetapkan nilai yang lebih kecil (seperti 5-10) untuk mengurangi latensi.
- Skenario percakapan panjang (seperti layanan pelanggan multi-giliran): tetapkan nilai yang lebih besar (seperti 30-50) untuk memastikan model memahami konteks secara penuh.
Fitur lanjutan
Function Calling
Qwen-Audio mendukung pemanggilan tool Function Calling, yang memungkinkan model secara mandiri memutuskan apakah akan memanggil tool eksternal berdasarkan konteks percakapan.
1. Daftarkan tool
Konfigurasikan tools melalui session.update:
response.function_call_arguments.done, klien menjalankan fungsi tool dan menulis kembali hasilnya melalui conversation.item.create:
response.create untuk memicu model melanjutkan pembuatan balasan berdasarkan hasil tool:
function_call dan dapat pula mencakup pesan reguler sekaligus panggilan fungsi. Bagian Function Call tidak dikirim ke TTS untuk diputar.realtime_demo.py dari Mulai cepat. Sebelum menjalankannya, pastikan B64PCMPlayer.py berada dalam direktori yang sama.
realtime_fc_demo.py
realtime_fc_demo.py
python realtime_fc_demo.py dan bicaralah ke mikrofon untuk merasakan percakapan real-time dengan Function Calling. Misalnya, tanyakan "Bagaimana cuaca di Hangzhou" atau "Berapa harga tiket kereta dari Beijing ke Shanghai", dan model akan otomatis memanggil fungsi tool terkait dan membalas berdasarkan hasilnya.
Pencarian web
Saat menanyakan informasi real-time seperti cuaca atau berita, Anda dapat mengaktifkan pencarian web agar model mengambil informasi real-time sebelum menghasilkan balasan. Pencarian web dinonaktifkan secara default; setelah diaktifkan, model secara mandiri memutuskan apakah pencarian diperlukan, dan tidak dipicu pada setiap giliran percakapan.
Pencarian web dan Function Calling dapat diaktifkan dalam sesi yang sama, dan ini berlaku untuk qwen-audio-3.1-realtime-plus, qwen-audio-3.1-realtime-flash, qwen-audio-3.0-realtime-plus, dan qwen-audio-3.0-realtime-flash.
agent. Untuk informasi penagihan, lihat Detail penagihan.session.update untuk mengatur parameter berikut dalam session:
enable_search: tetapkan ketrueuntuk mengaktifkan pencarian web.search_options.enable_source: tetapkan ketrueuntuk mengembalikan sumber hasil pencarian.
tools ke objek session di atas. Untuk cara mendefinisikan tool dan mengisi kembali hasil pemanggilan, lihat Function Calling.
Untuk detail parameter, lihat session.update.
2. Baca sumber pencarian dan penggunaan
Respons model tetap diterima melalui event teks dan audio. Setelah pencarian dijalankan, Anda dapat membaca hal berikut dari objek response pada event response.done:
search_info.search_results: daftar sumber hasil pencarian, masing-masing berisi indeks sumberindex, judultitle, dan tautanurl.usage.plugins.search.count: jumlah pencarian, yang tidak boleh digantikan dengan jumlah sumber.usage.plugins.search.strategy: kebijakan pencarian, yang nilainyaagent.
Manajemen konteks percakapan
Qwen-Audio mendukung pengelolaan item percakapan dalam konteks percakapan melalui event klien, yang dapat digunakan untuk menyuntikkan konteks historis, melengkapi informasi teks, atau membersihkan item percakapan yang tidak relevan.
-
Buat item percakapan (
conversation.item.create): sisipkan item percakapan ke dalam konteks percakapan. Tiga nilaiitem.typeberikut didukung:message: pesan percakapan reguler. Anda harus menentukanrole(system,user,assistant) dan arraycontent; cocok untuk menyuntikkan riwayat percakapan atau instruksi sistem.function_call: permintaan pemanggilan fungsi. Anda harus menentukancall_id,name, danarguments(string JSON). Biasanya dihasilkan oleh server, dan klien juga dapat menggunakannya untuk melengkapi catatan pemanggilan fungsi dalam konteks historis.function_call_output: hasil eksekusi tool. Anda harus menentukancall_iddanoutput(string JSON). Setelah menerimafunction_call, klien menjalankan tool dan menulis kembali hasil eksekusi dengan tipe ini.
previous_item_idmenentukan item percakapan yang sudah ada setelah item baru disisipkan, sehingga memungkinkan penyisipan konten di posisi mana pun dalam riwayat percakapan. Jika parameter ini tidak dikirim, item percakapan baru secara default ditambahkan di akhir percakapan.- Sisipkan pesan pengguna pada posisi tertentu:
- Tulis kembali hasil eksekusi Function Calling:
item.id yang ditentukan oleh conversation.item.create sudah ada dalam percakapan, kesalahan akan dikembalikan.- Ambil item percakapan (
conversation.item.retrieve): ambil item percakapan yang tersimpan di server. Untuk konten bertipe audio, hanya teks transkripsi yang dikembalikan, bukan data audio mentahnya.
- Hapus item percakapan (
conversation.item.delete): hapus item tertentu dari konteks percakapan.
Hotword instan
Nama orang, nama produk, atau istilah industri mudah dikenali sebagai kata homofon. Setelah hotword instan dikonfigurasi, model memprioritaskan pengenalan kata-kata ini saat mentranskripsi audio input. Misalnya, nama proyek dalam potongan audio yang sama ditranskripsi sebagai "7yuan project" sebelum hotword dikonfigurasi. Setelah "Qiyuan" ditetapkan sebagai hotword, hasil transkripsinya menjadi "Qiyuan project".
Model Plus dan Flash Qwen-Audio-Realtime 3.0 dan 3.1 semuanya mendukung hotword instan, berlaku untuk akses WebSocket, WebRTC, dan AOQ di region Beijing dan Singapura. Sebelum mengirim audio, gunakan event session.update berikut untuk mengonfigurasi hotword.
session.updated diterima. Ambil transkripsi akhir dari field transcript pada event conversation.item.input_audio_transcription.completed. Anda dapat mengirim session.update lagi selama sesi untuk mengirimkan kosakata baru yang lengkap. Menetapkan vocabulary ke {} akan menghapus hotword.
Transkripsi audio ambien
Hanya mode smart_turn / smart_turn_v2. Ketika VAD mendeteksi aktivitas suara tetapi secara semantik menentukan bahwa itu bukan giliran yang valid (seperti kebisingan atau konten tanpa makna seperti "uh" atau "ah"), server tidak memicu giliran percakapan; sebagai gantinya, server meneruskan hasil pengenalan ASR ke klien melalui event ambient_audio_transcription. Hasil transkripsi ini tidak ditulis ke dalam konteks percakapan.
delta dan completed. Pengembang dapat menggunakan event ini untuk mengimplementasikan fitur seperti pemantauan audio ambien dan kesadaran skenario percakapan.
Peningkatan speaker
Hanya mode smart_turn / smart_turn_v2. Kirimkan URL audio yang direkam sebelumnya oleh pengguna target dalam session.update, dan model akan mengunci pembicara tersebut secara presisi dalam percakapan duplex, secara efektif mengabaikan suara lain dan kebisingan latar belakang, memungkinkan interaksi duplex yang lancar dalam skenario terbuka.
Konfigurasi: kirimkan URL audio voiceprint yang dapat diakses publik dalam turn_detection.voiceprint_audio_urls pada session.update pertama.
- Maksimal 5 URL didukung, dan format audio harus PCM atau WAV 16 kHz.
- Parameter ini hanya berlaku pada
session.updatepertama; input berikutnya diabaikan.
voiceprint_audio_list.in_progress: pendaftaran telah dimulai, dikirim sebelumsession.updateddikembalikan, membawaitem_idyang mengidentifikasi tugas ini.voiceprint_audio_list.completed: pendaftaran berhasil, denganitem_idyang cocok dengan milikin_progress.voiceprint_audio_list.failed: pendaftaran gagal, dengan fieldreasonyang menjelaskan penyebabnya (misalnya, URL audio tidak dapat diakses). Kegagalan pendaftaran tidak memblokir percakapan normal.
Peluncuran
Siapkan kebijakan toleransi kesalahan
- Koneksi ulang klien: Klien harus mengimplementasikan mekanisme koneksi ulang otomatis untuk menangani jitter jaringan. Kami menyarankan menetapkan sinyal koneksi ulang dalam callback
on_errordan mencoba ulang dengan kebijakan exponential backoff (misalnya, tunggu 1 dtk → 2 dtk → 4 dtk). - Klasifikasi dan penanganan kesalahan: Kesalahan klien (
invalid_request_error) tidak memutus koneksi; Anda hanya perlu mencatatnya atau menyesuaikan parameter. Kesalahan server (server_error) mengakhiri koneksi dan memerlukan koneksi ulang. - Penanganan barge-in: Dalam mode server_vad / smart_turn / smart_turn_v2, ucapan pengguna baru otomatis menginterupsi respons model yang sedang berlangsung (
response.donemengembalikanstatus=cancelled). Klien harus segera menghentikan pemutaran audio yang dibuffer saat menerimainput_audio_buffer.speech_starteduntuk menghindari ucapan yang tumpang tindih.
Siklus hidup koneksi
Siklus hidup sesi WebSocket yang khas adalah sebagai berikut:
- Membuat koneksi: Klien memulai koneksi WebSocket, dan server mengembalikan event
session.created. - Konfigurasi: Klien mengirim
session.updateuntuk mengatur parameter seperti mode interaksi, suara, dan tool. Langkah ini harus diselesaikan sebelum audio pertama dikirim. - Interaksi: Klien terus-menerus mengirim streaming audio (
input_audio_buffer.append), dan server melakukan inferensi yang dipicu oleh deteksi VAD atau pemicu manual, lalu mengembalikan ucapan dan teks secara streaming. - Menutup: Klien menutup koneksi WebSocket secara proaktif. Jika koneksi menganggur terlalu lama, server juga dapat memutuskannya secara proaktif.
item_id terkait sebelum menutup koneksi. response.done hanya menandakan respons model telah selesai; hasil transkripsi dapat dikembalikan lebih lambat.Optimasi latensi
- Ukuran chunk audio: Kami menyarankan mengirim 100 md data audio setiap kali (16 kHz × 16 bit × mono = 3200 byte per pengiriman), yang memastikan kinerja real-time sekaligus menghindari permintaan jaringan yang terlalu sering.
- Pemutaran streaming: Dekode dan putar audio segera setelah menerima
response.audio.delta; jangan menungguresponse.doneuntuk memutar seluruh segmen. - Bersihkan buffer segera saat barge-in: Saat menerima
input_audio_buffer.speech_started, segera bersihkan buffer pemutaran lokal untuk mencegah audio lama terus diputar dan menimbulkan latensi yang dirasakan.
Model dan region yang didukung
- Singapura
- Tiongkok (Beijing)
- qwen-audio-3.1-realtime-plus
- qwen-audio-3.1-realtime-flash
- qwen-audio-3.0-realtime-plus
- qwen-audio-3.0-realtime-flash