Topik ini menjelaskan peristiwa klien untuk API Qwen-Omni-Realtime.
Halaman ini adalah referensi peristiwa untuk Qwen-Omni-Realtime. Definisi peristiwa didasarkan pada akses WebSocket. AOQ dan WebRTC menggunakan saluran data masing-masing untuk mengirim dan menerima peristiwa model, serta track media untuk mengirimkan media. Baca terlebih dahulu Akses WebSocket, Akses WebRTC, atau Akses AOQ.
session.update
Setelah membuka koneksi WebSocket, Anda dapat mengirim session.update untuk mengonfigurasi sesi. Jika perlu mengubah konfigurasi nanti, kirim hanya pengaturan yang ingin diubah; pengaturan lainnya tetap seperti semula.
Server memvalidasi parameter yang Anda kirim. Jika validasi berhasil, server mengembalikan konfigurasi sesi lengkap yang sudah diperbarui dalam session.updated. Jika validasi gagal, server mengembalikan peristiwa error.
typestring(wajib)session.update.sessionobject(opsional)session wajib saat memperbarui sesi. Batas total token input adalah 196608, dihitung dengan aturan yang sama seperti Qwen3.5-Omni-Realtime.Properti
Properti
modalitiesarray(opsional)- ["text"] Hanya teks.
- ["text","audio"] (default) Teks dan audio.
voicestring(opsional)- Qwen3.8-Omni-Flash-Realtime:
Tina - Model seri Qwen3.5-Omni-Realtime:
Tina - qwen3-omni-flash-realtime-2025-09-15:
Cherry
audioobject(opsional)Properti
Properti
inputobject(opsional)Properti
Properti
formatobject(opsional)Properti
Properti
typestring(opsional)qwen3.5-omni-plus-realtime dan qwen3.5-omni-flash-realtime: pcm (default, raw PCM mono 16-bit) atau wav (PCM mono 16-bit dalam kontainer WAV). Input multisaluran untuk Qwen3.8-Omni-Flash-Realtime memerlukan pcm, yang merupakan default.sample_rateinteger(opsional)qwen3.5-omni-plus-realtime dan qwen3.5-omni-flash-realtime: 8000, 16000 (default), 24000, atau 48000 Hz. Input multisaluran untuk Qwen3.8-Omni-Flash-Realtime memerlukan 16000 Hz, yang merupakan default.Empat bidang berikut berlaku untuk input multisaluran Qwen3.8-Omni-Flash-Realtime melalui WebSocket:sample_formatstring(opsional)s16le yang didukung; default: s16le.channelsinteger(opsional)1 (default), 2, atau 4. Audio spasial dua dan empat saluran menggunakan dua kali token input audio biasa. Lihat Perhitungan token.packingstring(opsional)interleaved yang didukung; default: interleaved.channel_layoutstring(opsional)channels: mono untuk satu saluran, raw_mic_array untuk dua, dan foa_ambix untuk empat. Nilai eksplisit harus sesuai dengan channels.Input multisaluran memerlukan PCM, 16000 Hz, s16le, dan sampel interleaved. Bidang yang dihilangkan menggunakan default; bidang yang diberikan harus memiliki tipe dan nilai yang valid. Jangan mengirim null sebagai pengganti penghilangan bidang.outputobject(opsional)Properti
Properti
formatobject(opsional)Properti
Properti
typestring(opsional)qwen3.5-omni-plus-realtime dan qwen3.5-omni-flash-realtime: pcm (default, raw PCM mono 16-bit) atau wav (PCM mono 16-bit dalam kontainer WAV).sample_rateinteger(opsional)qwen3.5-omni-plus-realtime dan qwen3.5-omni-flash-realtime: 8000, 16000, 24000 (default), atau 48000 Hz.voicestring(opsional)Tina. Lihat daftar suara untuk suara yang tersedia beserta nilai voice-nya. session.voice tetap tersedia untuk integrasi yang ada. Untuk integrasi baru, gunakan session.audio.output.voice. Jika kedua bidang diatur, output audio menggunakan suara yang ditentukan oleh session.audio.output.voice.input_audio_transcriptionobject | null(opsional)null untuk menonaktifkannya.Properti
Properti
modelstring(wajib)qwen3-asr-flash-realtime. Atur {"model":"qwen3-asr-flash-realtime"} untuk mengaktifkan transkripsi; nilai model tidak dapat diubah. enable_input_audio_transcription pada SDK Python adalah argumen metode update_session, bukan bidang tingkat atas session.update.input_audio_formatstring(opsional)pcm. Audio input harus berupa aliran audio PCM dengan laju sampel 16 kHz.output_audio_formatstring(opsional)pcm. Audio output berupa aliran audio PCM dengan laju sampel 24 kHz.smooth_outputboolean | null(opsional)qwen3-omni-flash-realtime-2025-09-15.Apakah mengaktifkan gaya respons percakapan. Nilai yang valid:-
true(default): Respons percakapan. -
false: Respons formal bergaya tulisan.Konten yang sulit dibacakan mungkin tidak memberikan hasil yang baik.
-
null: Model otomatis memilih antara gaya percakapan dan formal.
instructionsstring(opsional)instructions baru sepenuhnya menggantikan nilai instructions sebelumnya, bukan menambahkannya. Untuk mempertahankan peran, kirim instruksi peran yang ada bersama persyaratan baru.turn_detectionobject(opsional)null untuk menonaktifkan VAD dan memicu respons model secara manual dari klien.Properti
Properti
typestring(opsional)server_vad(default): Mendeteksi akhir ucapan berdasarkan fitur akustik.semantic_vad: Mendeteksi akhir ucapan berdasarkan validitas semantik, menyaring gumaman tanggapan dan derau latar. Didukung oleh Qwen3.8-Omni-Flash-Realtime dan seri Qwen3.5-Omni-Realtime.semantic_vad_ec: Deteksi validitas semantik untuk skenario layanan pelanggan dan bisnis. Dibandingkansemantic_vad, mode ini lebih mudah mendeteksi ucapan pengguna untuk menginterupsi respons model, sambil tetap menyaring bunyi tanpa makna seperti derau latar. Didukung oleh seri Qwen3.8-Omni-Flash-Realtime.
thresholdfloat(opsional)[-1.0, 1.0]. Default: 0.5.silence_duration_msinteger(opsional)idle_timeout_msinteger(opsional)qwen3.5-omni-plus-realtime dan qwen3.5-omni-flash-realtime dalam mode server_vad.Batas waktu idle dalam milidetik. Setelah server selesai memutar audio dan pengguna tetap diam melewati durasi ini (tidak ada speech.started yang terpicu), model secara proaktif membuat respons berdasarkan konteks saat ini untuk mengajak pengguna melanjutkan percakapan. Penghitungan waktu dimulai setelah audio respons model terakhir selesai diputar.Rentang valid: [5000, 30000].enable_searchboolean(opsional)false. Jika diaktifkan, model memutuskan sendiri apakah perlu mencari untuk menjawab pertanyaan terkini.tools dan enable_search tidak kompatibel. Jangan aktifkan keduanya bersamaan.
search_optionsobject(opsional)enable_search diaktifkan.Properti
Properti
enable_sourceboolean(opsional)true untuk mengaktifkan.videoobject(opsional)Properti
Properti
inputobject(opsional)Properti
Properti
representation_compactstring(opsional)none, yang mempertahankan input detail halus secara penuh. normal mengagregasikannya untuk mengurangi komputasi saat detail visual halus tidak diperlukan; untuk input video yang sama, token yang digunakan hanya seperempat dari none. Lihat Perhitungan token. Atur sebelum segmen audio pertama; tidak dapat diubah setelah input audio dimulai.toolsarray(opsional)type; tools dan enable_search tidak dapat diaktifkan bersamaan.Function Calling (type=function)
Function Calling (type=function)
typestring(wajib)function.functionobject(wajib)Properti
Properti
namestring(wajib)get_current_weather atau get_current_time.descriptionstring(opsional)parametersobject(opsional)Properti
Properti
typestring(wajib)object.propertiesobject(opsional)location adalah nama parameter kustom; type dan description menjelaskan jenis data serta tujuannya.requiredarray(opsional)MCP (type=mcp)
MCP (type=mcp)
Untuk alur konfigurasi dan pemanggilan MCP Qwen3.8-Omni-Flash-Realtime, lihat Alur interaksi.Bidang wajib harus disediakan saat elemen array MCP ini ada. Setiap penambahan atau pembaruan memerlukan Harus Label server MCP yang unik dalam sesi. Panjang 1–64 karakter; hanya huruf, digit, garis bawah, dan tanda hubung.Endpoint MCP Streamable HTTP. Harus berupa alamat HTTPS publik pada port 443, maksimum 4096 karakter, tanpa nama pengguna, kata sandi, atau fragmen. Domainnya harus resolve ke alamat publik.Nilai Authorization keluar, maksimum 8192 karakter ASCII yang dapat dicetak.Header HTTP keluar tambahan, maksimum 16 pasangan string ke string. Nama harus 1–128 karakter menggunakan karakter nama header HTTP standar. Nilai harus berupa ASCII yang dapat dicetak dan maksimum 8192 karakter.Nama tidak boleh diawali Filter yang diterapkan setelah penemuan. Jika dihilangkan, semua alat diizinkan; array kosong tidak mengekspos alat apa pun. Setiap nama 1–64 karakter, hanya huruf, digit, garis bawah, titik, dan tanda hubung.Kebijakan persetujuan:
server_label dan server_url sekaligus; label saja tidak dapat menggunakan kembali konfigurasi yang ada. Perbarui konfigurasi MCP hanya saat tidak ada Response yang aktif. Koneksi, penemuan, dan panggilan tunduk pada kuota serta batas waktu. Lihat Batas panggilan MCP.typestring(wajib)mcp.server_labelstring(wajib)server_urlstring(wajib)authorizationstring(opsional)headersobject(opsional)mcp-, proxy-, atau x-forwarded-, atau sama dengan host, authorization, connection, content-length, transfer-encoding, accept, content-type, forwarded, cookie, origin, upgrade, te, atau trailer.allowed_toolsarray of strings(opsional)require_approvalstring(opsional)always (default) atau never.server_url, authorization, dan headers hanya digunakan untuk koneksi sisi server dan tidak dikembalikan dalam session.updated. Jangan merekonstruksi pengaturan sensitif dari peristiwa tersebut.temperaturefloat(opsional)qwen3.8-omni-flash-realtime: 0.6- Model seri Qwen3.5-Omni-Realtime: 0.7
qwen3-omni-flash-realtime-2025-09-15: 0.9
top_pfloat(opsional)qwen3.8-omni-flash-realtime: 0.95- Model seri Qwen3.5-Omni-Realtime: 0.8
qwen3-omni-flash-realtime-2025-09-15: 1.0
top_kinteger(opsional)null atau nilai di atas 100 untuk menonaktifkan top_k, sehingga hanya top_p yang berlaku.Nilai minimum: 0.Nilai default:qwen3.8-omni-flash-realtime: 20- Model seri Qwen3.5-Omni-Realtime: 20
qwen3-omni-flash-realtime-2025-09-15: 50
max_tokensinteger(opsional)PengaturanUntukmax_tokenstidak memengaruhi proses pembuatan model. Jika output yang dihasilkan melampauimax_tokens, respons dipotong.
qwen3.8-omni-flash-realtime, rentang valid adalah [1, 65536]. Untuk model lain, nilai default dan maksimum sama dengan panjang output maksimum model. Lihat Daftar model.Gunakan max_tokens untuk membatasi panjang output pada tugas seperti peringkasan, ekstraksi kata kunci, pengendalian biaya, atau pengurangan latensi.repetition_penaltyfloat(opsional)qwen3.8-omni-flash-realtime juga menerima 0. Untuk model lain, nilainya harus lebih besar dari 0.Nilai default:qwen3.8-omni-flash-realtime: 0- Model seri Qwen3.5-Omni-Realtime: 1.0
qwen3-omni-flash-realtime-2025-09-15: 1.05
presence_penaltyfloat(opsional)qwen3.8-omni-flash-realtime: 1- Model seri Qwen3.5-Omni-Realtime: 1.5
qwen3-omni-flash-realtime-2025-09-15: 0.0
seedinteger(opsional)- Konfigurasi default
- Alat MCP
- Audio dua saluran
- Audio empat saluran
- Audio satu saluran yang kompatibel
- Suara output
- Agregasi video
response.create
Peristiwa response.create memerintahkan server membuat respons model. Dalam mode VAD, server biasanya memulai respons dari aktivitas ucapan; kelanjutan setelah alat mengikuti alur eksplisit di bawah. Untuk Function Calling, kirim peristiwa ini setelah mengembalikan hasil alat melalui conversation.item.create agar pembuatan berlanjut. Untuk alat MCP Qwen3.8-Omni-Flash-Realtime, server menjalankan panggilan; jika kelanjutan model diperlukan, kirim satu response.create setelah response.done untuk Response yang memuat panggilan MCP ini, tanpa menyertakan hasil MCP.
Server membalas dengan peristiwa response.created, diikuti satu atau beberapa peristiwa item dan konten—seperti conversation.item.created dan response.content_part.added—dan diakhiri peristiwa response.done.
typestring(wajib)response.create.response.cancel
Kirim peristiwa ini untuk membatalkan respons yang sedang berlangsung. Jika tidak ada respons yang sedang berlangsung, server mengembalikan kesalahan.
typestring(wajib)response.cancel.input_audio_buffer.append
Untuk akses WebSocket, menambahkan byte audio ke buffer audio input.
typestring(wajib)input_audio_buffer.append.audiostring(wajib)input_audio_buffer.commit
Mengirimkan buffer audio input, membuat item pesan pengguna baru dalam percakapan. Jika buffer kosong, server mengembalikan kesalahan.
- Mode VAD: Klien tidak perlu mengirim peristiwa ini. Server mengirimkan buffer audio secara otomatis.
- Mode manual: Klien harus mengirimkan buffer audio untuk membuat item pesan pengguna.
input_audio_buffer.committed.
Jika klien telah mengirim peristiwa input_image_buffer.append, peristiwa input_audio_buffer.commit juga mengirimkan buffer gambar.
typestring(wajib)input_audio_buffer.commit.input_audio_buffer.clear
Menghapus byte audio dari buffer. Server membalas dengan peristiwa input_audio_buffer.cleared.
typestring(wajib)input_audio_buffer.clear.input_image_buffer.append
Untuk akses WebSocket, menambahkan data gambar ke buffer gambar. Gambar dapat berasal dari file lokal atau diambil secara real time dari aliran video.
Batas berikut berlaku untuk input gambar:
- Format: JPG atau JPEG. Resolusi yang direkomendasikan: 480p atau 720p; maksimum: 1080p.
- Satu gambar setelah pengodean Base64 tidak boleh melebihi 256 KB. Kami menyarankan ukuran gambar asli di bawah 190 KB sebelum pengodean.
- Data gambar harus dikodekan Base64.
- Frekuensi pengiriman yang disarankan: 1 gambar per detik.
- Kirim setidaknya satu peristiwa
input_audio_buffer.appendsebelum mengirim peristiwainput_image_buffer.append.
Buffer gambar dikirimkan bersama buffer audio menggunakan peristiwa input_audio_buffer.commit.
typestring(wajib)input_image_buffer.append.imagestring(wajib)conversation.item.create
Kirim peristiwa ini untuk membuat item percakapan, berupa hasil Function Calling atau, untuk Qwen3.8-Omni-Flash-Realtime, respons persetujuan MCP. Untuk Function Calling, jalankan alat secara lokal, kembalikan hasilnya sebagai function_call_output, lalu kirim response.create. Server menjalankan alat MCP; gunakan mcp_approval_response untuk persetujuan dan ikuti urutan kelanjutan respons persetujuan.
event_idstring(opsional)typestring(wajib)conversation.item.create.itemobject(wajib)Properti
Properti
idstring(opsional)typestring(wajib)function_call_output untuk hasil Function Calling atau mcp_approval_response untuk balasan persetujuan MCP Qwen3.8-Omni-Flash-Realtime.call_idstring(wajib bersyarat)function_call_output. Gunakan call_id yang dikembalikan dalam response.function_call_arguments.done.outputstring(wajib bersyarat)function_call_output. Hasil eksekusi fungsi alat.approval_request_idstring(wajib bersyarat)mcp_approval_response. Harus sama persis dengan item.id dari mcp_approval_request yang belum ditangani.approveboolean(wajib bersyarat)mcp_approval_response. true mengizinkan eksekusi; false menolak panggilan, yang kemudian masuk status failed.Respons persetujuan MCP (Qwen3.8-Omni-Flash-Realtime)
Saat require_approval bernilai always atau dihilangkan, server dapat mengirim mcp_approval_request. Balas menggunakan bidang conversation.item.create di atas dengan item.type="mcp_approval_response". Server menjalankan alat MCP. Jika kelanjutan model diperlukan, tunggu response.done untuk Response yang memuat panggilan MCP ini, lalu kirim satu response.create tanpa hasil MCP.ID permintaan persetujuan, ID item, dan ID peristiwa yang dikembalikan server adalah string opak. Jangan mengandalkan panjang, prefiks, atau aturan pembuatannya.- Hasil alat Function Calling
- Respons persetujuan MCP (Qwen3.8-Omni-Flash-Realtime)
Lihat Qwen-Omni-Realtime .