Referensi peristiwa server API Qwen-Audio-Realtime. Semua peristiwa server mencakup bidang umum event_id (dibuat otomatis oleh server) dan type (jenis peristiwa).
Panduan pengguna: Percakapan suara realtime (Qwen-Audio-Realtime). Untuk urutan interaksi peristiwa, lihat Akses WebSocket.
Untuk penggunaan SDK WebSocket, lihat SDK Android, SDK iOS, dan SDK HarmonyOS. Untuk memilih model dan protokol, lihat Gambaran umum.
Deskripsi: Dikembalikan ketika permintaan gagal atau terjadi error layanan. Error klien (
Deskripsi: Event pertama yang dikirim oleh server setelah koneksi terbentuk. Berisi konfigurasi sesi default.
Deskripsi: Dikembalikan setelah permintaan
Deskripsi: Dikirim ketika Voice Activity Detection (VAD) mendeteksi awal ucapan dalam mode server_vad / smart_turn.
Deskripsi: Dikirim ketika VAD mendeteksi akhir ucapan dalam mode server_vad / smart_turn.
Deskripsi: Buffer audio telah dikomit sebagai pesan pengguna, baik melalui komit push-to-talk maupun komit otomatis VAD.
Deskripsi: Buffer audio telah dihapus (hanya dalam mode push-to-talk).
Deskripsi: Item percakapan baru telah dibuat. Dipicu ketika audio pengguna dikomit, klien membuat item secara manual, atau respons asisten dimulai.
Deskripsi: Item percakapan telah dihapus. Dikembalikan sebagai konfirmasi setelah klien mengirim event
Deskripsi: Item percakapan berhasil diambil. Dikembalikan setelah klien mengirim event
Deskripsi: Hasil transkripsi Automatic Speech Recognition (ASR) inkremental, dialirkan selama pengenalan ucapan. Termasuk informasi deteksi emosi dan bahasa.
Deskripsi: Hasil transkripsi ASR final. Teks transkripsi ditulis ke bidang
Deskripsi: Transkripsi ASR gagal.
Deskripsi: Hanya untuk mode smart_turn. Hasil transkripsi inkremental untuk audio ambient. Ketika VAD mendeteksi aktivitas suara tetapi analisis semantik mengklasifikasikan giliran tersebut sebagai tidak valid (misalnya, kebisingan latar belakang atau kata pengisi seperti "hmm" atau "uh"), hasil ASR diteruskan ke klien sebagai event ambient. Event ini tidak terkait dengan item percakapan apa pun.
Deskripsi: Hanya untuk mode smart_turn. Hasil transkripsi final untuk audio ambient. Dipasangkan dengan event delta terkait untuk menandai akhir segmen transkripsi audio ambient. Hasil ini tidak ditulis ke konteks percakapan.
Deskripsi: Dikirim ketika putaran inferensi model dimulai.
Deskripsi: Item output baru ditambahkan ke respons. Tipe item output adalah
Deskripsi: Bagian konten baru ditambahkan ke item output.
Deskripsi: Event delta teks dalam mode teks saja. Mengalirkan fragmen teks secara inkremental.
Deskripsi: Event penyelesaian output teks dalam mode teks saja.
Deskripsi: Event delta transkrip dalam mode audio. Mengalirkan fragmen transkrip secara inkremental.
Deskripsi: Event penyelesaian output transkrip dalam mode audio.
Deskripsi: Untuk akses WebSocket, ini adalah peristiwa data audio inkremental dalam mode audio. Bidang
Deskripsi: Event penyelesaian output audio dalam mode audio. Tidak berisi data audio.
Deskripsi: Bagian konten dalam item output telah selesai.
Deskripsi: Item output dalam respons telah selesai.
Deskripsi: Delta argumen Function Calling. Ketika model memutuskan untuk memanggil tool, server pertama-tama mengirim
Deskripsi: Dikirim ketika output argumen Function Calling selesai. Setelah menerima event ini, klien harus: mengeksekusi tool terkait, menulis hasilnya ke percakapan melalui
Deskripsi: Satu putaran inferensi selesai.
Deskripsi: Proses pendaftaran voiceprint sedang berlangsung secara asinkron.
Deskripsi: Proses pendaftaran voiceprint telah selesai berhasil.
Deskripsi: Pendaftaran voiceprint gagal. Panggilan percakapan normal tidak diblokir.
Halaman ini adalah referensi peristiwa Qwen-Audio-Realtime. Definisi peristiwa didasarkan pada akses WebSocket. AOQ dan WebRTC menggunakan saluran datanya masing-masing untuk mengirim dan menerima peristiwa model, serta track media untuk mengirim media. Baca terlebih dahulu Akses WebSocket, Akses WebRTC, atau Akses AOQ.
error
Deskripsi: Dikembalikan ketika permintaan gagal atau terjadi error layanan. Error klien (invalid_request_error) tetap menjaga koneksi terbuka. Error server (server_error) menghentikan koneksi.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu error.errorobjectDetail error.
Properti type stringTipe error, seperti invalid_request_error (error klien) atau server_error (error server).codestringKode error.messagestringPesan error.paramstringParameter yang terkait dengan error tersebut. |
session.created
Deskripsi: Event pertama yang dikirim oleh server setelah koneksi terbentuk. Berisi konfigurasi sesi default.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu session.created.sessionobjectKonfigurasi sesi.
Properti object stringSelalu realtime.session.modelstringNama model.modalitiesarrayModalitas output dari model.voicestringVoice yang digunakan untuk generasi audio. Bisa berupa nama voice sistem atau voice_id dari voice yang dikloning.input_audio_transcriptionobjectKonfigurasi transkripsi audio.
Properti model stringModel transkripsi, seperti fun-asr.objectKonfigurasi deteksi giliran (VAD).idstringIdentifier unik sesi. |
session.updated
Deskripsi: Dikembalikan setelah permintaan session.update diproses berhasil. Berisi konfigurasi sesi lengkap yang telah diperbarui. Jika permintaan gagal, event error akan dikembalikan sebagai gantinya.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu session.updated.sessionobjectKonfigurasi sesi lengkap setelah pembaruan. Memiliki struktur yang sama dengan objek sesi pada session.created. |
input_audio_buffer.speech_started
Deskripsi: Dikirim ketika Voice Activity Detection (VAD) mendeteksi awal ucapan dalam mode server_vad / smart_turn.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu input_audio_buffer.speech_started.audio_start_msintegerTimestamp dalam milidetik saat ucapan dimulai.item_idstringID item yang akan dibuat ketika segmen ucapan ini dikomit. |
input_audio_buffer.speech_stopped
Deskripsi: Dikirim ketika VAD mendeteksi akhir ucapan dalam mode server_vad / smart_turn.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu input_audio_buffer.speech_stopped.audio_end_msintegerCap waktu dalam milidetik saat ucapan berakhir.item_idstringID item pesan pengguna yang akan dibuat.reasonstringHanya dikembalikan dalam mode smart_turn. Ketika diatur ke turn_invalid, menunjukkan bahwa giliran saat ini diklasifikasikan sebagai tidak valid (tidak memiliki konten semantik) dan inferensi tidak akan dipicu. Bidang ini tidak ada untuk giliran yang valid. |
input_audio_buffer.committed
Deskripsi: Buffer audio telah dikomit sebagai pesan pengguna, baik melalui komit push-to-talk maupun komit otomatis VAD.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu input_audio_buffer.committed.previous_item_idstringID item percakapan sebelumnya.item_idstringID item pesan pengguna yang dibuat. |
input_audio_buffer.cleared
Deskripsi: Buffer audio telah dihapus (hanya dalam mode push-to-talk).
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu input_audio_buffer.cleared. |
conversation.item.created
Deskripsi: Item percakapan baru telah dibuat. Dipicu ketika audio pengguna dikomit, klien membuat item secara manual, atau respons asisten dimulai.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu conversation.item.created.previous_item_idstringID item percakapan sebelumnya.itemobjectItem percakapan yang dibuat.
Properti id stringIdentifier unik untuk item percakapan.objectstringSelalu realtime.item.typestringTipe item: message (pesan standar) atau function_call (pemanggilan fungsi).statusstringStatus item, seperti in_progress atau completed.rolestringPeran pesan, seperti user atau assistant. Hanya ada untuk item tipe message.contentarrayDaftar konten pesan. Hanya ada untuk item tipe message. |
conversation.item.deleted
Deskripsi: Item percakapan telah dihapus. Dikembalikan sebagai konfirmasi setelah klien mengirim event conversation.item.delete.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu conversation.item.deleted.item_idstringID item percakapan yang dihapus. |
conversation.item.retrieved
Deskripsi: Item percakapan berhasil diambil. Dikembalikan setelah klien mengirim event conversation.item.retrieve. Untuk konten bertipe audio, hanya teks transkrip yang disertakan; raw audio data tidak dikembalikan.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu conversation.item.retrieved.itemobjectItem percakapan yang diambil.
Properti id stringIdentifier unik untuk item percakapan.objectstringSelalu realtime.item.typestringTipe item: message (pesan standar) atau function_call (pemanggilan fungsi).rolestringPeran pesan, seperti user atau assistant. Hanya ada untuk item tipe message.contentarrayDaftar konten pesan. Untuk konten bertipe audio, hanya teks transkrip yang disertakan; raw audio data tidak dikembalikan. |
conversation.item.input_audio_transcription.delta
Deskripsi: Hasil transkripsi Automatic Speech Recognition (ASR) inkremental, dialirkan selama pengenalan ucapan. Termasuk informasi deteksi emosi dan bahasa.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu conversation.item.input_audio_transcription.delta.item_idstringID item percakapan terkait.content_indexintegerIndeks bagian konten.textstringTeks transkripsi yang telah difinalisasi.stashstringTeks sementara yang belum difinalisasi. |
conversation.item.input_audio_transcription.completed
Deskripsi: Hasil transkripsi ASR final. Teks transkripsi ditulis ke bidang transcript dari item terkait.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu conversation.item.input_audio_transcription.completed.item_idstringID item percakapan terkait.content_indexintegerIndeks bagian konten.transcriptstringTeks transkripsi lengkap. |
conversation.item.input_audio_transcription.failed
Deskripsi: Transkripsi ASR gagal.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu conversation.item.input_audio_transcription.failed.item_idstringID item percakapan terkait.content_indexintegerIndeks bagian konten.errorobjectDetail error.
Properti type stringTipe error, seperti transcription_error.codestringKode error, seperti transcription_failed.messagestringPesan error. |
conversation.item.ambient_audio_transcription.delta
Deskripsi: Hanya untuk mode smart_turn. Hasil transkripsi inkremental untuk audio ambient. Ketika VAD mendeteksi aktivitas suara tetapi analisis semantik mengklasifikasikan giliran tersebut sebagai tidak valid (misalnya, kebisingan latar belakang atau kata pengisi seperti "hmm" atau "uh"), hasil ASR diteruskan ke klien sebagai event ambient. Event ini tidak terkait dengan item percakapan apa pun. item_id adalah ID sementara yang berdiri sendiri.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu conversation.item.ambient_audio_transcription.delta.item_idstringID sementara yang berdiri sendiri, tidak terkait dengan item percakapan apa pun.content_indexintegerIndeks bagian konten.textstringTeks transkripsi yang telah difinalisasi.stashstringTeks sementara yang belum difinalisasi. |
conversation.item.ambient_audio_transcription.completed
Deskripsi: Hanya untuk mode smart_turn. Hasil transkripsi final untuk audio ambient. Dipasangkan dengan event delta terkait untuk menandai akhir segmen transkripsi audio ambient. Hasil ini tidak ditulis ke konteks percakapan.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu conversation.item.ambient_audio_transcription.completed.item_idstringID sementara yang berdiri sendiri, tidak terkait dengan konteks percakapan.content_indexintegerIndeks bagian konten.transcriptstringTeks transkripsi lengkap. |
response.created
Deskripsi: Dikirim ketika putaran inferensi model dimulai.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.created.responseobjectObjek respons.
Properti id stringIdentifier unik untuk respons.objectstringSelalu realtime.response.statusstringStatus respons, seperti in_progress.modalitiesarrayModalitas output dari model.voicestringVoice yang digunakan untuk generasi audio. Bisa berupa nama voice sistem atau voice_id dari voice yang dikloning.outputarrayItem output dari respons. Awalnya merupakan array kosong. |
response.output_item.added
Deskripsi: Item output baru ditambahkan ke respons. Tipe item output adalah message untuk balasan standar, atau function_call untuk Function Calling.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.output_item.added.response_idstringID respons terkait.output_indexintegerIndeks item output dalam respons.itemobjectItem output yang ditambahkan.
Properti id stringIdentifier unik untuk item output.objectstringSelalu realtime.item.typestringTipe item output: message (pesan standar) atau function_call (pemanggilan fungsi).statusstringStatus item output, seperti in_progress.rolestringPeran pesan. Selalu assistant. Hanya ada untuk item tipe message.contentarrayDaftar konten pesan. Hanya ada untuk item tipe message. | response.output_item.added / conversation.item.created / response.output_item.done berisi struktur item berikut:Satu respons dapat mencakup beberapa item function_call dan mungkin juga berisi output message standar bersama output function_call. Bagian Function Calling tidak dikirim ke TTS untuk pemutaran audio. |
response.content_part.added
Deskripsi: Bagian konten baru ditambahkan ke item output.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.content_part.added.response_idstringID respons terkait.item_idstringID item output terkait.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks bagian konten dalam item output.partobjectBagian konten yang ditambahkan.
Properti type stringTipe konten, seperti audio atau text.textstringKonten teks. Awalnya merupakan string kosong. |
response.text.delta
Deskripsi: Event delta teks dalam mode teks saja. Mengalirkan fragmen teks secara inkremental.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.text.delta.response_idstringID respons terkait.item_idstringID item output terkait.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks bagian konten dalam item output.deltastringFragmen teks inkremental. |
response.text.done
Deskripsi: Event penyelesaian output teks dalam mode teks saja.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.text.done.response_idstringID respons terkait.item_idstringID item output terkait.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks bagian konten dalam item output.textstringOutput teks lengkap. |
response.audio_transcript.delta
Deskripsi: Event delta transkrip dalam mode audio. Mengalirkan fragmen transkrip secara inkremental.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.audio_transcript.delta.response_idstringID respons terkait.item_idstringID item output terkait.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks bagian konten dalam item output.deltastringFragmen transkrip inkremental. |
response.audio_transcript.done
Deskripsi: Event penyelesaian output transkrip dalam mode audio.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.audio_transcript.done.response_idstringID respons terkait.item_idstringID item output terkait.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks bagian konten dalam item output.transcriptstringTeks transkrip lengkap. |
response.audio.delta
Deskripsi: Untuk akses WebSocket, ini adalah peristiwa data audio inkremental dalam mode audio. Bidang delta berisi data audio PCM yang dienkode Base64.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.audio.delta.response_idstringID respons terkait.item_idstringID item output terkait.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks bagian konten dalam item output.deltastringFragmen data audio PCM yang dienkripsi Base64. |
response.audio.done
Deskripsi: Event penyelesaian output audio dalam mode audio. Tidak berisi data audio.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.audio.done.response_idstringID respons terkait.item_idstringID item output terkait.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks bagian konten dalam item output. |
response.content_part.done
Deskripsi: Bagian konten dalam item output telah selesai.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.content_part.done.response_idstringID respons terkait.item_idstringID item output terkait.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks bagian konten dalam item output.partobjectBagian konten yang telah selesai.
Properti type stringTipe konten, seperti audio atau text.textstringKonten teks atau teks transkrip audio. |
response.output_item.done
Deskripsi: Item output dalam respons telah selesai.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.output_item.done.response_idstringID respons terkait.output_indexintegerIndeks item output dalam respons.itemobjectItem output yang telah selesai dengan detail lengkap.
Properti id stringIdentifier unik untuk item output.objectstringSelalu realtime.item.typestringTipe item output: message (pesan standar) atau function_call (pemanggilan fungsi).statusstringStatus item output, seperti completed.rolestringPeran pesan. Selalu assistant. Hanya ada untuk item tipe message.contentarrayDaftar konten pesan. Hanya ada untuk item tipe message. |
response.function_call_arguments.delta
Deskripsi: Delta argumen Function Calling. Ketika model memutuskan untuk memanggil tool, server pertama-tama mengirim response.output_item.added (dengan item.type=function_call) dan conversation.item.created, lalu mengalirkan fragmen argumen melalui event ini.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.function_call_arguments.delta.response_idstringID respons terkait.item_idstringID item output terkait.output_indexintegerIndeks item output dalam respons.call_idstringIdentifier unik untuk pemanggilan fungsi.deltastringFragmen inkremental argumen pemanggilan fungsi (fragmen string JSON). |
response.function_call_arguments.done
Deskripsi: Dikirim ketika output argumen Function Calling selesai. Setelah menerima event ini, klien harus: mengeksekusi tool terkait, menulis hasilnya ke percakapan melalui conversation.item.create dengan item function_call_output, lalu mengirim response.create untuk memicu putaran inferensi lanjutan.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.function_call_arguments.done.response_idstringID respons terkait.item_idstringID item output terkait.output_indexintegerIndeks item output dalam respons.call_idstringIdentifier unik untuk pemanggilan fungsi.namestringNama fungsi yang dipanggil.argumentsstringArgumen pemanggilan fungsi lengkap (string JSON). |
response.done
Deskripsi: Satu putaran inferensi selesai. status menunjukkan alasan penyelesaian.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.done.responseobjectObjek respons lengkap.
Properti id stringIdentifier unik respons.objectstringSelalu realtime.response.statusstringStatus penyelesaian respons. Nilai yang valid:
objectDetail status. Hanya ada ketika status adalah cancelled atau failed.
Properti type stringTipe status, seperti cancelled.reasonstringAlasan pembatalan: turn_detected (gangguan VAD) atau client_cancelled (pembatalan yang diprakarsai klien).arrayModalitas output dari model.voicestringVoice yang digunakan untuk generasi audio. Bisa berupa nama voice sistem atau voice_id dari voice yang dikloning.outputarrayDaftar item output dalam respons, berisi objek item lengkap. |
voiceprint_audio_list.in_progress
Deskripsi: Proses pendaftaran voiceprint sedang berlangsung secara asinkron.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu voiceprint_audio_list.in_progress.item_idstringIdentifier unik untuk tugas pendaftaran voiceprint. |
voiceprint_audio_list.completed
Deskripsi: Proses pendaftaran voiceprint telah selesai berhasil.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu voiceprint_audio_list.completed.item_idstringIdentifier unik untuk tugas pendaftaran voiceprint. |
voiceprint_audio_list.failed
Deskripsi: Pendaftaran voiceprint gagal. Panggilan percakapan normal tidak diblokir.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu voiceprint_audio_list.failed.item_idstringIdentifier unik untuk tugas pendaftaran voiceprint.reasonstringDeskripsi alasan kegagalan. |