Referensi event server untuk Qwen-Audio Realtime API. Semua event server mencakup bidang event_id (di-generate otomatis oleh server) dan type (tipe event).
Deskripsi: Dikembalikan ketika permintaan gagal atau terjadi error layanan. Error klien (invalid_request_error) tetap menjaga koneksi terbuka. Error server (server_error) menghentikan koneksi.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu error.errorobjectDetail error.
Properti
typestringTipe error, seperti invalid_request_error (error klien) atau server_error (error server).codestringKode error.messagestringPesan error.paramstringParameter yang terkait dengan error tersebut.
Copy
{ "event_id": "event_xxx", "type": "error", "error": { "type": "invalid_request_error", "code": "invalid_value", "message": "Cannot create response while another response is in progress.", "param": "response.create" }}
Deskripsi: Event pertama yang dikirim oleh server setelah koneksi terbentuk. Berisi konfigurasi sesi default.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu session.created.sessionobjectKonfigurasi sesi.
Properti
objectstringSelalu realtime.session.modelstringNama model.modalitiesarrayModalitas output dari model.voicestringVoice yang digunakan untuk generasi audio. Bisa berupa nama voice sistem atau voice_id dari voice yang dikloning.input_audio_transcriptionobjectKonfigurasi transkripsi audio.
Deskripsi: Dikembalikan setelah permintaan session.update diproses berhasil. Berisi konfigurasi sesi lengkap yang telah diperbarui. Jika permintaan gagal, event error akan dikembalikan sebagai gantinya.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu session.updated.sessionobjectKonfigurasi sesi lengkap setelah pembaruan. Memiliki struktur yang sama dengan objek sesi pada session.created.
Deskripsi: Dikirim ketika Voice Activity Detection (VAD) mendeteksi awal ucapan dalam mode server_vad / smart_turn.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu input_audio_buffer.speech_started.audio_start_msintegerTimestamp dalam milidetik saat ucapan dimulai.item_idstringID item yang akan dibuat ketika segmen ucapan ini dikomit.
Deskripsi: Dikirim ketika VAD mendeteksi akhir ucapan dalam mode server_vad / smart_turn.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu input_audio_buffer.speech_stopped.audio_end_msintegerCap waktu dalam milidetik saat ucapan berakhir.item_idstringID item pesan pengguna yang akan dibuat.reasonstringHanya dikembalikan dalam mode smart_turn. Ketika diatur ke turn_invalid, menunjukkan bahwa giliran saat ini diklasifikasikan sebagai tidak valid (tidak memiliki konten semantik) dan inferensi tidak akan dipicu. Bidang ini tidak ada untuk giliran yang valid.
Deskripsi: Buffer audio telah dikomit sebagai pesan pengguna, baik melalui komit push-to-talk maupun komit otomatis VAD.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu input_audio_buffer.committed.previous_item_idstringID item percakapan sebelumnya.item_idstringID item pesan pengguna yang dibuat.
Deskripsi: Item percakapan baru telah dibuat. Dipicu ketika audio pengguna dikomit, klien membuat item secara manual, atau respons asisten dimulai.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu conversation.item.created.previous_item_idstringID item percakapan sebelumnya.itemobjectItem percakapan yang dibuat.
Properti
idstringIdentifier unik untuk item percakapan.objectstringSelalu realtime.item.typestringTipe item: message (pesan standar) atau function_call (pemanggilan fungsi).statusstringStatus item, seperti in_progress atau completed.rolestringPeran pesan, seperti user atau assistant. Hanya ada untuk item tipe message.contentarrayDaftar konten pesan. Hanya ada untuk item tipe message.
Deskripsi: Item percakapan berhasil diambil. Dikembalikan setelah klien mengirim event conversation.item.retrieve. Untuk konten bertipe audio, hanya teks transkrip yang disertakan; raw audio data tidak dikembalikan.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu conversation.item.retrieved.itemobjectItem percakapan yang diambil.
Properti
idstringIdentifier unik untuk item percakapan.objectstringSelalu realtime.item.typestringTipe item: message (pesan standar) atau function_call (pemanggilan fungsi).rolestringPeran pesan, seperti user atau assistant. Hanya ada untuk item tipe message.contentarrayDaftar konten pesan. Untuk konten bertipe audio, hanya teks transkrip yang disertakan; raw audio data tidak dikembalikan.
Deskripsi: Hasil transkripsi Automatic Speech Recognition (ASR) inkremental, dialirkan selama pengenalan ucapan. Termasuk informasi deteksi emosi dan bahasa.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu conversation.item.input_audio_transcription.delta.item_idstringID item percakapan terkait.content_indexintegerIndeks bagian konten.textstringTeks transkripsi yang telah difinalisasi.stashstringTeks sementara yang belum difinalisasi.
Deskripsi: Hasil transkripsi ASR final. Teks transkripsi ditulis ke bidang transcript dari item terkait.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu conversation.item.input_audio_transcription.completed.item_idstringID item percakapan terkait.content_indexintegerIndeks bagian konten.transcriptstringTeks transkripsi lengkap.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu conversation.item.input_audio_transcription.failed.item_idstringID item percakapan terkait.content_indexintegerIndeks bagian konten.errorobjectDetail error.
Properti
typestringTipe error, seperti transcription_error.codestringKode error, seperti transcription_failed.messagestringPesan error.
Deskripsi: Hanya untuk mode smart_turn. Hasil transkripsi inkremental untuk audio ambient. Ketika VAD mendeteksi aktivitas suara tetapi analisis semantik mengklasifikasikan giliran tersebut sebagai tidak valid (misalnya, kebisingan latar belakang atau kata pengisi seperti "hmm" atau "uh"), hasil ASR diteruskan ke klien sebagai event ambient. Event ini tidak terkait dengan item percakapan apa pun. item_id adalah ID sementara yang berdiri sendiri.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu conversation.item.ambient_audio_transcription.delta.item_idstringID sementara yang berdiri sendiri, tidak terkait dengan item percakapan apa pun.content_indexintegerIndeks bagian konten.textstringTeks transkripsi yang telah difinalisasi.stashstringTeks sementara yang belum difinalisasi.
Deskripsi: Hanya untuk mode smart_turn. Hasil transkripsi final untuk audio ambient. Dipasangkan dengan event delta terkait untuk menandai akhir segmen transkripsi audio ambient. Hasil ini tidak ditulis ke konteks percakapan.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu conversation.item.ambient_audio_transcription.completed.item_idstringID sementara yang berdiri sendiri, tidak terkait dengan konteks percakapan.content_indexintegerIndeks bagian konten.transcriptstringTeks transkripsi lengkap.
Deskripsi: Dikirim ketika putaran inferensi model dimulai.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.created.responseobjectObjek respons.
Properti
idstringIdentifier unik untuk respons.objectstringSelalu realtime.response.statusstringStatus respons, seperti in_progress.modalitiesarrayModalitas output dari model.voicestringVoice yang digunakan untuk generasi audio. Bisa berupa nama voice sistem atau voice_id dari voice yang dikloning.outputarrayItem output dari respons. Awalnya merupakan array kosong.
Deskripsi: Item output baru ditambahkan ke respons. Tipe item output adalah message untuk balasan standar, atau function_call untuk Function Calling.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.output_item.added.response_idstringID respons terkait.output_indexintegerIndeks item output dalam respons.itemobjectItem output yang ditambahkan.
Properti
idstringIdentifier unik untuk item output.objectstringSelalu realtime.item.typestringTipe item output: message (pesan standar) atau function_call (pemanggilan fungsi).statusstringStatus item output, seperti in_progress.rolestringPeran pesan. Selalu assistant. Hanya ada untuk item tipe message.contentarrayDaftar konten pesan. Hanya ada untuk item tipe message.
Contoh item output Function Calling:Ketika item output adalah pemanggilan fungsi, event response.output_item.added / conversation.item.created / response.output_item.done berisi struktur item berikut:
Satu respons dapat mencakup beberapa item function_call dan mungkin juga berisi output message standar bersama output function_call. Bagian Function Calling tidak dikirim ke TTS untuk pemutaran audio.
Deskripsi: Bagian konten baru ditambahkan ke item output.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.content_part.added.response_idstringID respons terkait.item_idstringID item output terkait.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks bagian konten dalam item output.partobjectBagian konten yang ditambahkan.
Properti
typestringTipe konten, seperti audio atau text.textstringKonten teks. Awalnya merupakan string kosong.
Deskripsi: Event delta teks dalam mode teks saja. Mengalirkan fragmen teks secara inkremental.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.text.delta.response_idstringID respons terkait.item_idstringID item output terkait.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks bagian konten dalam item output.deltastringFragmen teks inkremental.
Deskripsi: Event penyelesaian output teks dalam mode teks saja.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.text.done.response_idstringID respons terkait.item_idstringID item output terkait.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks bagian konten dalam item output.textstringOutput teks lengkap.
Copy
{ "event_id": "event_xxx", "type": "response.text.done", "response_id": "resp_xxx", "item_id": "item_xxx", "output_index": 0, "content_index": 0, "text": "Hello, how can I help you?"}
Deskripsi: Event delta transkrip dalam mode audio. Mengalirkan fragmen transkrip secara inkremental.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.audio_transcript.delta.response_idstringID respons terkait.item_idstringID item output terkait.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks bagian konten dalam item output.deltastringFragmen transkrip inkremental.
Deskripsi: Event penyelesaian output transkrip dalam mode audio.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.audio_transcript.done.response_idstringID respons terkait.item_idstringID item output terkait.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks bagian konten dalam item output.transcriptstringTeks transkrip lengkap.
Copy
{ "event_id": "event_xxx", "type": "response.audio_transcript.done", "response_id": "resp_xxx", "item_id": "item_xxx", "output_index": 0, "content_index": 0, "transcript": "Hello, how can I help you?"}
Deskripsi: Event delta data audio dalam mode audio. Bidang delta berisi data audio PCM yang dienkripsi Base64.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.audio.delta.response_idstringID respons terkait.item_idstringID item output terkait.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks bagian konten dalam item output.deltastringFragmen data audio PCM yang dienkripsi Base64.
Deskripsi: Event penyelesaian output audio dalam mode audio. Tidak berisi data audio.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.audio.done.response_idstringID respons terkait.item_idstringID item output terkait.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks bagian konten dalam item output.
Deskripsi: Bagian konten dalam item output telah selesai.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.content_part.done.response_idstringID respons terkait.item_idstringID item output terkait.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks bagian konten dalam item output.partobjectBagian konten yang telah selesai.
Properti
typestringTipe konten, seperti audio atau text.textstringKonten teks atau teks transkrip audio.
Copy
{ "event_id": "event_xxx", "type": "response.content_part.done", "response_id": "resp_xxx", "item_id": "item_xxx", "output_index": 0, "content_index": 0, "part": { "type": "audio", "text": "Hello, how can I help you?" }}
Deskripsi: Item output dalam respons telah selesai.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.output_item.done.response_idstringID respons terkait.output_indexintegerIndeks item output dalam respons.itemobjectItem output yang telah selesai dengan detail lengkap.
Properti
idstringIdentifier unik untuk item output.objectstringSelalu realtime.item.typestringTipe item output: message (pesan standar) atau function_call (pemanggilan fungsi).statusstringStatus item output, seperti completed.rolestringPeran pesan. Selalu assistant. Hanya ada untuk item tipe message.contentarrayDaftar konten pesan. Hanya ada untuk item tipe message.
Copy
{ "event_id": "event_xxx", "type": "response.output_item.done", "response_id": "resp_xxx", "output_index": 0, "item": { "id": "item_xxx", "object": "realtime.item", "type": "message", "status": "completed", "role": "assistant", "content": [ { "type": "text", "text": "Hello, how can I help you?" } ] }}
Deskripsi: Delta argumen Function Calling. Ketika model memutuskan untuk memanggil tool, server pertama-tama mengirim response.output_item.added (dengan item.type=function_call) dan conversation.item.created, lalu mengalirkan fragmen argumen melalui event ini.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.function_call_arguments.delta.response_idstringID respons terkait.item_idstringID item output terkait.output_indexintegerIndeks item output dalam respons.call_idstringIdentifier unik untuk pemanggilan fungsi.deltastringFragmen inkremental argumen pemanggilan fungsi (fragmen string JSON).
Deskripsi: Dikirim ketika output argumen Function Calling selesai. Setelah menerima event ini, klien harus: mengeksekusi tool terkait, menulis hasilnya ke percakapan melalui conversation.item.create dengan item function_call_output, lalu mengirim response.create untuk memicu putaran inferensi lanjutan.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.function_call_arguments.done.response_idstringID respons terkait.item_idstringID item output terkait.output_indexintegerIndeks item output dalam respons.call_idstringIdentifier unik untuk pemanggilan fungsi.namestringNama fungsi yang dipanggil.argumentsstringArgumen pemanggilan fungsi lengkap (string JSON).
Deskripsi: Satu putaran inferensi selesai. status menunjukkan alasan penyelesaian.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu response.done.responseobjectObjek respons lengkap.
Properti
idstringIdentifier unik respons.objectstringSelalu realtime.response.statusstringStatus penyelesaian respons. Nilai yang valid:
completed: Selesai secara normal.
cancelled: Dihentikan dan dibatalkan. status_details.reason adalah turn_detected (gangguan VAD) atau client_cancelled (pembatalan yang diprakarsai klien).
failed: Error LLM atau TTS.
status_detailsobjectDetail status. Hanya ada ketika status adalah cancelled atau failed.
Properti
typestringTipe status, seperti cancelled.reasonstringAlasan pembatalan: turn_detected (gangguan VAD) atau client_cancelled (pembatalan yang diprakarsai klien).
modalitiesarrayModalitas output dari model.voicestringVoice yang digunakan untuk generasi audio. Bisa berupa nama voice sistem atau voice_id dari voice yang dikloning.outputarrayDaftar item output dalam respons, berisi objek item lengkap.
Deskripsi: Proses pendaftaran voiceprint sedang berlangsung secara asinkron.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu voiceprint_audio_list.in_progress.item_idstringIdentifier unik untuk tugas pendaftaran voiceprint.
Deskripsi: Proses pendaftaran voiceprint telah selesai berhasil.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu voiceprint_audio_list.completed.item_idstringIdentifier unik untuk tugas pendaftaran voiceprint.
Deskripsi: Pendaftaran voiceprint gagal. Panggilan percakapan normal tidak diblokir.
event_idstringIdentifier unik untuk event ini.typestringTipe event. Selalu voiceprint_audio_list.failed.item_idstringIdentifier unik untuk tugas pendaftaran voiceprint.reasonstringDeskripsi alasan kegagalan.