Topik ini menjelaskan peristiwa server untuk API terjemahan suara dan audio visual real-time Qwen, termasuk jenis peristiwa, parameter, dan contoh.
Referensi: Terjemahan audio dan video real-time - Qwen
Halaman ini adalah referensi peristiwa untuk Qwen-LiveTranslate-Realtime. Definisi peristiwa didasarkan pada akses WebSocket. AOQ dan WebRTC menggunakan saluran data masing-masing untuk mengirim dan menerima peristiwa model, serta track media untuk mengirim media. Baca terlebih dahulu Akses WebSocket, Akses WebRTC, atau Akses AOQ.
error
Pesan error yang dikembalikan oleh server.
event_idstringtypestringerror.errorobjectProperti
Properti
typestringcodestringmessagestringparamstringsession.modalities.session.created
Saat klien terhubung, server mengembalikan event ini terlebih dahulu dengan konfigurasi sesi default.
event_idstringtypestringsession.created.sessionobjectProperti
Properti
idstringobjectstringrealtime.session.modelstringinput_modalitiesarrayqwen3.8-livetranslate-flash-realtime. Modalitas input, misalnya ["audio"].output_modalitiesarrayqwen3.8-livetranslate-flash-realtime. Modalitas output: ["text"] atau ["text", "audio"].audioobjectqwen3.8-livetranslate-flash-realtime. Konfigurasi input dan output audio.Properti
Properti
inputobjectProperti
Properti
formatobjecttype adalah pcm dan sample_rate adalah 16000 (Hz).turn_detectionobjecttype adalah speaker_detection, threshold adalah 0.5, dan silence_duration_ms adalah 1000.outputobjectProperti
Properti
formatobjecttype adalah pcm dan sample_rate adalah 24000 Hz.voicestringTina.modalitiesarrayqwen3.5-livetranslate-flash-realtime.Pengaturan modalitas output untuk model.voicestringqwen3.5-livetranslate-flash-realtime.Voice untuk audio yang dihasilkan oleh model.input_audio_formatstringqwen3.5-livetranslate-flash-realtime.Format audio input. Default-nya adalah pcm.sample_rateintegerqwen3.5-livetranslate-flash-realtime.Laju sampel audio input, dalam Hz.output_audio_formatstringqwen3.5-livetranslate-flash-realtime.Format audio output. Default-nya adalah pcm.turn_detectionobjectqwen3.5-livetranslate-flash-realtime.Konfigurasi VAD (Voice Activity Detection).translationobject(Opsional)Properti
Properti
languagestring(Opsional)corpusobject(Opsional)Properti
Properti
phrasesobject(Opsional)- qwen3.8-livetranslate-flash-realtime
- qwen3.5-livetranslate-flash-realtime
Berlaku untuk
qwen3.8-livetranslate-flash-realtime.session.updated
Dikembalikan setelah permintaan session.update berhasil. Jika permintaan gagal, event error akan dikembalikan sebagai gantinya.
event_idstringtypestringsession.updated.sessionobjectProperti
Properti
idstringobjectstringrealtime.session.modelstringinput_modalitiesarrayqwen3.8-livetranslate-flash-realtime. Modalitas input, misalnya ["audio"].output_modalitiesarrayqwen3.8-livetranslate-flash-realtime. Modalitas output: ["text"] atau ["text", "audio"].audioobjectqwen3.8-livetranslate-flash-realtime. Konfigurasi input dan output audio.Properti
Properti
inputobjectProperti
Properti
formatobjecttype adalah pcm dan sample_rate adalah 16000 (Hz).turn_detectionobjecttype adalah speaker_detection, threshold adalah 0.5, dan silence_duration_ms adalah 1000.outputobjectProperti
Properti
formatobjectvoicestringTina.modalitiesarrayqwen3.5-livetranslate-flash-realtime.Pengaturan modalitas output untuk model.voicestringqwen3.5-livetranslate-flash-realtime.Voice untuk audio yang dihasilkan oleh model.sample_rateinteger(Opsional)qwen3.5-livetranslate-flash-realtime.Laju sampel audio input, dalam Hz.input_audio_formatstringqwen3.5-livetranslate-flash-realtime.Format audio input. Nilainya selalu pcm.output_audio_formatstringqwen3.5-livetranslate-flash-realtime.Format audio output. Nilainya selalu pcm.input_audio_transcriptionobjectqwen3.5-livetranslate-flash-realtime.Konfigurasi transkripsi audio input. Hanya dikembalikan ketika parameter input_audio_transcription.model dikonfigurasi dalam sesi.Properti
Properti
modelstringlanguagestringturn_detectionobjectqwen3.5-livetranslate-flash-realtime.Konfigurasi VAD (Voice Activity Detection). Bidang ini tidak dikembalikan dalam mode Manual (ketika klien mengatur parameter ini ke null dalam session.update).Properti
Properti
typestringserver_vad.thresholdfloatprefix_padding_msintegersilence_duration_msintegercreate_responsebooleaninterrupt_responsebooleantranslationobject(Opsional)Properti
Properti
languagestring(Opsional)corpusobject(Opsional)Properti
Properti
phrasesobject(Opsional)enable_voice_clonebooleanvoice_clone_optionsobjectenable_voice_clone bernilai true.Properti
Properti
frequencystring- qwen3.8-livetranslate-flash-realtime
- qwen3.5-livetranslate-flash-realtime
Berlaku untuk
qwen3.8-livetranslate-flash-realtime.session.finished
Sesi telah selesai dan semua terjemahan audio telah lengkap.
Peristiwa ini dikembalikan setelah klien mengirim session.finish. Setelah menerima event ini, klien harus menyelesaikan pemutaran lokal audio terjemahan yang tersisa sebelum memutuskan koneksi secara aktif, jika pemutaran diperlukan.
event_idstringtypestringsession.finished.response.created
Dikembalikan saat server menghasilkan respons model baru.
event_idstringtypestringresponse.created.responseobjectProperti
Properti
idstringconversation_idstringobjectstringrealtime.response.statusstringcompletedfailedin_progressincomplete
modalitiesarrayvoicestringoutput_audio_formatstringoutputarrayresponse.done
Dikembalikan setelah pembuatan respons selesai. Berisi semua item output kecuali data audio mentah.
event_idstringtypestringresponse.done.responseobjectProperti
Properti
idstringconversation_idstringobjectstringrealtime.response.statusstringmodalitiesarrayvoicestringoutput_audio_formatstringoutputobjectProperti
Properti
idstringtypestringmessage.objectstringrealtime.item.statusstringrolestringcontentarrayProperti
Properti
typestringtext untuk output teks biasa dan audio ketika output mencakup audio.textstringtranscriptstringusageobjectresponse.done melaporkan nilai kumulatif terkini. Untuk menghitung total penggunaan sesi, gunakan laporan usage terakhir, bukan menjumlahkan semua laporan.Properti
Properti
total_tokensintegerinput_tokens dan output_tokens.input_tokensintegeroutput_tokensintegerinput_tokens_detailsobjectProperti
Properti
text_tokensintegeraudio_tokensintegervideo_tokensintegeroutput_tokens_detailsobjectProperti
Properti
text_tokensintegeraudio_tokensintegerresponse.text.delta
Berlaku untuk qwen3.8-livetranslate-flash-realtime. Mengembalikan fragmen terjemahan baru untuk output teks saja.
event_idstringtypestringresponse.text.delta.response_idstringitem_idstringoutput_indexintegercontent_indexintegerdeltastringresponse.text.text
Berlaku untuk model seperti qwen3.5-livetranslate-flash-realtime. Untuk qwen3.8-livetranslate-flash-realtime, tangani response.text.delta sebagai gantinya.
Dikembalikan untuk output teks saja saat model menghasilkan teks secara inkremental.
event_idstringtypestringresponse.text.text.textstringresponse_idstringitem_idstringoutput_indexintegercontent_indexintegerstashstringstash dengan text saat ini untuk membentuk hasil sementara. Sistem memperbarui text dan stash secara terus-menerus menggunakan event response.text.text hingga menerima event response.text.done. Teks lengkap akhir kemudian tersedia di bidang text.response.text.done
Dikembalikan saat generasi teks selesai untuk output teks saja, atau jika respons diinterupsi, tidak lengkap, atau dibatalkan.
event_idstringtypestringresponse.text.done.response_idstringitem_idstringoutput_indexintegercontent_indexintegertextstringresponse.audio.delta
Untuk akses WebSocket, server mengembalikan event ini saat modalitas output mencakup audio dan model menghasilkan data audio baru secara inkremental.
event_idstringtypestringresponse.audio.delta.response_idstringitem_idstringoutput_indexintegercontent_indexintegerdeltastringresponse.audio.done
Dikembalikan saat generasi audio selesai. Juga dikembalikan jika respons diinterupsi, tidak lengkap, atau dibatalkan. Tidak berisi data audio lengkap.
event_idstringtypestringresponse.audio.done.response_idstringitem_idstringoutput_indexintegercontent_indexintegerinput_audio_buffer.speech_started
Dikembalikan saat VAD sisi server (Voice Activity Detection) mendeteksi bahwa pengguna mulai berbicara.
event_idstringtypestringinput_audio_buffer.speech_started.audio_start_msintegeritem_idstringspeaker_idintegerqwen3.8-livetranslate-flash-realtime. Identifier pembicara yang dikembalikan ketika speaker_detection diaktifkan. Gunakan item_id event ini untuk mengasosiasikan pembicara dengan transkripsi, dan previous_item_id item terjemahan untuk mengasosiasikannya dengan terjemahan.input_audio_buffer.speech_stopped
Dikembalikan saat VAD sisi server mendeteksi bahwa pengguna berhenti berbicara, menandakan akhir giliran input ucapan saat ini. Karena respons terjemahan dihasilkan secara sinkron dengan input ucapan streaming, respons terjemahan aktual mungkin sudah dimulai selama proses input ucapan, tanpa perlu menunggu event ini.
event_idstringtypestringinput_audio_buffer.speech_stopped.audio_end_msintegeritem_idstringinput_audio_buffer.committed
Dalam mode Manual (turn_detection bernilai null), setelah klien mengirim event input_audio_buffer.commit, server mengembalikan event ini sebagai konfirmasi dan secara otomatis mulai menghasilkan respons terjemahan.
event_idstringtypestringinput_audio_buffer.committed.input_audio_buffer.cleared
Setelah klien mengirim event input_audio_buffer.clear, server mengembalikan event ini sebagai konfirmasi bahwa data audio yang belum dikomit dalam buffer telah dihapus.
event_idstringtypestringinput_audio_buffer.cleared.conversation.item.created
Dikembalikan saat item pesan baru dibuat dalam percakapan. Event ini dipicu dalam skenario berikut:
- Saat server mulai menghasilkan respons terjemahan, server membuat item pesan asisten terkait (pada titik ini,
contentadalah array kosong, dan konten diisi secara progresif dengan respons streaming). - Dalam mode Manual, setelah klien mengirim event
input_audio_buffer.commit, server juga membuat item pesan yang sesuai dengan input audio pengguna (contentberisi{"type": "input_audio"}).
item.id dari hasil pengenalan ucapan cocok dengan previous_item_id dalam event hasil terjemahan. Gunakan nilai-nilai ini untuk mengasosiasikan dan menampilkan teks sumber dengan terjemahannya.
event_idstringtypestringconversation.item.created.previous_item_idstringitem.id dari hasil pengenalan ucapan untuk segmen VAD yang sama.itemobjectProperti
Properti
idstringtypestringmessage.objectstringrealtime.item.statusstringrolestringassistant atau user.contentarray{"type": "input_audio"}.conversation.item.input_audio_transcription.delta
Berlaku untuk qwen3.8-livetranslate-flash-realtime. Mengembalikan inkremen transkripsi sumber untuk audio input.
event_idstringtypestringconversation.item.input_audio_transcription.delta.item_idstringcontent_indexintegerdeltastringconversation.item.input_audio_transcription.text
Berlaku untuk model seperti qwen3.5-livetranslate-flash-realtime. Untuk qwen3.8-livetranslate-flash-realtime, tangani conversation.item.input_audio_transcription.delta sebagai gantinya.
Saat input_audio_transcription.model dikonfigurasi, server melakukan streaming hasil pengenalan ucapan dalam bahasa sumber asli.
event_idstringtypestringconversation.item.input_audio_transcription.text.item_idstringcontent_indexintegertextstringstashstringlanguagestringemotionstringsurprised: Terkejutneutral: Netralhappy: Senangsad: Sedihdisgusted: Jijikangry: Marahfearful: Takut
conversation.item.input_audio_transcription.completed
Saat input_audio_transcription.model dikonfigurasi, mengembalikan hasil pengenalan akhir setelah pengenalan ucapan selesai.
event_idstringtypestringconversation.item.input_audio_transcription.completed.item_idstringcontent_indexintegertranscriptstringlanguagestringemotionstringsurprised: terkejutneutral: tenang/netralhappy: senangsad: sedihdisgusted: jijikangry: marahfearful: takut
conversation.item.input_audio_transcription.failed
Dikembalikan saat input audio diterima tetapi pengenalan ucapan gagal. Event ini ditangani secara terpisah dari event error lainnya, sehingga memudahkan klien untuk mengidentifikasi item terkait secara spesifik.
typestringconversation.item.input_audio_transcription.failed.item_idstringcontent_indexintegererrorobjectProperti
Properti
codestringmessagestringresponse.audio_transcript.delta
Berlaku untuk qwen3.8-livetranslate-flash-realtime. Mengembalikan fragmen terjemahan baru untuk output teks dan audio.
event_idstringtypestringresponse.audio_transcript.delta.response_idstringitem_idstringoutput_indexintegercontent_indexintegerdeltastringresponse.audio_transcript.text
Berlaku untuk model seperti qwen3.5-livetranslate-flash-realtime. Untuk qwen3.8-livetranslate-flash-realtime, tangani response.audio_transcript.delta sebagai gantinya.
Dikembalikan untuk output audio guna menampilkan terjemahan real-time.
event_idstringtypestringresponse.audio_transcript.text.response_idstringitem_idstringoutput_indexintegercontent_indexintegertextstringstashstringtext untuk membentuk hasil sementara. Sistem memperbarui text dan stash secara terus-menerus melalui event response.audio_transcript.text hingga event response.audio_transcript.done diterima. Kemudian ambil terjemahan akhir dari transcript.response.audio_transcript.done
Dikembalikan saat output audio diaktifkan dan generasi teks selesai.
event_idstringtypestringresponse.audio_transcript.done.response_idstringitem_idstringoutput_indexintegercontent_indexintegertranscriptstringresponse.output_item.added
Dikembalikan saat item output baru ditambahkan selama pembuatan respons.
event_idstringtypestringresponse.output_item.added.response_idstringoutput_indexintegeritemobjectProperti
Properti
idstringtypestringmessage.objectstringrealtime.item.statusstringrolestringcontentstringresponse.output_item.done
Dikembalikan saat item output selesai.
event_idstringtypestringresponse.output_item.done.response_idstringoutput_indexintegeritemobjectProperti
Properti
idstringobjectstringrealtime.item.typestringmessage.statusstringrolestringcontentstringresponse.content_part.added
Dikembalikan saat bagian konten baru ditambahkan.
event_idstringtypestringresponse.content_part.added.response_idstringitem_idstringoutput_indexintegercontent_indexintegerpartobjectProperti
Properti
typestringtextstringresponse.content_part.done
Dikembalikan saat bagian konten selesai.
event_idstringtypestringresponse.content_part.done.response_idstringitem_idstringoutput_indexintegercontent_indexintegerpartobjectProperti
Properti
typestringtextstring