Topik ini menjelaskan event klien untuk API terjemahan suara dan audio visual real-time Qwen, termasuk jenis event, parameter, dan contoh.
Referensi: Terjemahan audio dan video real-time - Qwen .
Halaman ini adalah referensi event untuk Qwen-LiveTranslate-Realtime. Definisi event didasarkan pada akses WebSocket. AOQ dan WebRTC menggunakan kanal data masing-masing untuk mengirim dan menerima event model, serta trek media untuk mengirimkan media. Baca terlebih dahulu Akses WebSocket, Akses WebRTC, atau Akses AOQ.
session.update
Kirim event ini setelah koneksi WebSocket terbentuk untuk memperbarui konfigurasi sesi default. Server memvalidasi parameter dan mengembalikan error (jika tidak valid) atau konfigurasi yang diperbarui (jika valid).
typestring(wajib)session.update.sessionobject(opsional)Properti
Properti
input_modalitiesarray(opsional)qwen3.8-livetranslate-flash-realtime melalui WebSocket. Atur ke ["audio"] (hanya audio, default) atau ["audio", "video"] (audio dan gambar). Model hanya memproses gambar yang dikirim melalui input_image_buffer.append saat video diaktifkan.output_modalitiesarray(opsional)qwen3.8-livetranslate-flash-realtime. Modalitas output: ["text"] untuk teks saja atau ["text", "audio"] untuk teks dan audio (default).audioobject(opsional)qwen3.8-livetranslate-flash-realtime. Konfigurasi audio.Properti
Properti
inputobjectProperti
Properti
formatobject(opsional)Properti
Properti
typestring(opsional)pcm (default) dan opus.sample_rateinteger(opsional)turn_detectionobject(opsional)Properti
Properti
typestring(opsional)speaker_detection (default, mengaktifkan pemisahan pembicara real-time) dan server_vad (deteksi aktivitas suara).thresholdnumber(opsional)speaker_detection, ambang ini membedakan keheningan dari ucapan yang valid. Suara di bawah ambang akan disaring dan tidak diteruskan ke model. Nilainya tetap 0.5.outputobject(opsional)Properti
Properti
voicestring(opsional)Tina. Untuk kloning suara real-time dengan voice_clone_options.frequency diatur ke once atau always, atur voice ke default.modalitiesarray(opsional)qwen3.5-livetranslate-flash-realtime.Modalitas output. Nilai yang valid:- ["text"] Hanya menghasilkan output teks.
- ["text","audio"] (Default) Menghasilkan output teks dan audio.
voicestring(opsional)Tina untuk qwen3.8-livetranslate-flash-realtime dan qwen3.5-livetranslate-flash-realtime.Pada versi 3.8, Anda juga dapat mengatur voice di objek output di bawah audio.Saatenable_voice_clonebernilaitrue, nilaivoicebergantung pada pengaturanvoice_clone_options.frequency. Saatfrequencybernilaionceataualways, atur nilainya kedefault. Saatfrequencybernilainever, atur nilainya ke ID voice yang sebelumnya telah Anda kloning. Menggunakan voice preset sistem dalam kasus ini akan menyebabkan error di server.
enable_voice_cloneboolean(opsional)false. Saat diaktifkan, Anda dapat mengkloning suara input secara real-time selama penerjemahan atau menggunakan suara yang telah dikloning sebelumnya. Dalam hal ini, voice tidak lagi menggunakan voice preset sistem. Atur ke default atau ID suara yang sebelumnya dikloning melalui API kloning suara.voice_clone_optionsobject(opsional)enable_voice_clone bernilai true.Properti
Properti
frequencystring(opsional)-
neverMenonaktifkan voice cloning di sisi server dan menggunakan voice yang sebelumnya telah Anda kloning. Aturvoiceke ID voice kloning Anda. -
onceMengkloning voice sekali di awal sesi dan menggunakannya kembali untuk semua output selanjutnya. Cocok untuk skenario satu pembicara. Aturvoicekedefault. -
alwaysMengkloning ulang voice secara real-time sebelum setiap output, menyesuaikan secara dinamis dengan audio input. Cocok untuk skenario multi-pembicara. Aturvoicekedefault.
sample_rateinteger(opsional)qwen3.5-livetranslate-flash-realtime.Laju sampel audio input, dalam Hz. Nilai yang valid:- 8000
- 16000 (Default)
input_audio_transcriptionobject(opsional)qwen3.5-livetranslate-flash-realtime.Untuk qwen3.8-livetranslate-flash-realtime, ASR selalu aktif dan tidak dapat dinonaktifkan. Transkripsi tidak dikenakan biaya.Konfigurasi untuk audio input.Properti
Properti
modelstring|null(opsional)qwen3-asr-flash-realtime; ASR aktif secara default. Server mengembalikan hasil pengenalan audio input (teks dalam bahasa sumber asli) melalui event conversation.item.input_audio_transcription.text dan conversation.item.input_audio_transcription.completed. Untuk menonaktifkan ASR, atur parameter ini secara eksplisit ke null.Nilai yang valid: qwen3-asr-flash-realtime (default, mengaktifkan ASR) dan null (menonaktifkan ASR).languagestring(opsional)input_audio_formatstring(opsional)qwen3.5-livetranslate-flash-realtime.Format audio input. Nilai yang valid:-
pcm(Default) Data audio mentah tanpa kompresi. -
opusKodek audio lossy dengan dukungan latensi rendah, cocok untuk skenario VoIP.
output_audio_formatstring(opsional)qwen3.5-livetranslate-flash-realtime.Format audio output. Saat ini, parameter ini hanya dapat diatur ke pcm.turn_detectionobject|null(opsional)qwen3.5-livetranslate-flash-realtime.Konfigurasi Voice Activity Detection (VAD), digunakan untuk mengontrol cara deteksi awal dan akhir ucapan:- Diatur ke objek konfigurasi (default): Mengaktifkan mode VAD. Server secara otomatis mendeteksi awal dan akhir ucapan, melakukan commit buffer audio, dan memicu respons terjemahan. Klien tidak perlu mengirim event
input_audio_buffer.commit. - Diatur ke
null: Mengaktifkan mode Manual. Klien melakukan commit buffer audio secara manual dengan mengirim eventinput_audio_buffer.commit. Server secara otomatis mulai menghasilkan respons terjemahan setelah menerima commit tersebut.
Properti
Properti
typestring(opsional)server_vad.thresholdfloat(opsional)silence_duration_msinteger(opsional)translationobject(opsional)Properti
Properti
languagestring(opsional)en.same_language_skip_optionsobject(opsional)qwen3.8-livetranslate-flash-realtime tidak mendukung parameter ini.Konfigurasi output bahasa yang sama. Saat bahasa sumber dan target sama, layanan dapat melewatkan output teks, output audio, atau keduanya. Parameter ini hanya berlaku saat bahasa target diatur ke zh atau en.Properti
Properti
skip_textboolean(opsional)skip_audioboolean(opsional)corpusobject(opsional)Properti
Properti
phrasesobject(opsional){"AI": "Artificial Intelligence"}- qwen3.8-livetranslate-flash-realtime
- qwen3.5-livetranslate-flash-realtime
input_audio_buffer.append
Untuk akses WebSocket, menambahkan byte audio ke buffer audio input. Server menggunakan buffer ini untuk mendeteksi ucapan dan menentukan kapan harus melakukan commit.
typestring(wajib)input_audio_buffer.append.audiostring(wajib)input_audio_buffer.commit
Melakukan commit buffer audio input. Event ini hanya perlu dikirim dalam mode Manual (turn_detection diatur ke null). Dalam mode VAD, server melakukan commit secara otomatis dan klien tidak perlu mengirim event ini.
Saat menerima event ini, server mengembalikan event input_audio_buffer.committed sebagai konfirmasi dan secara otomatis mulai menghasilkan respons terjemahan (tidak diperlukan event tambahan untuk memicu respons). Jika buffer audio kosong, server mengembalikan event error.
typestring(wajib)input_audio_buffer.commit.input_audio_buffer.clear
Menghapus data audio yang belum di-commit dari buffer audio input.
typestring(wajib)input_audio_buffer.clear.input_image_buffer.append
Untuk akses WebSocket, menambahkan data gambar ke buffer gambar. Gambar dapat berasal dari file lokal atau diambil secara real-time dari aliran video.
Untuk qwen3.8-livetranslate-flash-realtime, atur session.input_modalities ke ["audio", "video"] dalam session.update sebelum mengirim gambar. Permintaan yang sudah ada tanpa field ini tetap dapat mengunggah gambar, tetapi model akan mengabaikannya.
Batas input gambar:
- Format gambar: JPG atau JPEG. Resolusi yang direkomendasikan untuk performa optimal: 480p atau 720p (maksimum: 1080p).
- Ukuran gambar maksimum: 500 KB (sebelum enkode Base64).
- Data gambar harus dikodekan dalam Base64.
- Frekuensi maksimum: 2 gambar per detik.
- Kirim minimal satu event input_audio_buffer.append sebelum mengirim input_image_buffer.append.
typestring(wajib)input_image_buffer.append.imagestring(wajib)session.finish
Kirim event ini untuk mengakhiri sesi saat ini. Respons server:
- Jika ucapan terdeteksi: Server menyelesaikan sisa terjemahan. Jika transkripsi audio input diaktifkan, server mengembalikan transkrip lengkap dalam bahasa sumber melalui conversation.item.input_audio_transcription.completed. Setelah semua terjemahan audio selesai, server mengirim session.finished untuk menandakan akhir sesi.
- Jika tidak ada ucapan yang terdeteksi: Server langsung mengirim session.finished.
session.finished, jika pemutaran diperlukan, klien harus menyelesaikan pemutaran lokal audio terjemahan yang tersisa sebelum memutuskan koneksi secara aktif.
typestring(wajib)session.finish.