Skip to main content

Event klien Qwen-LiveTranslate-Realtime

Topik ini menjelaskan event klien untuk API terjemahan suara dan audio visual real-time Qwen, termasuk jenis event, parameter, dan contoh.

Referensi: Terjemahan audio dan video real-time - Qwen .
Halaman ini adalah referensi event untuk Qwen-LiveTranslate-Realtime. Definisi event didasarkan pada akses WebSocket. AOQ dan WebRTC menggunakan kanal data masing-masing untuk mengirim dan menerima event model, serta trek media untuk mengirimkan media. Baca terlebih dahulu Akses WebSocket, Akses WebRTC, atau Akses AOQ.
Untuk penggunaan SDK WebSocket, lihat SDK Python dan SDK Java. Untuk memilih model dan protokol, lihat Gambaran umum.

session.update

Kirim event ini setelah koneksi WebSocket terbentuk untuk memperbarui konfigurasi sesi default. Server memvalidasi parameter dan mengembalikan error (jika tidak valid) atau konfigurasi yang diperbarui (jika valid).
typestring(wajib)
Jenis event. Harus diatur ke session.update.
sessionobject(opsional)
Konfigurasi sesi.
input_modalitiesarray(opsional)
Untuk qwen3.8-livetranslate-flash-realtime melalui WebSocket. Atur ke ["audio"] (hanya audio, default) atau ["audio", "video"] (audio dan gambar). Model hanya memproses gambar yang dikirim melalui input_image_buffer.append saat video diaktifkan.
output_modalitiesarray(opsional)
Berlaku untuk qwen3.8-livetranslate-flash-realtime. Modalitas output: ["text"] untuk teks saja atau ["text", "audio"] untuk teks dan audio (default).
audioobject(opsional)
Berlaku untuk qwen3.8-livetranslate-flash-realtime. Konfigurasi audio.
inputobject
Konfigurasi audio input.
formatobject(opsional)
Format audio input.
typestring(opsional)
Format audio. Nilai yang valid: pcm (default) dan opus.
sample_rateinteger(opsional)
Laju sampel audio input dalam Hz. Default-nya adalah 16000.
turn_detectionobject(opsional)
Konfigurasi deteksi ucapan.
typestring(opsional)
Nilai yang valid: speaker_detection (default, mengaktifkan pemisahan pembicara real-time) dan server_vad (deteksi aktivitas suara).
thresholdnumber(opsional)
Ambang deteksi. Dalam mode speaker_detection, ambang ini membedakan keheningan dari ucapan yang valid. Suara di bawah ambang akan disaring dan tidak diteruskan ke model. Nilainya tetap 0.5.
outputobject(opsional)
Konfigurasi audio terjemahan.
voicestring(opsional)
Voice untuk suara terjemahan. Saat voice cloning dinonaktifkan, default-nya adalah Tina. Untuk kloning suara real-time dengan voice_clone_options.frequency diatur ke once atau always, atur voice ke default.
modalitiesarray(opsional)
Berlaku untuk qwen3.5-livetranslate-flash-realtime.Modalitas output. Nilai yang valid:
  • ["text"] Hanya menghasilkan output teks.
  • ["text","audio"] (Default) Menghasilkan output teks dan audio.
voicestring(opsional)
Voice untuk audio yang dihasilkan. Saat voice cloning dinonaktifkan, atur nilai ini ke voice preset sistem. Nilai yang valid: Voice yang didukung. Voice default adalah Tina untuk qwen3.8-livetranslate-flash-realtime dan qwen3.5-livetranslate-flash-realtime.Pada versi 3.8, Anda juga dapat mengatur voice di objek output di bawah audio.
Saat enable_voice_clone bernilai true, nilai voice bergantung pada pengaturan voice_clone_options.frequency. Saat frequency bernilai once atau always, atur nilainya ke default. Saat frequency bernilai never, atur nilainya ke ID voice yang sebelumnya telah Anda kloning. Menggunakan voice preset sistem dalam kasus ini akan menyebabkan error di server.
enable_voice_cloneboolean(opsional)
Apakah voice cloning diaktifkan. Default-nya false. Saat diaktifkan, Anda dapat mengkloning suara input secara real-time selama penerjemahan atau menggunakan suara yang telah dikloning sebelumnya. Dalam hal ini, voice tidak lagi menggunakan voice preset sistem. Atur ke default atau ID suara yang sebelumnya dikloning melalui API kloning suara.
voice_clone_optionsobject(opsional)
Opsi kontrol voice cloning. Hanya berlaku saat enable_voice_clone bernilai true.
frequencystring(opsional)
Frekuensi voice cloning. Nilai yang valid:
  • never Menonaktifkan voice cloning di sisi server dan menggunakan voice yang sebelumnya telah Anda kloning. Atur voice ke ID voice kloning Anda.
  • once Mengkloning voice sekali di awal sesi dan menggunakannya kembali untuk semua output selanjutnya. Cocok untuk skenario satu pembicara. Atur voice ke default.
  • always Mengkloning ulang voice secara real-time sebelum setiap output, menyesuaikan secara dinamis dengan audio input. Cocok untuk skenario multi-pembicara. Atur voice ke default.
sample_rateinteger(opsional)
Berlaku untuk qwen3.5-livetranslate-flash-realtime.Laju sampel audio input, dalam Hz. Nilai yang valid:
  • 8000
  • 16000 (Default)
input_audio_transcriptionobject(opsional)
Berlaku untuk qwen3.5-livetranslate-flash-realtime.Untuk qwen3.8-livetranslate-flash-realtime, ASR selalu aktif dan tidak dapat dinonaktifkan. Transkripsi tidak dikenakan biaya.Konfigurasi untuk audio input.
modelstring|null(opsional)
Model pengenalan suara. Default-nya qwen3-asr-flash-realtime; ASR aktif secara default. Server mengembalikan hasil pengenalan audio input (teks dalam bahasa sumber asli) melalui event conversation.item.input_audio_transcription.text dan conversation.item.input_audio_transcription.completed. Untuk menonaktifkan ASR, atur parameter ini secara eksplisit ke null.Nilai yang valid: qwen3-asr-flash-realtime (default, mengaktifkan ASR) dan null (menonaktifkan ASR).
languagestring(opsional)
Bahasa sumber untuk terjemahan. Nilai yang valid: Bahasa yang didukung. Jika tidak ditentukan, model akan mendeteksi bahasa sumber secara otomatis.
input_audio_formatstring(opsional)
Berlaku untuk qwen3.5-livetranslate-flash-realtime.Format audio input. Nilai yang valid:
  • pcm (Default) Data audio mentah tanpa kompresi.
  • opus Kodek audio lossy dengan dukungan latensi rendah, cocok untuk skenario VoIP.
output_audio_formatstring(opsional)
Berlaku untuk qwen3.5-livetranslate-flash-realtime.Format audio output. Saat ini, parameter ini hanya dapat diatur ke pcm.
turn_detectionobject|null(opsional)
Berlaku untuk qwen3.5-livetranslate-flash-realtime.Konfigurasi Voice Activity Detection (VAD), digunakan untuk mengontrol cara deteksi awal dan akhir ucapan:
  • Diatur ke objek konfigurasi (default): Mengaktifkan mode VAD. Server secara otomatis mendeteksi awal dan akhir ucapan, melakukan commit buffer audio, dan memicu respons terjemahan. Klien tidak perlu mengirim event input_audio_buffer.commit.
  • Diatur ke null: Mengaktifkan mode Manual. Klien melakukan commit buffer audio secara manual dengan mengirim event input_audio_buffer.commit. Server secara otomatis mulai menghasilkan respons terjemahan setelah menerima commit tersebut.
typestring(opsional)
Jenis VAD. Harus diatur ke server_vad.
thresholdfloat(opsional)
Sensitivitas deteksi VAD. Nilai yang lebih rendah membuat suara pelan (termasuk kebisingan latar) lebih mudah dikenali sebagai ucapan; nilai yang lebih tinggi memerlukan ucapan yang lebih jelas dan keras untuk memicu deteksi.Rentang nilai: [-1.0, 1.0]. Nilai default: 0.2.
silence_duration_msinteger(opsional)
Durasi minimum keheningan (dalam milidetik) yang diperlukan setelah ucapan berakhir. Setelah durasi ini terlampaui, server menentukan bahwa ucapan telah berakhir, secara otomatis melakukan commit buffer audio, dan memicu respons terjemahan.Rentang nilai: [200, 6000]. Nilai default: 1000.
translationobject(opsional)
Konfigurasi terjemahan.
languagestring(opsional)
Bahasa target untuk terjemahan. Nilai yang valid: Bahasa yang didukung. Nilai default: en.
same_language_skip_optionsobject(opsional)
qwen3.8-livetranslate-flash-realtime tidak mendukung parameter ini.Konfigurasi output bahasa yang sama. Saat bahasa sumber dan target sama, layanan dapat melewatkan output teks, output audio, atau keduanya. Parameter ini hanya berlaku saat bahasa target diatur ke zh atau en.
skip_textboolean(opsional)
Menentukan apakah output teks dilewati saat bahasa sumber dan target sama.
skip_audioboolean(opsional)
Menentukan apakah output audio dilewati saat bahasa sumber dan target sama.
corpusobject(opsional)
Konfigurasi hot-word untuk meningkatkan akurasi terjemahan istilah tertentu.
phrasesobject(opsional)
Pemetaan hot-word. Kunci adalah istilah dalam bahasa sumber, dan nilainya adalah terjemahan dalam bahasa target.Contoh: {"AI": "Artificial Intelligence"}
  • qwen3.8-livetranslate-flash-realtime
  • qwen3.5-livetranslate-flash-realtime
{
  "type": "session.update",
  "session": {
    "input_modalities": [
      "audio",
      "video"
    ],
    "output_modalities": [
      "text",
      "audio"
    ],
    "audio": {
      "input": {
        "format": {
          "type": "pcm",
          "sample_rate": 16000
        },
        "turn_detection": {
          "type": "speaker_detection",
          "threshold": 0.5
        }
      },
      "output": {
        "voice": "default"
      }
    },
    "enable_voice_clone": true,
    "voice_clone_options": {
      "frequency": "once"
    },
    "translation": {
      "language": "en",
      "corpus": {
        "phrases": {
          "人工智能": "Artificial Intelligence",
          "机器学习": "Machine Learning"
        }
      }
    }
  }
}

input_audio_buffer.append

Untuk akses WebSocket, menambahkan byte audio ke buffer audio input. Server menggunakan buffer ini untuk mendeteksi ucapan dan menentukan kapan harus melakukan commit.
typestring(wajib)
Jenis event. Harus diatur ke input_audio_buffer.append.
audiostring(wajib)
Data audio yang dikodekan Base64.
{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.append",
    "audio": "xxx"
}

input_audio_buffer.commit

Melakukan commit buffer audio input. Event ini hanya perlu dikirim dalam mode Manual (turn_detection diatur ke null). Dalam mode VAD, server melakukan commit secara otomatis dan klien tidak perlu mengirim event ini. Saat menerima event ini, server mengembalikan event input_audio_buffer.committed sebagai konfirmasi dan secara otomatis mulai menghasilkan respons terjemahan (tidak diperlukan event tambahan untuk memicu respons). Jika buffer audio kosong, server mengembalikan event error.
typestring(wajib)
Jenis event. Harus diatur ke input_audio_buffer.commit.
{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.commit"
}

input_audio_buffer.clear

Menghapus data audio yang belum di-commit dari buffer audio input.
typestring(wajib)
Jenis event. Harus diatur ke input_audio_buffer.clear.
{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.clear"
}

input_image_buffer.append

Untuk akses WebSocket, menambahkan data gambar ke buffer gambar. Gambar dapat berasal dari file lokal atau diambil secara real-time dari aliran video. Untuk qwen3.8-livetranslate-flash-realtime, atur session.input_modalities ke ["audio", "video"] dalam session.update sebelum mengirim gambar. Permintaan yang sudah ada tanpa field ini tetap dapat mengunggah gambar, tetapi model akan mengabaikannya. Batas input gambar:
  • Format gambar: JPG atau JPEG. Resolusi yang direkomendasikan untuk performa optimal: 480p atau 720p (maksimum: 1080p).
  • Ukuran gambar maksimum: 500 KB (sebelum enkode Base64).
  • Data gambar harus dikodekan dalam Base64.
  • Frekuensi maksimum: 2 gambar per detik.
  • Kirim minimal satu event input_audio_buffer.append sebelum mengirim input_image_buffer.append.
typestring(wajib)
Jenis event. Harus diatur ke input_image_buffer.append.
imagestring(wajib)
Data gambar yang dikodekan Base64.
{
    "event_id": "event_xxx",
    "type": "input_image_buffer.append",
    "image": "xxx"
}

session.finish

Kirim event ini untuk mengakhiri sesi saat ini. Respons server: Setelah menerima event session.finished, jika pemutaran diperlukan, klien harus menyelesaikan pemutaran lokal audio terjemahan yang tersisa sebelum memutuskan koneksi secara aktif.
typestring(wajib)
Jenis event. Harus diatur ke session.finish.
{
    "event_id": "event_xxx",
    "type": "session.finish"
}