Skip to main content

Peristiwa server Qwen-LiveTranslate-Realtime

Topik ini menjelaskan peristiwa server untuk API terjemahan suara dan audio visual real-time Qwen, termasuk jenis peristiwa, parameter, dan contoh.

Referensi: Terjemahan audio dan video real-time - Qwen
Halaman ini adalah referensi peristiwa untuk Qwen-LiveTranslate-Realtime. Definisi peristiwa didasarkan pada akses WebSocket. AOQ dan WebRTC menggunakan saluran data masing-masing untuk mengirim dan menerima peristiwa model, serta track media untuk mengirim media. Baca terlebih dahulu Akses WebSocket, Akses WebRTC, atau Akses AOQ.
Untuk penggunaan SDK WebSocket, lihat SDK Python dan SDK Java. Untuk memilih model dan protokol, lihat Gambaran umum.

error

Pesan error yang dikembalikan oleh server.
event_idstring
Identifier unik untuk event ini.
typestring
Jenis event. Nilainya selalu error.
errorobject
Informasi detail mengenai error.
typestring
Jenis error.
codestring
Kode kesalahan.
messagestring
Pesan error.
paramstring
Parameter yang terkait dengan error, seperti session.modalities.
{
  "event_id": "event_RoUu4T8yExPMI37GKwaOC",
  "type": "error",
  "error": {
    "type": "invalid_request_error",
    "code": "invalid_value",
    "message": "Invalid modalities: ['audio']. Supported combinations are: ['text'] and ['audio', 'text'].",
    "param": "session.modalities"
  }
}

session.created

Saat klien terhubung, server mengembalikan event ini terlebih dahulu dengan konfigurasi sesi default.
event_idstring
Identifier unik untuk event ini.
typestring
Jenis event. Nilainya selalu session.created.
sessionobject
Konfigurasi sesi.
idstring
Identifier unik untuk sesi.
objectstring
Nilainya selalu realtime.session.
modelstring
Model yang sedang digunakan.
input_modalitiesarray
Berlaku untuk qwen3.8-livetranslate-flash-realtime. Modalitas input, misalnya ["audio"].
output_modalitiesarray
Berlaku untuk qwen3.8-livetranslate-flash-realtime. Modalitas output: ["text"] atau ["text", "audio"].
audioobject
Berlaku untuk qwen3.8-livetranslate-flash-realtime. Konfigurasi input dan output audio.
inputobject
formatobject
Format input. Default type adalah pcm dan sample_rate adalah 16000 (Hz).
turn_detectionobject
Konfigurasi deteksi giliran. Default: type adalah speaker_detection, threshold adalah 0.5, dan silence_duration_ms adalah 1000.
outputobject
formatobject
Format output default sesi. type adalah pcm dan sample_rate adalah 24000 Hz.
voicestring
Suara output. Default-nya adalah Tina.
modalitiesarray
Berlaku untuk model seperti qwen3.5-livetranslate-flash-realtime.Pengaturan modalitas output untuk model.
voicestring
Berlaku untuk model seperti qwen3.5-livetranslate-flash-realtime.Voice untuk audio yang dihasilkan oleh model.
input_audio_formatstring
Berlaku untuk model seperti qwen3.5-livetranslate-flash-realtime.Format audio input. Default-nya adalah pcm.
sample_rateinteger
Berlaku untuk model seperti qwen3.5-livetranslate-flash-realtime.Laju sampel audio input, dalam Hz.
output_audio_formatstring
Berlaku untuk model seperti qwen3.5-livetranslate-flash-realtime.Format audio output. Default-nya adalah pcm.
turn_detectionobject
Berlaku untuk model seperti qwen3.5-livetranslate-flash-realtime.Konfigurasi VAD (Voice Activity Detection).
translationobject(Opsional)
Konfigurasi terjemahan.
languagestring(Opsional)
Bahasa target untuk terjemahan.
corpusobject(Opsional)
Konfigurasi terminologi khusus untuk meningkatkan akurasi terjemahan istilah domain-spesifik.
phrasesobject(Opsional)
Pemetaan istilah bahasa sumber ke terjemahan bahasa target. Untuk detailnya, lihat Bahasa yang didukung.
  • qwen3.8-livetranslate-flash-realtime
  • qwen3.5-livetranslate-flash-realtime
Berlaku untuk qwen3.8-livetranslate-flash-realtime.
{
  "event_id": "event_example",
  "type": "session.created",
  "session": {
    "id": "sess_example",
    "object": "realtime.session",
    "model": "qwen3.8-livetranslate-flash-realtime",
    "input_modalities": [
      "audio"
    ],
    "output_modalities": [
      "text",
      "audio"
    ],
    "audio": {
      "input": {
        "format": {
          "type": "pcm",
          "sample_rate": 16000
        },
        "turn_detection": {
          "type": "speaker_detection",
          "threshold": 0.5,
          "silence_duration_ms": 1000
        }
      },
      "output": {
        "format": {
          "type": "pcm",
          "sample_rate": 24000
        },
        "voice": "Tina"
      }
    },
    "translation": {
      "language": "en"
    }
  }
}

session.updated

Dikembalikan setelah permintaan session.update berhasil. Jika permintaan gagal, event error akan dikembalikan sebagai gantinya.
event_idstring
Identifier unik untuk event ini.
typestring
Jenis event. Nilainya selalu session.updated.
sessionobject
Konfigurasi sesi.
idstring
Identifier unik untuk sesi.
objectstring
Nilainya selalu realtime.session.
modelstring
Model yang sedang digunakan.
input_modalitiesarray
Berlaku untuk qwen3.8-livetranslate-flash-realtime. Modalitas input, misalnya ["audio"].
output_modalitiesarray
Berlaku untuk qwen3.8-livetranslate-flash-realtime. Modalitas output: ["text"] atau ["text", "audio"].
audioobject
Berlaku untuk qwen3.8-livetranslate-flash-realtime. Konfigurasi input dan output audio.
inputobject
formatobject
Format input. Default type adalah pcm dan sample_rate adalah 16000 (Hz).
turn_detectionobject
Konfigurasi deteksi giliran. Default: type adalah speaker_detection, threshold adalah 0.5, dan silence_duration_ms adalah 1000.
outputobject
formatobject
Pengaturan format output sesi. Putar audio terjemahan dari response.audio.delta sebagai PCM 24 kHz.
voicestring
Suara output. Default-nya adalah Tina.
modalitiesarray
Berlaku untuk model seperti qwen3.5-livetranslate-flash-realtime.Pengaturan modalitas output untuk model.
voicestring
Berlaku untuk model seperti qwen3.5-livetranslate-flash-realtime.Voice untuk audio yang dihasilkan oleh model.
sample_rateinteger(Opsional)
Berlaku untuk model seperti qwen3.5-livetranslate-flash-realtime.Laju sampel audio input, dalam Hz.
input_audio_formatstring
Berlaku untuk model seperti qwen3.5-livetranslate-flash-realtime.Format audio input. Nilainya selalu pcm.
output_audio_formatstring
Berlaku untuk model seperti qwen3.5-livetranslate-flash-realtime.Format audio output. Nilainya selalu pcm.
input_audio_transcriptionobject
Berlaku untuk model seperti qwen3.5-livetranslate-flash-realtime.Konfigurasi transkripsi audio input. Hanya dikembalikan ketika parameter input_audio_transcription.model dikonfigurasi dalam sesi.
modelstring
Model pengenalan suara.
languagestring
Bahasa pengenalan suara yang dikonfigurasi.
turn_detectionobject
Berlaku untuk model seperti qwen3.5-livetranslate-flash-realtime.Konfigurasi VAD (Voice Activity Detection). Bidang ini tidak dikembalikan dalam mode Manual (ketika klien mengatur parameter ini ke null dalam session.update).
typestring
Jenis VAD. Nilainya selalu server_vad.
thresholdfloat
Sensitivitas deteksi VAD.
prefix_padding_msinteger
Durasi audio (dalam milidetik) yang disimpan sebelum ucapan dimulai, untuk menghindari kehilangan awal ucapan.
silence_duration_msinteger
Durasi minimum keheningan (dalam milidetik) yang diperlukan setelah ucapan berakhir untuk menentukan bahwa ucapan telah selesai.
create_responseboolean
Apakah secara otomatis memicu respons terjemahan setelah VAD mendeteksi bahwa ucapan telah berakhir.
interrupt_responseboolean
Apakah menginterupsi respons terjemahan yang sedang dihasilkan saat VAD mendeteksi giliran ucapan baru.
translationobject(Opsional)
Konfigurasi terjemahan.
languagestring(Opsional)
Bahasa target untuk terjemahan.
corpusobject(Opsional)
Konfigurasi terminologi khusus untuk meningkatkan akurasi terjemahan istilah domain-spesifik.
phrasesobject(Opsional)
Pemetaan istilah bahasa sumber ke terjemahan bahasa target.
enable_voice_cloneboolean
Apakah mengaktifkan kloning suara.
voice_clone_optionsobject
Parameter kontrol kloning suara. Hanya dikembalikan ketika enable_voice_clone bernilai true.
frequencystring
Frekuensi kloning suara.
  • qwen3.8-livetranslate-flash-realtime
  • qwen3.5-livetranslate-flash-realtime
Berlaku untuk qwen3.8-livetranslate-flash-realtime.
{
  "event_id": "event_example",
  "type": "session.updated",
  "session": {
    "id": "sess_example",
    "object": "realtime.session",
    "model": "qwen3.8-livetranslate-flash-realtime",
    "input_modalities": [
      "audio"
    ],
    "output_modalities": [
      "text",
      "audio"
    ],
    "audio": {
      "input": {
        "format": {
          "type": "pcm",
          "sample_rate": 16000
        },
        "turn_detection": {
          "type": "speaker_detection",
          "threshold": 0.5,
          "silence_duration_ms": 1000
        }
      },
      "output": {
        "format": {
          "type": "pcm",
          "sample_rate": 24000
        },
        "voice": "Tina"
      }
    },
    "translation": {
      "language": "en"
    }
  }
}

session.finished

Sesi telah selesai dan semua terjemahan audio telah lengkap. Peristiwa ini dikembalikan setelah klien mengirim session.finish. Setelah menerima event ini, klien harus menyelesaikan pemutaran lokal audio terjemahan yang tersisa sebelum memutuskan koneksi secara aktif, jika pemutaran diperlukan.
event_idstring
Identifier unik untuk event ini.
typestring
Jenis event. Nilainya selalu session.finished.
{
    "event_id": "event_xxx",
    "type": "session.finished"
}

response.created

Dikembalikan saat server menghasilkan respons model baru.
event_idstring
Identifier unik untuk event ini.
typestring
Jenis event. Nilainya selalu response.created.
responseobject
Objek respons.
idstring
Identifier unik untuk respons.
conversation_idstring
Identifier unik untuk sesi saat ini.
objectstring
Jenis objek. Untuk event ini, nilainya selalu realtime.response.
statusstring
Status respons. Nilai yang valid:
  • completed
  • failed
  • in_progress
  • incomplete
modalitiesarray
Modalitas respons.
voicestring
Voice dari audio yang dihasilkan.
output_audio_formatstring
Format audio output.
outputarray
Event ini saat ini kosong.
{
    "event_id": "event_L8hHVI5jYis6BzAjnPWJh",
    "type": "response.created",
    "response": {
        "id": "resp_P79OOMs8LnrXVpiIHUCKR",
        "object": "realtime.response",
        "conversation_id": "conv_UFClXtYkRkFXrs48y8pmK",
        "status": "in_progress",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Cherry",
        "output_audio_format": "pcm16",
        "output": []
    }
}

response.done

Dikembalikan setelah pembuatan respons selesai. Berisi semua item output kecuali data audio mentah.
event_idstring
Identifier unik untuk event ini.
typestring
Jenis event. Nilainya selalu response.done.
responseobject
Objek respons.
idstring
Identifier unik untuk respons.
conversation_idstring
Identifier unik untuk sesi saat ini.
objectstring
Jenis objek. Untuk event ini, nilainya selalu realtime.response.
statusstring
Status respons.
modalitiesarray
Modalitas respons.
voicestring
Voice yang digunakan untuk audio yang dihasilkan oleh model.
output_audio_formatstring
Format audio output.
outputobject
Output dari respons.
idstring
Identifier unik untuk output respons.
typestring
Jenis item output. Nilainya saat ini selalu message.
objectstring
Jenis objek item output. Nilainya saat ini selalu realtime.item.
statusstring
Status item output.
rolestring
Peran item output.
contentarray
Konten item output.
typestring
Jenis konten output. Nilainya adalah text untuk output teks biasa dan audio ketika output mencakup audio.
textstring
Konten teks dari output.
transcriptstring
Transkripsi teks dari konten audio.
usageobject
Penggunaan token kumulatif sesi hingga respons saat ini. Setiap response.done melaporkan nilai kumulatif terkini. Untuk menghitung total penggunaan sesi, gunakan laporan usage terakhir, bukan menjumlahkan semua laporan.
total_tokensinteger
Total token input dan output, yaitu jumlah input_tokens dan output_tokens.
input_tokensinteger
Jumlah token input.
output_tokensinteger
Jumlah token output.
input_tokens_detailsobject
Rincian token input.
text_tokensinteger
Token teks dalam prompt sistem tetap milik model. Tidak dikenai biaya.
audio_tokensinteger
Jumlah token input audio.
video_tokensinteger
Jumlah token input gambar, yang ditagih sebagai input gambar.
output_tokens_detailsobject
Rincian token output.
text_tokensinteger
Jumlah token output teks.
audio_tokensinteger
Jumlah token output audio.
{
  "event_id": "event_CNea8oXNipVanSg2VIzkO",
  "type": "response.done",
  "response": {
    "id": "resp_TfhYTqej692vsGA2jNEtH",
    "object": "realtime.response",
    "conversation_id": "conv_ZtyLfKVm8XqLwYRlsuDih",
    "status": "completed",
    "modalities": [
      "text",
      "audio"
    ],
    "voice": "Cherry",
    "output_audio_format": "pcm16",
    "output": [
      {
        "id": "item_MKtkMwN9RtcyE9eJShyWy",
        "object": "realtime.item",
        "type": "message",
        "status": "completed",
        "role": "assistant",
        "content": [
          {
            "type": "audio",
            "transcript": "Hello? "
          }
        ]
      }
    ],
    "usage": {
      "total_tokens": 56,
      "input_tokens": 47,
      "output_tokens": 9,
      "input_tokens_details": {
        "text_tokens": 20,
        "audio_tokens": 27
      },
      "output_tokens_details": {
        "text_tokens": 2,
        "audio_tokens": 7
      }
    }
  }
}

response.text.delta

Berlaku untuk qwen3.8-livetranslate-flash-realtime. Mengembalikan fragmen terjemahan baru untuk output teks saja.
event_idstring
Identifier unik event.
typestring
response.text.delta.
response_idstring
ID respons.
item_idstring
ID pesan.
output_indexinteger
Indeks item output.
content_indexinteger
Indeks bagian konten.
deltastring
Fragmen teks baru. Tambahkan fragmen sesuai urutan kedatangan tanpa mengganti teks yang telah diterima sebelumnya.
{
  "event_id": "event_example",
  "type": "response.text.delta",
  "response_id": "resp_example",
  "item_id": "item_example",
  "output_index": 0,
  "content_index": 0,
  "delta": "Hello"
}

response.text.text

Berlaku untuk model seperti qwen3.5-livetranslate-flash-realtime. Untuk qwen3.8-livetranslate-flash-realtime, tangani response.text.delta sebagai gantinya. Dikembalikan untuk output teks saja saat model menghasilkan teks secara inkremental.
event_idstring
Identifier unik untuk event.
typestring
Jenis event. Nilainya selalu response.text.text.
textstring
Teks inkremental yang dikembalikan.
response_idstring
ID respons.
item_idstring
Identifier unik untuk item pesan.
output_indexinteger
Saat ini, nilainya selalu 0.
content_indexinteger
Saat ini, nilainya selalu 0.
stashstring
Teks sementara yang dihasilkan oleh model. Gabungkan stash dengan text saat ini untuk membentuk hasil sementara. Sistem memperbarui text dan stash secara terus-menerus menggunakan event response.text.text hingga menerima event response.text.done. Teks lengkap akhir kemudian tersedia di bidang text.
{
    "event_id": "event_B1lIeyOXR7qJMEExbqtTG",
    "type": "response.text.text",
    "response_id": "resp_B1lIdtjF4Noqpn5NOjznj",
    "item_id": "item_B1lIdJsAJlJiFs8ztWpJt",
    "output_index": 0,
    "content_index": 0,
    "text": "How are",
    "stash": " you today?"
}

response.text.done

Dikembalikan saat generasi teks selesai untuk output teks saja, atau jika respons diinterupsi, tidak lengkap, atau dibatalkan.
event_idstring
Identifier unik untuk event ini.
typestring
Jenis event. Nilainya selalu response.text.done.
response_idstring
Identifier unik untuk respons.
item_idstring
Identifier unik untuk item pesan.
output_indexinteger
Nilainya saat ini selalu 0.
content_indexinteger
Nilainya saat ini selalu 0.
textstring
Output teks lengkap dari model.
{
    "event_id": "event_B1lIeE2Nac33zn5V7h2mm",
    "type": "response.text.done",
    "response_id": "resp_B1lIdtjF4Noqpn5NOjznj",
    "item_id": "item_B1lIdJsAJlJiFs8ztWpJt",
    "output_index": 0,
    "content_index": 0,
    "text": "How can I assist you today?"
}

response.audio.delta

Untuk akses WebSocket, server mengembalikan event ini saat modalitas output mencakup audio dan model menghasilkan data audio baru secara inkremental.
event_idstring
Identifier unik untuk event.
typestring
Jenis event. Nilainya selalu response.audio.delta.
response_idstring
Identifier unik untuk respons.
item_idstring
Identifier unik untuk item pesan.
output_indexinteger
Nilainya selalu 0.
content_indexinteger
Nilainya selalu 0.
deltastring
Data audio inkremental yang dioutput oleh model. Data ini dienkode Base64.
{
    "event_id": "event_B1osWMZBtrEQbiIwW0qHQ",
    "type": "response.audio.delta",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
    "output_index": 0,
    "content_index": 0,
    "delta": "UklGRnoGAABXQVZFZm10IBAAAAAB..."
}

response.audio.done

Dikembalikan saat generasi audio selesai. Juga dikembalikan jika respons diinterupsi, tidak lengkap, atau dibatalkan. Tidak berisi data audio lengkap.
event_idstring
Identifier unik untuk event ini.
typestring
Jenis event. Nilainya selalu response.audio.done.
response_idstring
Identifier unik untuk respons.
item_idstring
Identifier unik untuk item pesan.
output_indexinteger
Nilainya selalu 0.
content_indexinteger
Nilainya selalu 0.
{
    "event_id": "event_B1osWMWoDRYyITDyNYcBu",
    "type": "response.audio.done",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
    "output_index": 0,
    "content_index": 0
}

input_audio_buffer.speech_started

Dikembalikan saat VAD sisi server (Voice Activity Detection) mendeteksi bahwa pengguna mulai berbicara.
event_idstring
Identifier unik untuk event ini.
typestring
Jenis event. Nilainya selalu input_audio_buffer.speech_started.
audio_start_msinteger
Titik waktu (dalam milidetik) saat ucapan terdeteksi mulai, sebagai offset dari awal aliran audio.
item_idstring
Identifier unik untuk item pesan terkait.
speaker_idinteger
Berlaku untuk qwen3.8-livetranslate-flash-realtime. Identifier pembicara yang dikembalikan ketika speaker_detection diaktifkan. Gunakan item_id event ini untuk mengasosiasikan pembicara dengan transkripsi, dan previous_item_id item terjemahan untuk mengasosiasikannya dengan terjemahan.
{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.speech_started",
    "audio_start_ms": 568,
    "item_id": "item_xxx"
}

input_audio_buffer.speech_stopped

Dikembalikan saat VAD sisi server mendeteksi bahwa pengguna berhenti berbicara, menandakan akhir giliran input ucapan saat ini. Karena respons terjemahan dihasilkan secara sinkron dengan input ucapan streaming, respons terjemahan aktual mungkin sudah dimulai selama proses input ucapan, tanpa perlu menunggu event ini.
event_idstring
Identifier unik untuk event ini.
typestring
Jenis event. Nilainya selalu input_audio_buffer.speech_stopped.
audio_end_msinteger
Titik waktu (dalam milidetik) saat ucapan terdeteksi berakhir, sebagai offset dari awal aliran audio.
item_idstring
Identifier unik untuk item pesan terkait.
{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.speech_stopped",
    "audio_end_ms": 3900,
    "item_id": "item_xxx"
}

input_audio_buffer.committed

Dalam mode Manual (turn_detection bernilai null), setelah klien mengirim event input_audio_buffer.commit, server mengembalikan event ini sebagai konfirmasi dan secara otomatis mulai menghasilkan respons terjemahan.
event_idstring
Identifier unik untuk event ini.
typestring
Jenis event. Nilainya selalu input_audio_buffer.committed.
{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.committed"
}

input_audio_buffer.cleared

Setelah klien mengirim event input_audio_buffer.clear, server mengembalikan event ini sebagai konfirmasi bahwa data audio yang belum dikomit dalam buffer telah dihapus.
event_idstring
Identifier unik untuk event ini.
typestring
Jenis event. Nilainya selalu input_audio_buffer.cleared.
{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.cleared"
}

conversation.item.created

Dikembalikan saat item pesan baru dibuat dalam percakapan. Event ini dipicu dalam skenario berikut:
  • Saat server mulai menghasilkan respons terjemahan, server membuat item pesan asisten terkait (pada titik ini, content adalah array kosong, dan konten diisi secara progresif dengan respons streaming).
  • Dalam mode Manual, setelah klien mengirim event input_audio_buffer.commit, server juga membuat item pesan yang sesuai dengan input audio pengguna (content berisi {"type": "input_audio"}).
Untuk segmen VAD yang sama, server membuat item pesan terpisah untuk hasil pengenalan ucapan dan hasil terjemahan. item.id dari hasil pengenalan ucapan cocok dengan previous_item_id dalam event hasil terjemahan. Gunakan nilai-nilai ini untuk mengasosiasikan dan menampilkan teks sumber dengan terjemahannya.
event_idstring
Identifier unik untuk event ini.
typestring
Jenis event. Nilainya selalu conversation.item.created.
previous_item_idstring
Identifier unik item pesan sebelumnya. Untuk event hasil terjemahan, nilai ini cocok dengan item.id dari hasil pengenalan ucapan untuk segmen VAD yang sama.
itemobject
Informasi item pesan.
idstring
Identifier unik untuk item pesan.
typestring
Nilainya selalu message.
objectstring
Nilainya selalu realtime.item.
statusstring
Status item pesan.
rolestring
Peran pesan. Nilai yang valid: assistant atau user.
contentarray
Konten pesan. Saat respons pertama kali dibuat, ini adalah array kosong yang diisi secara progresif dengan respons streaming. Untuk item pesan pengguna yang dibuat melalui commit dalam mode Manual, berisi {"type": "input_audio"}.
{
    "event_id": "event_xxx",
    "type": "conversation.item.created",
    "previous_item_id": "item_asr_xxx",
    "item": {
        "id": "item_translation_xxx",
        "object": "realtime.item",
        "type": "message",
        "status": "in_progress",
        "role": "assistant",
        "content": []
    }
}

conversation.item.input_audio_transcription.delta

Berlaku untuk qwen3.8-livetranslate-flash-realtime. Mengembalikan inkremen transkripsi sumber untuk audio input.
event_idstring
Identifier unik event.
typestring
conversation.item.input_audio_transcription.delta.
item_idstring
ID pesan.
content_indexinteger
Indeks bagian konten.
deltastring
Fragmen teks baru. Tambahkan fragmen sesuai urutan kedatangan tanpa mengganti teks yang telah diterima sebelumnya.
{
  "event_id": "event_example",
  "type": "conversation.item.input_audio_transcription.delta",
  "item_id": "item_example",
  "content_index": 0,
  "delta": "Hello"
}

conversation.item.input_audio_transcription.text

Berlaku untuk model seperti qwen3.5-livetranslate-flash-realtime. Untuk qwen3.8-livetranslate-flash-realtime, tangani conversation.item.input_audio_transcription.delta sebagai gantinya. Saat input_audio_transcription.model dikonfigurasi, server melakukan streaming hasil pengenalan ucapan dalam bahasa sumber asli.
event_idstring
Identifier unik untuk event ini.
typestring
Jenis event. Nilainya selalu conversation.item.input_audio_transcription.text.
item_idstring
Identifier unik untuk item pesan.
content_indexinteger
Nilainya saat ini selalu 0.
textstring
Teks pengenalan yang telah dikonfirmasi.
stashstring
Teks pengenalan yang menunggu konfirmasi. Teks ini mungkin dikoreksi oleh event berikutnya.
languagestring
Bahasa sumber yang terdeteksi.
emotionstring
Emosi yang terdeteksi dari audio yang dikenali. Emosi yang didukung sebagai berikut:
  • surprised: Terkejut
  • neutral: Netral
  • happy: Senang
  • sad: Sedih
  • disgusted: Jijik
  • angry: Marah
  • fearful: Takut
{
    "event_id": "event_xxx",
    "type": "conversation.item.input_audio_transcription.text",
    "item_id": "item_xxx",
    "content_index": 0,
    "text": "",
    "stash": "The weather is really nice today",
    "language": "zh",
    "emotion": "neutral"
}

conversation.item.input_audio_transcription.completed

Saat input_audio_transcription.model dikonfigurasi, mengembalikan hasil pengenalan akhir setelah pengenalan ucapan selesai.
event_idstring
Identifier unik untuk event ini.
typestring
Jenis event. Nilainya selalu conversation.item.input_audio_transcription.completed.
item_idstring
Identifier unik untuk item pesan.
content_indexinteger
Saat ini, nilainya selalu 0.
transcriptstring
Hasil pengenalan ucapan lengkap dalam bahasa sumber asli.
languagestring
Bahasa sumber yang terdeteksi.
emotionstring
Emosi yang terdeteksi dari audio yang dikenali. Emosi yang didukung:
  • surprised: terkejut
  • neutral: tenang/netral
  • happy: senang
  • sad: sedih
  • disgusted: jijik
  • angry: marah
  • fearful: takut
{
    "event_id": "event_xxx",
    "type": "conversation.item.input_audio_transcription.completed",
    "item_id": "item_xxx",
    "content_index": 0,
    "transcript": "What a beautiful day! Let's go for a walk in the park together.",
    "language": "en",
    "emotion": ""
}

conversation.item.input_audio_transcription.failed

Dikembalikan saat input audio diterima tetapi pengenalan ucapan gagal. Event ini ditangani secara terpisah dari event error lainnya, sehingga memudahkan klien untuk mengidentifikasi item terkait secara spesifik.
typestring
Jenis event. Nilainya selalu conversation.item.input_audio_transcription.failed.
item_idstring
ID item percakapan terkait.
content_indexinteger
Indeks bagian konten yang berisi audio.
errorobject
codestring
Kode kesalahan.
messagestring
Pesan error.
{
    "event_id": "event_xxx",
    "type": "conversation.item.input_audio_transcription.failed",
    "item_id": "item_xxx",
    "content_index": 0,
    "error": {
        "code": "xxx",
        "message": "xxx",
        "param": "xxx"
    }
}

response.audio_transcript.delta

Berlaku untuk qwen3.8-livetranslate-flash-realtime. Mengembalikan fragmen terjemahan baru untuk output teks dan audio.
event_idstring
Identifier unik event.
typestring
response.audio_transcript.delta.
response_idstring
ID respons.
item_idstring
ID pesan.
output_indexinteger
Indeks item output.
content_indexinteger
Indeks bagian konten.
deltastring
Fragmen teks baru. Tambahkan fragmen sesuai urutan kedatangan tanpa mengganti teks yang telah diterima sebelumnya.
{
  "event_id": "event_example",
  "type": "response.audio_transcript.delta",
  "response_id": "resp_example",
  "item_id": "item_example",
  "output_index": 0,
  "content_index": 0,
  "delta": "Hello"
}

response.audio_transcript.text

Berlaku untuk model seperti qwen3.5-livetranslate-flash-realtime. Untuk qwen3.8-livetranslate-flash-realtime, tangani response.audio_transcript.delta sebagai gantinya. Dikembalikan untuk output audio guna menampilkan terjemahan real-time.
event_idstring
Identifier unik untuk event ini.
typestring
Jenis event. Nilainya selalu response.audio_transcript.text.
response_idstring
Identifier unik untuk respons.
item_idstring
Identifier unik untuk item pesan.
output_indexinteger
Saat ini, nilainya selalu 0.
content_indexinteger
Saat ini, nilainya selalu 0.
textstring
Segmen teks terjemahan yang telah dikonfirmasi.
stashstring
Teks terjemahan sementara, digabungkan dengan text untuk membentuk hasil sementara. Sistem memperbarui text dan stash secara terus-menerus melalui event response.audio_transcript.text hingga event response.audio_transcript.done diterima. Kemudian ambil terjemahan akhir dari transcript.
{
  "event_id": "event_xxx",
  "type": "response.audio_transcript.text",
  "response_id": "resp_xxx",
  "item_id": "item_xxx",
  "output_index": 0,
  "content_index": 0,
  "text": "Hello,",
  "stash": " who are you?"
}

response.audio_transcript.done

Dikembalikan saat output audio diaktifkan dan generasi teks selesai.
event_idstring
Identifier unik untuk event ini.
typestring
Jenis event. Nilainya selalu response.audio_transcript.done.
response_idstring
Identifier unik untuk respons.
item_idstring
Identifier unik untuk item pesan.
output_indexinteger
Saat ini, nilainya selalu 0.
content_indexinteger
Saat ini, nilainya selalu 0.
transcriptstring
Teks lengkap.
{
    "event_id": "event_VN4Q4GJugLcc1S23viW8E",
    "type": "response.audio_transcript.done",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "item_id": "item_JvJauNH2CTXb1D9WV6pD4",
    "output_index": 0,
    "content_index": 0,
    "transcript": "How can I assist you today?"
}

response.output_item.added

Dikembalikan saat item output baru ditambahkan selama pembuatan respons.
event_idstring
Identifier unik untuk event ini.
typestring
Jenis event. Nilainya selalu response.output_item.added.
response_idstring
Identifier unik untuk respons.
output_indexinteger
Nilainya saat ini selalu 0.
itemobject
Informasi mengenai item output.
idstring
Identifier unik untuk item output.
typestring
Nilainya selalu message.
objectstring
Nilainya selalu realtime.item.
statusstring
Status item output.
rolestring
Peran pesan.
contentstring
Konten pesan.
{
    "event_id": "event_B4O5yPt3Gjnjy5eYH3plG",
    "type": "response.output_item.added",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "output_index": 0,
    "item": {
        "id": "item_OFaPGtzfWCPyGzxnuEX9i",
        "object": "realtime.item",
        "type": "message",
        "status": "in_progress",
        "role": "assistant",
        "content": []
    }
}

response.output_item.done

Dikembalikan saat item output selesai.
event_idstring
Identifier unik untuk event ini.
typestring
Jenis event. Nilainya selalu response.output_item.done.
response_idstring
Identifier unik untuk respons.
output_indexinteger
Nilainya saat ini selalu 0.
itemobject
Informasi mengenai item output.
idstring
Identifier unik untuk item output.
objectstring
Nilainya selalu realtime.item.
typestring
Nilainya selalu message.
statusstring
Status item output.
rolestring
Peran pengirim pesan.
contentstring
Konten pesan.
{
    "event_id": "event_XkiwbYTBC9Wcdwy6uYJ2G",
    "type": "response.output_item.done",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "output_index": 0,
    "item": {
        "id": "item_JvJauNH2CTXb1D9WV6pD4",
        "object": "realtime.item",
        "type": "message",
        "status": "completed",
        "role": "assistant",
        "content": [
            {
                "type": "audio",
                "text": "Hello, I am a large language model developed by Alibaba Cloud. My name is Qwen. How can I help you?"
            }
        ]
    }
}

response.content_part.added

Dikembalikan saat bagian konten baru ditambahkan.
event_idstring
ID unik event ini.
typestring
Jenis event. Nilainya selalu response.content_part.added.
response_idstring
ID unik respons.
item_idstring
ID unik item pesan.
output_indexinteger
Nilainya selalu 0.
content_indexinteger
Nilainya selalu 0.
partobject
Menampilkan informasi item.
typestring
Jenis bagian konten.
textstring
Teks bagian konten.
{
    "event_id": "event_J2UixwYKZsXg7c9YXZetL",
    "type": "response.content_part.added",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": ""
    }
}

response.content_part.done

Dikembalikan saat bagian konten selesai.
event_idstring
Identifier unik untuk event ini.
typestring
Jenis event. Nilainya selalu response.content_part.done.
response_idstring
Identifier unik untuk respons.
item_idstring
Identifier unik untuk item pesan.
output_indexinteger
Nilainya selalu 0.
content_indexinteger
Nilainya selalu 0.
partobject
Informasi mengenai bagian konten.
typestring
Jenis bagian konten.
textstring
Teks bagian konten.
{
    "event_id": "event_VN4Q4GJugLcc1S23viW8E",
    "type": "response.content_part.done",
    "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
    "item_id": "item_JvJauNH2CTXb1D9WV6pD4",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": "Hello, I am a large language model developed by Alibaba Cloud. My name is Qwen. How can I help you?"
    }
}