Skip to main content

Peristiwa sisi server Qwen-Omni-Realtime

Event server untuk Qwen-Omni-Realtime API, termasuk event tool calling (function calling).

Halaman ini adalah referensi peristiwa Qwen-Omni-Realtime. Definisi peristiwa didasarkan pada akses WebSocket. AOQ dan WebRTC menggunakan saluran datanya masing-masing untuk mengirim serta menerima peristiwa model, dan track media untuk mengirim media. Baca terlebih dahulu Akses WebSocket, Akses WebRTC, atau Akses AOQ.
Untuk penggunaan SDK WebSocket, lihat SDK Python dan SDK Java. Untuk memilih model dan protokol, lihat Gambaran umum.

error

Kesalahan server.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu error.errorobjectDetail error.

Properti

typestringJenis kesalahan.codestringKode kesalahan.messagestringPesan kesalahan.paramstringParameter yang terkait dengan kesalahan, seperti session.modalities.
{
  "event_id": "event_RoUu4T8yExPMI37GKwaOC",
  "type": "error",
  "error": {
    "type": "invalid_request_error",
    "code": "invalid_value",
    "message": "Invalid modalities: ['audio']. Supported combinations are: ['text'] and ['audio', 'text'].",
    "param": "session.modalities"
  }
}

session.created

Dikembalikan saat klien terhubung. Memuat konfigurasi sesi default.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu session.created.sessionobjectKonfigurasi sesi.

Properti

objectstringNilai ini selalu realtime.session.modelstringModel yang digunakan.modalitiesarrayModalitas output model.voicestringSuara untuk audio yang dihasilkan model.input_audio_formatstringFormat audio input. Hanya pcm yang didukung (laju sampling 16 kHz).output_audio_formatstringFormat audio output. Hanya pcm yang didukung (laju sampling 24 kHz).input_audio_transcriptionobjectKonfigurasi transkripsi.

Properti

modelstringModel transkripsi. Selalu qwen3-asr-flash-realtime dan tidak dapat dikonfigurasi.
turn_detectionobjectKonfigurasi deteksi aktivitas suara (VAD).

Properti

typestringJenis VAD. Nilai yang valid: server_vad (default), semantic_vad, atau semantic_vad_ec. Mode semantic_vad_ec didukung oleh seri Qwen3.8-Omni-Flash-Realtime. Lihat Peristiwa klien.thresholdfloatAmbang deteksi VAD.silence_duration_msintegerDurasi keheningan (ms) yang memicu deteksi akhir ucapan.idle_timeout_msintegerBatas waktu idle dalam milidetik. Hanya dikembalikan dalam mode server_vad dengan model qwen3.5-omni-plus-realtime atau qwen3.5-omni-flash-realtime.
enable_searchbooleanApakah pencarian web diaktifkan. Didukung oleh model Qwen3.8-Omni-Flash-Realtime dan Qwen3.5-Omni-Realtime.search_optionsobjectOpsi pencarian web.temperaturefloatParameter temperature model.
Contoh berikut adalah sesi default yang dikembalikan oleh qwen3.8-omni-flash-realtime di wilayah Beijing.
{
    "event_id": "event_QQubXbhHMyXmKaSuE6PQ8",
    "type": "session.created",
    "session": {
        "input_audio_format": "pcm",
        "input_audio_transcription": {
            "model": "qwen3-asr-flash-realtime"
        },
        "id": "sess_MjEctgJ4ziXPEioCzSSvK",
        "object": "realtime.session",
        "modalities": [
            "text",
            "audio"
        ],
        "turn_detection": {
            "type": "server_vad",
            "silence_duration_ms": 800,
            "interrupt_response": true,
            "create_response": true,
            "threshold": 0.5,
            "prefix_padding_ms": 300
        },
        "model": "qwen3.8-omni-flash-realtime",
        "voice": "Tina",
        "output_audio_format": "pcm"
    }
}

session.updated

Dikembalikan setelah permintaan session.update berhasil. Jika gagal, event error akan dikembalikan sebagai gantinya.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu session.updated.sessionobjectKonfigurasi sesi.

Properti

temperaturefloatParameter temperature model.modalitiesarrayModalitas output model.voicestringSuara untuk audio yang dihasilkan model.instructionsstringTujuan dan peran model.input_audio_formatstringFormat audio input. Hanya pcm yang didukung (laju sampling 16 kHz).output_audio_formatstringFormat audio output. Hanya pcm yang didukung (laju sampling 24 kHz).input_audio_transcriptionobjectKonfigurasi transkripsi.

Properti

modelstringModel transkripsi. Selalu qwen3-asr-flash-realtime dan tidak dapat dikonfigurasi.
turn_detectionobjectKonfigurasi deteksi aktivitas suara (VAD).

Properti

typestringJenis VAD. Nilai yang valid: server_vad (default), semantic_vad, atau semantic_vad_ec. Mode semantic_vad_ec didukung oleh seri Qwen3.8-Omni-Flash-Realtime. Lihat Peristiwa klien.thresholdfloatAmbang deteksi VAD.silence_duration_msintegerDurasi keheningan (ms) yang memicu deteksi akhir ucapan.idle_timeout_msintegerBatas waktu idle dalam milidetik. Hanya dikembalikan dalam mode server_vad dengan model qwen3.5-omni-plus-realtime atau qwen3.5-omni-flash-realtime.
enable_searchboolean (opsional)Apakah pencarian web diaktifkan. Didukung oleh model Qwen3.8-Omni-Flash-Realtime dan Qwen3.5-Omni-Realtime.search_optionsobject (opsional)Opsi pencarian web.toolsarray (opsional)Definisi alat. Properti berikut menjelaskan alat Function Calling dengan type="function". Untuk bidang MCP Qwen3.8-Omni-Flash-Realtime, lihat Konfigurasi alat klien. Endpoint dan kredensial MCP tidak dikembalikan dalam session.updated.
typestring (wajib)Nilai ini selalu function.function.namestring (wajib)Nama fungsi, seperti get_current_weather atau get_current_time.function.descriptionstring (opsional)Deskripsi tujuan fungsi. Model menggunakannya untuk memutuskan apakah fungsi perlu dipanggil.function.parametersobject (opsional)Skema parameter input. Model menggunakannya untuk mengekstrak parameter. Hilangkan jika fungsi tidak memerlukan parameter.
typestring (wajib)Nilai ini selalu object.propertiesobject (opsional)Setiap kunci adalah nama parameter yang dipetakan ke objek dengan type dan description.requiredarray (opsional)Menentukan parameter input yang wajib.
top_pfloatAmbang probabilitas untuk nucleus sampling.top_kintegerUkuran kumpulan kandidat untuk sampling selama pembuatan.max_tokensintegerJumlah maksimum token yang dapat dikembalikan model untuk permintaan ini.repetition_penaltyfloatMengontrol pengulangan dalam urutan berurutan selama pembuatan.presence_penaltyfloatMengontrol pengulangan dalam konten yang dihasilkan.seedintegerTingkat konsistensi output model per permintaan.
Contoh berikut menggunakan qwen3.8-omni-flash-realtime di wilayah Beijing, dengan output hanya teks dan max_tokens=32.
{
    "event_id": "event_TSBGI9Yj5ecCKjiGO34VB",
    "type": "session.updated",
    "session": {
        "id": "sess_MjEctgJ4ziXPEioCzSSvK",
        "object": "realtime.session",
        "model": "qwen3.8-omni-flash-realtime",
        "modalities": [
            "text"
        ],
        "instructions": "请只回复 OK。",
        "voice": "Tina",
        "input_audio_format": "pcm",
        "output_audio_format": "pcm",
        "input_audio_transcription": {
            "model": "qwen3-asr-flash-realtime"
        },
        "max_tokens": 32
    }
}

input_audio_buffer.speech_started

Dalam mode VAD, dikembalikan saat server mendeteksi awal ucapan dalam buffer audio.
Dapat dipicu setiap kali audio ditambahkan ke buffer sebelum ucapan terdeteksi.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu input_audio_buffer.speech_started.audio_start_msintegerWaktu (ms) sejak penulisan buffer audio dimulai hingga ucapan pertama kali terdeteksi.item_idstringID item pesan pengguna yang dibuat saat akhir ucapan terdeteksi.
Item pesan pengguna menambahkan input pengguna ke riwayat percakapan untuk inferensi model.
{
    "event_id": "event_Pvp8nEhsQuGCQbFJ9x58n",
    "type": "input_audio_buffer.speech_started",
    "audio_start_ms": 3647,
    "item_id": "item_YbAiGvK2H7YaS34o4R6Ba"
}

input_audio_buffer.speech_stopped

Dalam mode VAD, dikembalikan saat server mendeteksi akhir ucapan dalam buffer audio. Juga mengembalikan event conversation.item.created dengan item pesan pengguna yang sesuai.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu input_audio_buffer.speech_stopped.audio_end_msintegerWaktu (ms) sejak sesi dimulai hingga akhir ucapan terdeteksi.item_idstringID item pesan pengguna yang akan dibuat.
{
    "event_id": "event_UhQiqNVRsgUiq4KUS5Xb5",
    "type": "input_audio_buffer.speech_stopped",
    "audio_end_ms": 4453,
    "item_id": "item_YbAiGvK2H7YaS34o4R6Ba"
}

input_audio_buffer.committed

Dikembalikan saat buffer audio input dikomit.
  • Dalam mode VAD, server secara otomatis mengkomit buffer saat mendeteksi akhir ucapan.
  • Dalam mode Manual, dikembalikan setelah klien mengirim event input_audio_buffer.commit.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu input_audio_buffer.committed.item_idstringID item pesan pengguna yang akan dibuat.
{
    "event_id": "event_Iy6sUzL1nmdFgshFYxJEz",
    "type": "input_audio_buffer.committed",
    "item_id": "item_YbAiGvK2H7YaS34o4R6Ba"
}

input_audio_buffer.cleared

Dikembalikan setelah klien mengirim event input_audio_buffer.clear.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu input_audio_buffer.cleared.
{
  "event_id": "event_RoUu4T8yExPMI37GKwaOC",
  "type": "input_audio_buffer.cleared"
}

conversation.item.created

Dikembalikan saat item percakapan dibuat.
event_idstringIdentifier unik untuk event ini.typestringJenis peristiwa. Nilai ini selalu conversation.item.created.response_idstring (wajib sesuai kondisi)Hanya dikembalikan jika item.type adalah mcp_approval_request. Mengidentifikasi Response induk yang menghasilkan panggilan MCP.item_idstring (wajib sesuai kondisi)Hanya dikembalikan jika item.type adalah mcp_approval_request. ID item persetujuan, sama dengan item.id.previous_item_idstring (wajib sesuai kondisi)Hanya dikembalikan jika item.type adalah mcp_approval_request. Mengidentifikasi item mcp_call yang sedang ditinjau.itemobjectItem percakapan yang akan ditambahkan.

Properti

idstringID unik item percakapan.objectstringUntuk item message dan function_call, bidang ini bernilai realtime.item. Untuk item MCP, nilainya sama jika dikembalikan.statusstringJika dikembalikan, bidang ini menunjukkan status item percakapan. Item mcp_call awal mewajibkannya dengan nilai in_progress.rolestringHanya ada pada item pesan. Mengidentifikasi peran pesan.contentarray of objectsKonten pesan, dikembalikan jika jenisnya message. Bidang berikut menjelaskan elemen array dalam contoh ini.

Item array

typestringJenis bagian konten, yaitu input_audio dalam contoh ini.
typestringJenis item percakapan mencakup message dan function_call. Qwen3.8-Omni-Flash-Realtime juga mengembalikan mcp_list_tools, mcp_call, dan mcp_approval_request. Lihat Contoh item MCP.namestringNama fungsi yang dipanggil jika jenisnya function_call.call_idstringJika type adalah function_call, ini adalah ID unik panggilan fungsi.argumentsstringJika type adalah function_call, parameter ini berisi argumen panggilan fungsi sebagai string JSON.

type=mcp_list_tools

Untuk jenis item ini, item.id sama dengan item_id dalam peristiwa status penemuan alat.server_labelstring (wajib)Mengidentifikasi server MCP.toolsarray of objects (wajib)Definisi alat tervalidasi setelah pemfilteran allowed_tools. Kosong jika penemuan gagal.

Item array

namestring (wajib)Nama alat asli, 1–64 karakter berupa huruf, digit, garis bawah, titik, atau tanda hubung.descriptionstring (opsional)Deskripsi alat dari server MCP.input_schemaobject (wajib)JSON Schema dari server MCP. Layanan tidak memvalidasi semantik JSON Schema secara penuh. Server MCP yang akhirnya memvalidasi argumen.

Properti

typestring (wajib)Nilai akar harus berupa object.propertiesobject (opsional)Cantumkan setiap parameter dengan nama kustomnya. Misalnya, city dalam contoh mcp_list_tools adalah nama parameter. type dan description menjelaskan jenis data serta tujuannya. Server MCP menentukan JSON Schema setiap parameter.requiredarray of strings (opsional)Nama parameter wajib.Bidang JSON Schema standar lainnya, termasuk additionalProperties, $defs, oneOf, anyOf, dan allOf, diteruskan dari skema asli.
annotationsobject (opsional)ToolAnnotations dari server MCP. Bidang petunjuk standar MCP berikut bersifat opsional. Server menentukan bidang yang dikembalikan.

Properti

titlestring (opsional)Nama tampilan alat.readOnlyHintboolean (opsional)Petunjuk apakah alat bersifat hanya baca.destructiveHintboolean (opsional)Petunjuk apakah alat dapat membuat perubahan destruktif.idempotentHintboolean (opsional)Petunjuk apakah panggilan berulang tidak memiliki efek tambahan.openWorldHintboolean (opsional)Petunjuk apakah alat dapat berinteraksi dengan sistem eksternal. Bidang ini hanya petunjuk dan tidak boleh digunakan sebagai jaminan keamanan.
errorobject (opsional)Dikembalikan saat penemuan gagal.

Properti

typestring (wajib)Harus tool_execution_error.messagestring (wajib)Deskripsi yang aman untuk klien tanpa konten sensitif dari respons upstream.

type=mcp_call (item awal)

objectstring (wajib)Harus realtime.item.statusstring (wajib)Awalnya in_progress.server_labelstring (wajib)Mengidentifikasi server MCP yang menjalankan alat.namestring (wajib)Nama alat asli.call_idstring (wajib)ID unik panggilan ini.argumentsstring (wajib)Biasanya kosong pada awalnya. Gunakan peristiwa berikutnya dan item final untuk argumen lengkap.

type=mcp_approval_request

Saat membalas, salin item.id item persetujuan ini tanpa perubahan ke approval_request_id.server_labelstring (wajib)Mengidentifikasi server MCP untuk alat yang menunggu persetujuan.namestring (wajib)Nama asli alat yang menunggu persetujuan.argumentsstring (wajib)String JSON lengkap argumen yang menunggu persetujuan.call_idstring (wajib)ID panggilan yang menunggu persetujuan.
Contoh:
{
    "event_id": "event_JEfkrr9gO3Ny7Xcv9bGVd",
    "type": "conversation.item.created",
    "item": {
        "id": "item_YbAiGvK2H7YaS34o4R6Ba",
        "object": "realtime.item",
        "type": "message",
        "status": "in_progress",
        "role": "assistant",
        "content": [
            {
                "type": "input_audio"
            }
        ]
    }
}
// Tool calling scenario
{
    "event_id": "event_S1hkaIQgcuQD8OEdOpGHQ",
    "type": "conversation.item.created",
    "item": {
        "id": "item_FEG9qJGNkPcdf4et3p7BV",
        "object": "realtime.item",
        "type": "function_call",
        "status": "in_progress",
        "call_id": "call_bc0a7fb7235840f69ecfe4",
        "name": "get_current_weather",
        "arguments": ""
    }
}

conversation.item.input_audio_transcription.delta

Dikirim sering selama pengguna berbicara jika transkripsi audio input diaktifkan. Menyediakan hasil transkripsi sementara secara realtime. Gabungkan text + stash untuk pratinjau kalimat terlengkap pada setiap saat.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu conversation.item.input_audio_transcription.delta.item_idstringID item percakapan terkait.content_indexintegerIndeks bagian konten yang berisi audio.textstringPrefiks teks terkonfirmasi, yaitu bagian yang telah difinalisasi model dan tidak akan berubah.stashstringSufiks teks sementara, yaitu draf setelah bagian terkonfirmasi yang masih dapat direvisi.languagestringBahasa yang terdeteksi dari audio yang dikenali.emotionstringEmosi yang terdeteksi dari audio yang dikenali. Nilai yang valid: neutral, happy, sad, angry, surprised, disgusted, fearful.
{
    "event_id": "event_C7jzoeSFuiwOZS6tR14yx",
    "type": "conversation.item.input_audio_transcription.delta",
    "item_id": "item_ThVYhLHOdeXb4bBSvzSFF",
    "content_index": 0,
    "text": "",
    "stash": "How is the weather today?",
    "language": "en",
    "emotion": "neutral",
    "obfuscation": "ABEXGYmxdmc97u"
}
Untuk pratinjau kalimat terlengkap pada setiap saat, gabungkan kedua bidang: pratinjau realtime = text + stash.
Misalkan pengguna mengatakan: "The weather is nice today, sunny and warm."Berikut menunjukkan aliran peristiwa yang mungkin diterima dan cara menafsirkannya:

Waktu

Progres ucapan pengguna

Respons API (text dan stash)

Tampilan UI Klien (teks + stash)

T1

"The weather..."

text: ""

stash: "The weather"

The weather

T2

"...is nice..."

text: ""

stash: "The weather is nice"

The weather is nice

T3

"...today,"

text: "The weather"

stash: " is nice today,"

The weather is nice today,

("The weather" telah dikonfirmasi dan dipindahkan ke text)

T4

(jeda singkat)

text: "The weather is nice today, "

stash: ""

The weather is nice today,

(klausa pertama sepenuhnya dikonfirmasi)

T5

"sunny..."

text: "The weather is nice today, "

stash: "sunny"

The weather is nice today, sunny

T6

"...and warm."

text: "The weather is nice today, "

stash: "sunny and warm."

The weather is nice today, sunny and warm.

T7

(berhenti berbicara)

-

Gunakan transkrip dari conversation.item.input_audio_transcription.completed sebagai hasil akhir.

conversation.item.input_audio_transcription.completed

Menunjukkan bahwa audio pengguna telah ditranskripsikan oleh model pengenalan ucapan bawaan (qwen3-asr-flash-realtime). Tidak dapat dikonfigurasi.
Teks transkripsi dari model pengenalan ucapan mungkin berbeda dari interpretasi yang dihasilkan oleh model Qwen-Omni-Realtime. Transkripsi hanya untuk referensi.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu conversation.item.input_audio_transcription.completed.item_idstringID item pesan pengguna.content_indexintegerNilai ini selalu 0.transcriptstringTeks transkripsi.
{
    "event_id": "event_FrrZcxiDfTB9LD9p4pVng",
    "type": "conversation.item.input_audio_transcription.completed",
    "item_id": "item_YbAiGvK2H7YaS34o4R6Ba",
    "content_index": 0,
    "transcript": "Hello."
}

conversation.item.input_audio_transcription.failed

Dikembalikan saat transkripsi audio input diaktifkan dan transkripsi gagal. Terpisah dari event error; membantu klien mengidentifikasi kegagalan transkripsi secara spesifik.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu conversation.item.input_audio_transcription.failed.item_idstringID item pesan pengguna.content_indexintegerNilai ini selalu 0.errorobjectInformasi kesalahan.

Properti

code stringKode kesalahan.message stringPesan kesalahan.param stringParameter yang terkait dengan kesalahan.
{
  "type": "conversation.item.input_audio_transcription.failed",
  "item_id": "<item_id>",
  "content_index": 0,
  "error": {
    "code": "<code>",
    "message": "<message>",
    "param": "<param>"
  }
}

response.created

Dikembalikan saat server mulai membuat respons baru.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.created.responseobjectObjek respons.

Properti

id stringID unik respons.conversation_id stringID unik sesi saat ini.object stringJenis objek. Untuk peristiwa ini, nilainya selalu realtime.response.status stringStatus respons. Nilai yang valid adalah completed, failed, in_progress, or incomplete.modalities arrayModalitas respons.voice stringSuara untuk audio yang dihasilkan model.output arrayBidang ini kosong untuk peristiwa ini.
{
    "event_id": "event_XuDavMzQN3KKepqGu3KRh",
    "type": "response.created",
    "response": {
        "id": "resp_HaVOPdbmX6vifiV5pAfJY",
        "object": "realtime.response",
        "conversation_id": "conv_FjJaccpnvwHNo9cPVuzGc",
        "status": "in_progress",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Cherry",
        "output_audio_format": "pcm",
        "output": []
    }
}

response.done

Dikembalikan setelah respons sepenuhnya dihasilkan. Objek response mencakup semua item output kecuali data audio mentah.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.done.responseobjectObjek respons.

Properti

id stringID unik respons.conversation_id stringID unik sesi saat ini.object stringJenis objek. Untuk peristiwa ini, nilainya selalu realtime.response.status stringStatus respons.modalities arrayModalitas respons.voice stringSuara untuk audio yang dihasilkan model.output arrayItem output respons. Setiap elemen array adalah objek item percakapan.

Item array

id stringID output respons.type stringJenis item output. Nilainya mencakup message dan function_call. Qwen3.8-Omni-Flash-Realtime juga mendukung mcp_call. Lihat Contoh item MCP.object stringUntuk item message dan function_call, bidang ini bernilai realtime.item. Untuk item MCP, nilainya sama jika dikembalikan.status stringStatus item output.role stringHanya ada pada item pesan. Mengidentifikasi peran pesan.content arrayKonten item output, hanya dikembalikan jika type adalah message. Setiap elemen array adalah objek bagian konten.

Item array

type stringJenis konten. Nilainya dapat berupa text untuk output teks biasa atau audio untuk output audio.text stringOutput teks.transcript stringTranskrip teks audio.
name stringNama fungsi yang dipanggil jika jenisnya function_call.call_id stringJika type adalah function_call, ini adalah ID unik panggilan fungsi.arguments stringJika type adalah function_call, bidang ini berisi argumen lengkap panggilan fungsi sebagai string JSON.

type=mcp_call (item final)

statusstring (wajib)completed atau failed.server_labelstring (wajib)Mengidentifikasi server MCP yang menjalankan alat.namestring (wajib)Nama alat asli.call_idstring (wajib)ID unik panggilan ini.argumentsstring (wajib)String JSON lengkap argumen.outputstring (opsional)String JSON hasil serialisasi tools/call.result MCP. Dapat juga muncul dalam beberapa kasus kegagalan.errorobject (opsional)Dikembalikan jika gagal.

Properti

typestring (wajib)Harus tool_execution_error.messagestring (wajib)Deskripsi yang aman untuk klien tanpa konten sensitif dari respons upstream.
Jika server MCP mengembalikan isError=true, status final adalah failed dan output asli mungkin juga ada.
usage objectDetail penggunaan token untuk respons ini.
total_tokens integerTotal token yang digunakan dalam respons ini.input_tokens integerJumlah token input.output_tokens integerJumlah token output.input_tokens_details objectDetail penggunaan token input, termasuk text_tokens dan audio_tokens.output_tokens_details objectDetail penggunaan token output, termasuk text_tokens dan audio_tokens.plugins object (opsional)Metrik penggunaan plugin. Dikembalikan saat pencarian web (enable_search) diaktifkan.
search objectData pengukuran pencarian.
count integerJumlah pencarian.strategy stringStrategi pencarian.
Contoh:
{
    "event_id": "event_CSaxRRYLvbrfexDXAEuDG",
    "type": "response.done",
    "response": {
        "id": "resp_HaVOPdbmX6vifiV5pAfJY",
        "object": "realtime.response",
        "conversation_id": "conv_FjJaccpnvwHNo9cPVuzGc",
        "status": "completed",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Cherry",
        "output_audio_format": "pcm",
        "output": [
            {
                "id": "item_Ls6MtCUWO7LM4E59QziNv",
                "object": "realtime.item",
                "type": "message",
                "status": "completed",
                "role": "assistant",
                "content": [
                    {
                        "type": "audio",
                        "transcript": "Hello! How can I help you?"
                    }
                ]
            }
        ],
        "usage": {
            "total_tokens": 377,
            "input_tokens": 336,
            "output_tokens": 41,
            "input_tokens_details": {
                "text_tokens": 228,
                "audio_tokens": 108
            },
            "output_tokens_details": {
                "text_tokens": 9,
                "audio_tokens": 32
            },
            "plugins": {
                "search": {
                    "count": 1,
                    "strategy": "agent"
                }
            }
        }
    }
}
// Tool calling scenario
{
    "event_id": "event_T1EFAJp43X2DWtDRmxTtx",
    "type": "response.done",
    "response": {
        "id": "resp_TucN5QgymL5MA8vkJvFlS",
        "object": "realtime.response",
        "conversation_id": "conv_SEDZESRlefT8WvLSmEn6E",
        "status": "completed",
        "modalities": ["text", "audio"],
        "voice": "Ethan",
        "output_audio_format": "pcm",
        "output": [
            {
                "id": "item_FEG9qJGNkPcdf4et3p7BV",
                "object": "realtime.item",
                "type": "function_call",
                "status": "completed",
                "call_id": "call_bc0a7fb7235840f69ecfe4",
                "name": "get_current_weather",
                "arguments": " {\"location\": \"Hangzhou\"}"
            }
        ],
        "usage": {
            "total_tokens": 567,
            "input_tokens": 524,
            "output_tokens": 43,
            "input_tokens_details": {
                "text_tokens": 487,
                "audio_tokens": 37
            },
            "output_tokens_details": {
                "text_tokens": 43
            }
        }
    }
}

response.text.delta

Dikembalikan saat modalitas output hanya teks dan model menghasilkan teks baru secara inkremental.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.text.delta.deltastringTeks inkremental yang dihasilkan model.response_idstringID respons.item_idstringID item pesan.output_indexintegerIndeks item output dalam respons. Nilai ini selalu 0.content_indexintegerIndeks bagian internal dalam item output. Nilai ini selalu 0.
{
    "delta": "Hello",
    "event_id": "event_TH49MauuPmRo1RGaMSlP7",
    "type": "response.text.delta",
    "response_id": "resp_PrRSvPVpnCExdUOGHHLuP",
    "item_id": "item_L8IRm9kRXFpxoOjDqDC96",
    "output_index": 0,
    "content_index": 0
}

response.text.done

Dikembalikan saat modalitas output hanya teks dan model selesai menghasilkan teks.
Juga dikembalikan jika respons diinterupsi, tidak lengkap, atau dibatalkan.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.text.done.response_idstringID respons.item_idstringID item pesan.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks item output dalam respons.text stringTeks lengkap yang dihasilkan model.
{
  "event_id": "event_B1lIeE2Nac33zn5V7h2mm",
  "type": "response.text.done",
  "response_id": "resp_B1lIdtjF4Noqpn5NOjznj",
  "item_id": "item_B1lIdJsAJlJiFs8ztWpJt",
  "output_index": 0,
  "content_index": 0,
  "text": "How can I assist you today?"
}

response.audio.delta

Untuk akses WebSocket, server mengembalikan peristiwa ini saat modalitas output mencakup audio dan model menghasilkan data audio baru secara inkremental. Untuk akses WebRTC, audio dikirim melalui track audio RTP dan peristiwa ini tidak dikembalikan.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.audio.delta.response_idstringID respons.item_idstringID item pesan.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks item output dalam respons.delta stringData audio inkremental yang dikodekan dalam Base64.
{
  "event_id": "event_B1osWMZBtrEQbiIwW0qHQ",
  "type": "response.audio.delta",
  "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
  "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
  "output_index": 0,
  "content_index": 0,
  "delta": "{base64 audio}"
}

response.audio.done

Dikembalikan saat modalitas output mencakup audio dan model selesai menghasilkan data audio.
Juga dikembalikan jika respons diinterupsi, tidak lengkap, atau dibatalkan.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.audio.done.response_idstringID respons.item_idstringID item pesan.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks item output dalam respons.
{
    "event_id": "event_Le1TDl7VfyHQxl47DtGxI",
    "type": "response.audio.done",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0
}

response.audio_transcript.delta

Dikembalikan saat modalitas output mencakup audio dan model menghasilkan teks transkrip response.audio_transcript.delta secara inkremental.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.audio_transcript.delta.response_idstringID respons.item_idstringID item pesan.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks item output dalam respons.deltastringTeks inkremental.
{
    "event_id": "event_BksW7fOwnyavZdDxIzZYM",
    "type": "response.audio_transcript.delta",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0,
    "delta": "What"
}

response.audio_transcript.done

Dikembalikan sebagai event response.audio_transcript.done saat modalitas output mencakup audio dan model menyelesaikan transkrip audio.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.audio_transcript.done.response_idstringID respons.item_idstringID item pesan.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks item output dalam respons.transcriptstringTeks transkripsi lengkap.
{
    "event_id": "event_X49tL2WerT4WjxcmH16lS",
    "type": "response.audio_transcript.done",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0,
    "transcript": "Hello! How can I help you?"
}

response.function_call_arguments.delta

Dikembalikan saat model mengalirkan argumen pemanggilan fungsi. Gabungkan field delta secara berurutan untuk membangun string argumen. Konten lengkap disediakan dalam event response.function_call_arguments.done berikutnya.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.function_call_arguments.delta.response_idstringID respons.item_idstringID item pesan.output_indexintegerIndeks item output dalam respons.call_idstringID unik untuk pemanggilan fungsi ini. Konsisten dengan event done dalam giliran yang sama.deltastringSegmen baru dari string argumen. Gabungkan segmen secara berurutan.
{
    "event_id": "event_SlKoJyEbPEqLq14DSM1u5",
    "type": "response.function_call_arguments.delta",
    "response_id": "resp_JnTOsWXlFhKcFohZbtfz6",
    "item_id": "item_Rhcms7CauTNsQprV5S4Hr",
    "output_index": 0,
    "call_id": "call_2be200f4cafe419b9530dd",
    "delta": " {\"location\": \"Beijing\"}"
}

response.function_call_arguments.done

Menunjukkan bahwa argumen panggilan fungsi telah selesai dibuat. Bidang arguments berisi string argumen lengkap. Gunakan arguments dari peristiwa ini, bukan hasil gabungan delta, untuk mem-parse dan memanggil fungsi lokal.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.function_call_arguments.done.response_idstringID respons.item_idstringID item pesan.output_indexintegerIndeks item output dalam respons.call_idstringID unik panggilan fungsi ini.namestringNama fungsi yang dipanggil.argumentsstringArgumen lengkap panggilan fungsi sebagai string JSON.
{
    "event_id": "event_X6suLyuL5agdH7r6koesM",
    "type": "response.function_call_arguments.done",
    "response_id": "resp_JnTOsWXlFhKcFohZbtfz6",
    "item_id": "item_Rhcms7CauTNsQprV5S4Hr",
    "output_index": 0,
    "name": "get_current_weather",
    "call_id": "call_2be200f4cafe419b9530dd",
    "arguments": " {\"location\": \"Beijing\"}"
}

response.output_item.added

Dikembalikan saat item baru dibuat selama pembuatan respons. Jenis item dapat berupa message atau function_call. Qwen3.8-Omni-Flash-Realtime juga mendukung mcp_call. Lihat Contoh item MCP.
event_idstringIdentifier unik untuk event ini.typestringJenis peristiwa. Nilai ini selalu response.output_item.added.response_idstringID respons.output_indexintegerIndeks item output dalam respons.itemobjectInformasi item output.

Properti

idstringID unik item output.objectstringUntuk item message dan function_call, bidang ini bernilai realtime.item. Untuk item MCP, nilainya sama jika dikembalikan.statusstringStatus item output.rolestringHanya ada pada item pesan. Mengidentifikasi peran pesan.contentarrayKonten pesan, dikembalikan jika jenisnya message. Array awalnya kosong dalam contoh ini. Lihat item lengkap dalam contoh response.output_item.done.typestringJenis item output. Nilainya mencakup message dan function_call. Qwen3.8-Omni-Flash-Realtime juga mendukung mcp_call. Lihat Contoh item MCP.namestringNama fungsi yang akan dipanggil jika type adalah function_call.call_idstringID unik panggilan fungsi saat ini jika jenisnya function_call.argumentsstringArgumen pemanggilan fungsi sebagai string JSON saat type adalah function_call. Awalnya string kosong dalam event added.

type=mcp_call (item awal)

objectstring (wajib)Harus realtime.item.statusstring (wajib)Awalnya in_progress.server_labelstring (wajib)Mengidentifikasi server MCP yang menjalankan alat.namestring (wajib)Nama alat asli.call_idstring (wajib)ID unik panggilan ini.argumentsstring (wajib)Biasanya kosong pada awalnya. Gunakan response.mcp_call_arguments.done dan item final untuk argumen lengkap.
{
    "event_id": "event_DsCO341DEVtiATtCB6BUY",
    "type": "response.output_item.added",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "output_index": 0,
    "item": {
        "id": "item_Ls6MtCUWO7LM4E59QziNv",
        "object": "realtime.item",
        "type": "message",
        "status": "in_progress",
        "role": "assistant",
        "content": []
    }
}
// Tool calling scenario
{
    "event_id": "event_HXmKt5pGoiRtXx7Hq7zpN",
    "type": "response.output_item.added",
    "response_id": "resp_TucN5QgymL5MA8vkJvFlS",
    "output_index": 0,
    "item": {
        "id": "item_FEG9qJGNkPcdf4et3p7BV",
        "object": "realtime.item",
        "type": "function_call",
        "status": "in_progress",
        "call_id": "call_bc0a7fb7235840f69ecfe4",
        "name": "get_current_weather",
        "arguments": ""
    }
}

response.output_item.done

Dikembalikan saat item output selesai dibuat.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.output_item.done.response_idstringID respons.output_indexintegerIndeks item output dalam respons.itemobjectInformasi item output.

Properti

idstringID unik item output.objectstringUntuk item message dan function_call, bidang ini bernilai realtime.item. Untuk item MCP, nilainya sama jika dikembalikan.statusstringStatus item output.rolestringHanya ada pada item pesan. Mengidentifikasi peran pesan.contentarray of objectsKonten pesan, dikembalikan jika jenisnya message. Bidang berikut menjelaskan elemen array dalam contoh ini.

Item array

typestringJenis bagian konten, yaitu audio dalam contoh ini.textstringKonten teks dalam contoh ini.
typestringJenis item output. Nilainya mencakup message dan function_call. Qwen3.8-Omni-Flash-Realtime juga mendukung mcp_call. Lihat Contoh item MCP.namestringNama fungsi yang dipanggil jika jenisnya function_call.call_idstringJika type adalah function_call, ini adalah ID unik panggilan fungsi.argumentsstringJika type adalah function_call, berisi argumen lengkap panggilan fungsi sebagai string JSON.

type=mcp_call (item final)

statusstring (wajib)completed atau failed.server_labelstring (wajib)Mengidentifikasi server MCP yang menjalankan alat.namestring (wajib)Nama alat asli.call_idstring (wajib)ID unik panggilan ini.argumentsstring (wajib)String JSON lengkap argumen.outputstring (opsional)String JSON hasil serialisasi tools/call.result MCP. Dapat juga muncul dalam beberapa kasus kegagalan.errorobject (opsional)Dikembalikan jika gagal.

Properti

typestring (wajib)Harus tool_execution_error.messagestring (wajib)Deskripsi yang aman untuk klien tanpa konten sensitif dari respons upstream.
Jika server MCP mengembalikan isError=true, status final adalah failed dan output asli mungkin juga ada.
{
    "event_id": "event_MEu5nlLw1LsOguHiehIP8",
    "type": "response.output_item.done",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "output_index": 0,
    "item": {
        "id": "item_Ls6MtCUWO7LM4E59QziNv",
        "object": "realtime.item",
        "type": "message",
        "status": "completed",
        "role": "assistant",
        "content": [
            {
                "type": "audio",
                "text": "Hello! How can I help you?"
            }
        ]
    }
}
// Tool calling scenario
{
    "event_id": "event_FHspdfAnCyjuME3mmAwSY",
    "type": "response.output_item.done",
    "response_id": "resp_TucN5QgymL5MA8vkJvFlS",
    "output_index": 0,
    "item": {
        "id": "item_FEG9qJGNkPcdf4et3p7BV",
        "object": "realtime.item",
        "type": "function_call",
        "status": "completed",
        "call_id": "call_bc0a7fb7235840f69ecfe4",
        "name": "get_current_weather",
        "arguments": " {\"location\": \"Hangzhou\"}"
    }
}

response.content_part.added

Dikembalikan saat bagian konten baru ditambahkan ke item pesan asisten selama generasi respons.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.content_part.added.response_idstringID respons.item_idstringID item pesan.output_indexintegerIndeks item output dalam respons. Nilai ini selalu 0.content_indexintegerIndeks bagian internal dalam item output. Nilai ini selalu 0.partobjectInformasi item output.

Properti

typestringJenis bagian konten.textstringTeks bagian konten.
{
    "event_id": "event_AVBOmrgY3C8bjlRajfSUT",
    "type": "response.content_part.added",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": ""
    }
}

response.content_part.done

Dikembalikan saat streaming bagian konten dalam item pesan asisten selesai.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.content_part.done.response_idstringID respons.item_idstringID item pesan.output_indexintegerIndeks item output dalam respons. Nilai ini selalu 0.content_indexintegerIndeks bagian konten dalam array konten. Nilai ini selalu 0.partobjectInformasi item output.

Properti

typestringJenis bagian konten.textstringTeks bagian konten.
{
    "event_id": "event_Il8HD19v58Qr5IBkw7LtN",
    "type": "response.content_part.done",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": "Hello! How can I help you?"
    }
}

Peristiwa MCP

Bagian ini menjelaskan peristiwa dan bidang WebSocket untuk qwen3.8-omni-flash-realtime. Peristiwa serta bidang dasar lainnya mengikuti protokol umum di atas. Bidang wajib diperlukan jika objek yang memuatnya ada. ID adalah string opak. Jangan mengandalkan panjang, prefiks, atau aturan pembuatannya. arguments dan output adalah string yang isinya perlu di-parse sebagai JSON. Koneksi, penemuan, dan panggilan MCP tunduk pada kuota layanan serta batas waktu.

mcp_list_tools.*

Jenis peristiwaWaktu dikirim
mcp_list_tools.in_progressPenemuan alat dimulai untuk server MCP.
mcp_list_tools.completedPenemuan berhasil dan pemfilteran allowed_tools selesai.
mcp_list_tools.failedPenemuan gagal, melewati batas waktu, atau melampaui batas layanan.
Ketiganya mewajibkan bidang string event_id (ID peristiwa unik), type (jenis peristiwa di atas), dan item_id (item mcp_list_tools terkait). in_progress dapat tiba sebelum session.updated. Untuk completed dan failed, conversation.item.created yang memuat daftar alat final atau error tiba lebih dahulu, diikuti peristiwa status dengan item_id yang sama.
{
  "event_id": "opaque_event_id",
  "type": "mcp_list_tools.completed",
  "item_id": "opaque_item_id"
}

response.mcp_call_arguments.delta

BidangTipeWajibArti
event_idstringYaID peristiwa unik.
typestringYaresponse.mcp_call_arguments.delta
response_idstringYaID Response induk.
item_idstringYaID item mcp_call saat ini.
output_indexintegerYaIndeks berbasis nol dalam array output Response induk.
deltastringYaFragmen string JSON inkremental. Gabungkan sesuai urutan peristiwa.
obfuscationstringTidakString obfuscation opsional. Abaikan saat menyusun dan mem-parse argumen.
{
  "event_id": "opaque_event_id",
  "type": "response.mcp_call_arguments.delta",
  "response_id": "opaque_response_id",
  "item_id": "opaque_item_id",
  "output_index": 0,
  "delta": "{\"city\":\"杭",
  "obfuscation": "opaque-value"
}

response.mcp_call_arguments.done

Mewajibkan event_id, type, response_id, dan item_id (string), output_index (integer, dengan makna sama seperti di atas), serta arguments (string). type adalah response.mcp_call_arguments.done. arguments memuat argumen lengkap yang dienkode JSON dan merupakan nilai otoritatif.
{
  "event_id": "opaque_event_id",
  "type": "response.mcp_call_arguments.done",
  "response_id": "opaque_response_id",
  "item_id": "opaque_item_id",
  "output_index": 0,
  "arguments": "{\"city\":\"杭州\"}"
}

response.mcp_call.*

Jenis peristiwaWaktu dikirim
response.mcp_call.in_progressArgumen lengkap dan persetujuan telah diberikan atau tidak diperlukan. Panggilan MCP dimulai.
response.mcp_call.completedPanggilan MCP berhasil.
response.mcp_call.failedError koneksi, protokol, atau bisnis alat; penolakan atau batas waktu persetujuan; batas waktu panggilan; atau pembatalan.
Ketiganya mewajibkan event_id, type, dan item_id (string), serta output_index (integer). item_id mengidentifikasi mcp_call saat ini. output_index adalah indeksnya dalam array output Response induk.
{
  "event_id": "opaque_event_id",
  "type": "response.mcp_call.in_progress",
  "item_id": "opaque_item_id",
  "output_index": 0
}

Item percakapan MCP

Objek ini adalah jenis bidang item dalam peristiwa, berlaku untuk Qwen3.8-Omni-Flash-Realtime.

Item mcp_list_tools

Dikembalikan sebagai conversation.item.created.item. Untuk bidangnya, lihat cabang type=mcp_list_tools dalam conversation.item.created. Contoh:
{
  "event_id": "opaque_event_id",
  "type": "conversation.item.created",
  "item": {
    "id": "opaque_item_id",
    "type": "mcp_list_tools",
    "server_label": "amap",
    "tools": [
      {
        "name": "maps_weather",
        "description": "查询天气",
        "input_schema": {
          "type": "object",
          "properties": {
            "city": {
              "type": "string",
              "description": "城市名"
            }
          },
          "required": ["city"]
        }
      }
    ]
  }
}

Item mcp_call awal

Saat model memilih alat MCP, item ini muncul dalam response.output_item.added.item dan mungkin juga dalam conversation.item.created.item. Lihat cabang item terkait dalam response.output_item.added dan conversation.item.created. Contoh response.output_item.added:
{
  "event_id": "opaque_event_id",
  "type": "response.output_item.added",
  "response_id": "opaque_response_id",
  "output_index": 0,
  "item": {
    "id": "opaque_item_id",
    "object": "realtime.item",
    "type": "mcp_call",
    "status": "in_progress",
    "call_id": "opaque_call_id",
    "server_label": "amap",
    "name": "maps_weather",
    "arguments": ""
  }
}

Item mcp_approval_request

Dikembalikan dalam conversation.item.created. Untuk bidang peristiwa dan item persetujuan, lihat conversation.item.created. Contoh:
{
  "event_id": "opaque_event_id",
  "type": "conversation.item.created",
  "response_id": "opaque_response_id",
  "item_id": "opaque_approval_id",
  "previous_item_id": "opaque_item_id",
  "item": {
    "id": "opaque_approval_id",
    "type": "mcp_approval_request",
    "server_label": "amap",
    "name": "maps_weather",
    "arguments": "{\"city\":\"杭州\"}",
    "call_id": "opaque_call_id"
  }
}

Item mcp_call akhir

Setelah panggilan mencapai status terminal, item muncul dalam response.output_item.done.item dan snapshot final response.done.response.output induk. Lihat cabang terkait dalam response.output_item.done dan response.done. Panggilan berhasil:
{
  "event_id": "opaque_event_id",
  "type": "response.output_item.done",
  "response_id": "opaque_response_id",
  "output_index": 0,
  "item": {
    "id": "opaque_item_id",
    "type": "mcp_call",
    "status": "completed",
    "call_id": "opaque_call_id",
    "server_label": "amap",
    "name": "maps_weather",
    "arguments": "{\"city\":\"杭州\"}",
    "output": "{\"content\":[{\"type\":\"text\",\"text\":\"...\"}],\"isError\":false}"
  }
}
Panggilan gagal:
{
  "event_id": "opaque_event_id",
  "type": "response.output_item.done",
  "response_id": "opaque_response_id",
  "output_index": 0,
  "item": {
    "id": "opaque_item_id",
    "type": "mcp_call",
    "status": "failed",
    "call_id": "opaque_call_id",
    "server_label": "amap",
    "name": "maps_weather",
    "arguments": "{\"city\":\"杭州\"}",
    "error": {
      "type": "tool_execution_error",
      "message": "MCP tool call failed (call_timeout)."
    }
  }
}

Kesalahan MCP

Error MCP dapat terjadi selama penemuan atau eksekusi alat. Untuk error penemuan, lihat error pada cabang mcp_list_tools dalam conversation.item.created. Untuk error eksekusi, lihat cabang mcp_call dalam response.output_item.done.
Lihat Qwen-Omni-Realtime.