Skip to main content
Real-time multimodal

Event server

Event server untuk Qwen-Omni-Realtime API, termasuk event tool calling (function calling).

Lihat Qwen-Omni-Realtime.

error

Kesalahan server.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu error.errorobjectDetail kesalahan.

Properties

typestringJenis kesalahan.codestringKode kesalahan.messagestringPesan kesalahan.paramstringParameter yang terkait dengan kesalahan, seperti session.modalities.
{
  "event_id": "event_RoUu4T8yExPMI37GKwaOC",
  "type": "error",
  "error": {
    "type": "invalid_request_error",
    "code": "invalid_value",
    "message": "Invalid modalities: ['audio']. Supported combinations are: ['text'] and ['audio', 'text'].",
    "param": "session.modalities"
  }
}

session.created

Dikembalikan saat klien terhubung. Berisi konfigurasi sesi default.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu session.created.sessionobjectKonfigurasi sesi.

Properties

objectstringNilai ini selalu realtime.session.modelstringModel yang digunakan.modalitiesarrayModalitas output untuk model.voicestringSuara untuk audio yang dihasilkan model.input_audio_formatstringFormat audio input. Hanya pcm yang didukung (laju sampel 16 kHz).output_audio_formatstringFormat audio output. Hanya pcm yang didukung (laju sampel 24 kHz).input_audio_transcriptionobjectKonfigurasi transkripsi.

Properties

modelstringModel transkripsi. Selalu qwen3-asr-flash-realtime. Tidak dapat dikonfigurasi.
turn_detectionobjectKonfigurasi deteksi aktivitas suara (VAD).

Properties

typestringJenis VAD. Nilai yang valid adalah server_vad (default) atau semantic_vad. Lihat Client events.thresholdfloatAmbang batas deteksi VAD.silence_duration_msintegerDurasi diam (ms) yang memicu deteksi akhir ucapan.idle_timeout_msintegerWaktu idle timeout dalam milidetik. Dikembalikan hanya dalam mode server_vad dengan model qwen3.5-omni-plus-realtime atau qwen3.5-omni-flash-realtime.
enable_searchbooleanApakah pencarian web diaktifkan. Didukung hanya oleh model seri Qwen3.5-Omni-Realtime.search_optionsobjectOpsi untuk pencarian web.temperaturefloatParameter suhu untuk model.
{
    "event_id": "event_RdvlSpbBb2ssyBjYrDHjt",
    "type": "session.created",
    "session": {
        "object": "realtime.session",
        "model": "qwen3-omni-flash-realtime",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Cherry",
        "input_audio_format": "pcm",
        "output_audio_format": "pcm",
        "input_audio_transcription": {
            "model": "qwen3-asr-flash-realtime"
        },
        "turn_detection": {
            // The value can be server_vad or semantic_vad (only supported by qwen3.5-omni-realtime series model).
            "type": "server_vad",
            "threshold": 0.5,
            "prefix_padding_ms": 300,
            "silence_duration_ms": 800,
            "create_response": true,
            "interrupt_response": true
        },
        "enable_search": false,
        "search_options": {},
        "tools": [],
        "temperature": 0.8,
        "id": "sess_Ov7GOXoNXhNjlxXtOGKQS"
    }
}

session.updated

Dikembalikan setelah permintaan session.update berhasil. Jika gagal, event error akan dikembalikan sebagai gantinya.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu session.updated.sessionobjectKonfigurasi sesi.

Properties

temperaturefloatParameter suhu untuk model.modalitiesarrayModalitas output untuk model.voicestringSuara untuk audio yang dihasilkan model.instructionsstringTujuan dan peran model.input_audio_formatstringFormat audio input. Hanya pcm yang didukung (laju sampel 16 kHz).output_audio_formatstringFormat audio output. Hanya pcm yang didukung (laju sampel 24 kHz).input_audio_transcriptionobjectKonfigurasi transkripsi.

Properties

modelstringModel transkripsi. Selalu qwen3-asr-flash-realtime. Tidak dapat dikonfigurasi.
turn_detectionobjectKonfigurasi deteksi aktivitas suara (VAD).

Properties

typestringJenis VAD. Nilai yang valid adalah server_vad (default) atau semantic_vad. Lihat Client events.thresholdfloatAmbang batas deteksi VAD.silence_duration_msintegerDurasi diam (ms) yang memicu deteksi akhir ucapan.idle_timeout_msintegerWaktu idle timeout dalam milidetik. Dikembalikan hanya dalam mode server_vad dengan model qwen3.5-omni-plus-realtime atau qwen3.5-omni-flash-realtime.
enable_searchboolean (optional)Apakah pencarian web diaktifkan. Didukung hanya oleh model seri Qwen3.5-Omni-Realtime.search_optionsobject (optional)Opsi pencarian web.toolsarray (optional)Definisi tool. Saat dikonfigurasi, model dapat memutuskan apakah akan memanggil tool berdasarkan input pengguna.
typestring (required)Nilai ini selalu function.function.namestring (required)Nama fungsi, seperti get_current_weather atau get_current_time.function.descriptionstring (optional)Deskripsi tujuan fungsi. Model menggunakan ini untuk memutuskan apakah akan memanggil fungsi.function.parametersobject (optional)Skema parameter input. Model menggunakan ini untuk mengekstraksi parameter. Abaikan jika fungsi tidak memiliki parameter.
typestring (required)Nilai ini selalu object.propertiesobject (optional)Setiap kunci adalah nama parameter yang dipetakan ke objek dengan type dan description.requiredarray (optional)Menentukan parameter input mana yang wajib.
top_pfloatAmbang batas probabilitas untuk pengambilan sampel inti.top_kintegerUkuran kumpulan kandidat untuk pengambilan sampel selama generasi.max_tokensintegerMaksimum token yang dapat dikembalikan model untuk permintaan ini.repetition_penaltyfloatMengontrol pengulangan dalam urutan berturut-turut selama generasi.presence_penaltyfloatMengontrol pengulangan dalam konten yang dihasilkan.seedintegerTingkat konsistensi dalam output model per permintaan.
{
    "event_id": "event_X1HsXS4b4uptp6yo1LgKd",
    "type": "session.updated",
    "session": {
        "id": "sess_Aih6vAcY5Ddt6jwFx1tCa",
        "object": "realtime.session",
        "model": "qwen3-omni-flash-realtime",
        "modalities": [
            "text",
            "audio"
        ],
        "instructions": "You are Xiao Yun, a personal assistant. Answer user questions accurately and in a friendly manner. Always respond with a helpful attitude.",
        "voice": "Cherry",
        "input_audio_format": "pcm",
        "output_audio_format": "pcm",
        "input_audio_transcription": {
            "model": "qwen3-asr-flash-realtime"
        },
        "turn_detection": {
            // The value can be server_vad or semantic_vad (only supported by qwen3.5-omni-realtime series model).
            "type": "server_vad",
            "threshold": 0.1,
            "prefix_padding_ms": 500,
            "silence_duration_ms": 900,
            "create_response": true,
            "interrupt_response": true
        },
        "enable_search": true,
        "search_options": {
            "enable_source": true
        },
        "tools": [
            {
                "type": "function",
                "function": {
                    "name": "get_current_weather",
                    "description": "Useful for querying the weather in a specific city.",
                    "parameters": {
                        "type": "object",
                        "properties": {
                            "location": {"type": "string", "description": "The city name"}
                        },
                        "required": ["location"]
                    }
                }
            }
        ],
        "temperature": 0.8,
        "max_response_output_token": "inf",
        "max_tokens": 16384,
        "repetition_penalty": 1.05,
        "presence_penalty": 0.0,
        "top_k": 50,
        "top_p": 1.0,
        "seed":-1
    }
}

input_audio_buffer.speech_started

Dalam mode VAD, dikembalikan saat server mendeteksi awal ucapan dalam buffer audio.
Dapat dipicu setiap kali audio ditambahkan ke buffer sebelum ucapan terdeteksi.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu input_audio_buffer.speech_started.audio_start_msintegerWaktu (ms) sejak penulisan buffer audio dimulai hingga ucapan pertama kali terdeteksi.item_idstringID item pesan pengguna yang dibuat saat akhir ucapan terdeteksi.
Item pesan pengguna menambahkan input pengguna ke riwayat percakapan untuk inferensi model. 
{
    "event_id": "event_Pvp8nEhsQuGCQbFJ9x58n",
    "type": "input_audio_buffer.speech_started",
    "audio_start_ms": 3647,
    "item_id": "item_YbAiGvK2H7YaS34o4R6Ba"
}

input_audio_buffer.speech_stopped

Dalam mode VAD, dikembalikan saat server mendeteksi akhir ucapan dalam buffer audio. Juga mengembalikan event conversation.item.created dengan item pesan pengguna yang sesuai.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu input_audio_buffer.speech_stopped.audio_end_msintegerWaktu (ms) sejak sesi dimulai hingga akhir ucapan terdeteksi.item_idstringID item pesan pengguna yang akan dibuat.
{
    "event_id": "event_UhQiqNVRsgUiq4KUS5Xb5",
    "type": "input_audio_buffer.speech_stopped",
    "audio_end_ms": 4453,
    "item_id": "item_YbAiGvK2H7YaS34o4R6Ba"
}

input_audio_buffer.committed

Dikembalikan saat buffer audio input dikomit.
  • Dalam mode VAD, server secara otomatis mengkomit buffer saat mendeteksi akhir ucapan.
  • Dalam mode Manual, dikembalikan setelah klien mengirim event input_audio_buffer.commit.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu input_audio_buffer.committed.item_idstringID item pesan pengguna yang akan dibuat.
{
    "event_id": "event_Iy6sUzL1nmdFgshFYxJEz",
    "type": "input_audio_buffer.committed",
    "item_id": "item_YbAiGvK2H7YaS34o4R6Ba"
}

input_audio_buffer.cleared

Dikembalikan setelah klien mengirim event input_audio_buffer.clear.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu input_audio_buffer.cleared.
{
  "event_id": "event_RoUu4T8yExPMI37GKwaOC",
  "type": "input_audio_buffer.cleared"
}

conversation.item.created

Dikembalikan saat item percakapan dibuat.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu conversation.item.created.itemobjectItem percakapan yang akan ditambahkan.

Properties

idstringID unik dari item percakapan.objectstringNilai ini selalu realtime.item.statusstringStatus item percakapan.rolestringPeran dari pesan.contentarrayKonten dari pesan. Parameter ini dikembalikan saat jenisnya message.typestringJenis item percakapan. Nilai yang valid adalah message atau function_call.namestringNama fungsi yang dipanggil saat jenisnya function_call.call_idstringSaat type adalah function_call, ini adalah ID unik dari pemanggilan fungsi.argumentsstringSaat type adalah function_call, parameter ini berisi argumen untuk pemanggilan fungsi sebagai string JSON.
{
    "event_id": "event_JEfkrr9gO3Ny7Xcv9bGVd",
    "type": "conversation.item.created",
    "item": {
        "id": "item_YbAiGvK2H7YaS34o4R6Ba",
        "object": "realtime.item",
        "type": "message",
        "status": "in_progress",
        "role": "assistant",
        "content": [
            {
                "type": "input_audio"
            }
        ]
    }
}
// Tool calling scenario
{
    "event_id": "event_S1hkaIQgcuQD8OEdOpGHQ",
    "type": "conversation.item.created",
    "item": {
        "id": "item_FEG9qJGNkPcdf4et3p7BV",
        "object": "realtime.item",
        "type": "function_call",
        "status": "in_progress",
        "call_id": "call_bc0a7fb7235840f69ecfe4",
        "name": "get_current_weather",
        "arguments": ""
    }
}

conversation.item.input_audio_transcription.delta

Dikirim secara berkala saat pengguna berbicara ketika transkripsi audio input diaktifkan. Memberikan hasil transkripsi antara secara real-time. Gabungkan text + stash untuk pratinjau kalimat paling lengkap pada titik tertentu.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu conversation.item.input_audio_transcription.delta.item_idstringID item percakapan yang terkait.content_indexintegerIndeks bagian konten yang berisi audio.textstringAwalan teks yang dikonfirmasi — bagian yang telah difinalisasi model dan tidak akan berubah.stashstringAkhiran teks sementara — draf sementara setelah bagian yang dikonfirmasi, dapat direvisi.languagestringBahasa yang terdeteksi dari audio yang dikenali.emotionstringEmosi yang terdeteksi dari audio yang dikenali. Nilai yang valid: neutral, happy, sad, angry, surprised, disgusted, fearful.
{
    "event_id": "event_C7jzoeSFuiwOZS6tR14yx",
    "type": "conversation.item.input_audio_transcription.delta",
    "item_id": "item_ThVYhLHOdeXb4bBSvzSFF",
    "content_index": 0,
    "text": "",
    "stash": "How is the weather today?",
    "language": "en",
    "emotion": "neutral",
    "obfuscation": "ABEXGYmxdmc97u"
}
Untuk mendapatkan pratinjau kalimat paling lengkap pada setiap saat, gabungkan kedua field ini: pratinjau real-time = text + stash.
Misalnya, pengguna mengatakan: "Cuaca hari ini bagus, cerah, dan hangat."Berikut ini menunjukkan aliran event yang mungkin Anda terima dan cara menginterpretasikannya:

Waktu

Progres ucapan pengguna

Respons API (text dan stash)

Tampilan UI Klien (teks + stash)

T1

"The weather..."

text: ""

stash: "The weather"

The weather

T2

"...is nice..."

text: ""

stash: "The weather is nice"

The weather is nice

T3

"...today,"

text: "The weather"

stash: " is nice today,"

The weather is nice today,

("The weather" telah dikonfirmasi dan dipindahkan ke text)

T4

(jeda singkat)

text: "The weather is nice today, "

stash: ""

The weather is nice today,

(klausa pertama sepenuhnya dikonfirmasi)

T5

"sunny..."

text: "The weather is nice today, "

stash: "sunny"

The weather is nice today, sunny

T6

"...and warm."

text: "The weather is nice today, "

stash: "sunny and warm."

The weather is nice today, sunny and warm.

T7

(berhenti berbicara)

-

Gunakan transkrip dari conversation.item.input_audio_transcription.completed sebagai hasil akhir.

conversation.item.input_audio_transcription.completed

Menunjukkan bahwa audio pengguna telah ditranskripsikan oleh model pengenalan ucapan bawaan (qwen3-asr-flash-realtime). Tidak dapat dikonfigurasi.
Teks transkripsi dari model pengenalan ucapan mungkin berbeda dari interpretasi yang dihasilkan oleh model Qwen-Omni-Realtime. Transkripsi hanya untuk referensi.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu conversation.item.input_audio_transcription.completed.item_idstringID item pesan pengguna.content_indexintegerNilai ini selalu 0.transcriptstringTeks transkripsi.
{
    "event_id": "event_FrrZcxiDfTB9LD9p4pVng",
    "type": "conversation.item.input_audio_transcription.completed",
    "item_id": "item_YbAiGvK2H7YaS34o4R6Ba",
    "content_index": 0,
    "transcript": "Hello."
}

conversation.item.input_audio_transcription.failed

Dikembalikan saat transkripsi audio input diaktifkan dan transkripsi gagal. Terpisah dari event error; membantu klien mengidentifikasi kegagalan transkripsi secara spesifik.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu conversation.item.input_audio_transcription.failed.item_idstringID item pesan pengguna.content_indexintegerNilai ini selalu 0.errorobjectInformasi kesalahan.

Properties

code stringKode kesalahan.message stringPesan kesalahan.param stringParameter yang terkait dengan kesalahan.
{
  "type": "conversation.item.input_audio_transcription.failed",
  "item_id": "<item_id>",
  "content_index": 0,
  "error": {
    "code": "<code>",
    "message": "<message>",
    "param": "<param>"
  }
}

response.created

Dikembalikan saat server mulai menghasilkan respons baru.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.created.responseobjectObjek respons.

Properties

id stringID unik dari respons.conversation_id stringID unik dari sesi saat ini.object stringJenis objek. Untuk event ini, nilai ini selalu realtime.response.status stringStatus respons. Nilai yang valid adalah completed, failed, in_progress, atau incomplete.modalities arrayModalitas respons.voice stringSuara untuk audio yang dihasilkan model.output arrayField ini kosong untuk event ini.
{
    "event_id": "event_XuDavMzQN3KKepqGu3KRh",
    "type": "response.created",
    "response": {
        "id": "resp_HaVOPdbmX6vifiV5pAfJY",
        "object": "realtime.response",
        "conversation_id": "conv_FjJaccpnvwHNo9cPVuzGc",
        "status": "in_progress",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Cherry",
        "output_audio_format": "pcm",
        "output": []
    }
}

response.done

Dikembalikan setelah respons sepenuhnya dihasilkan. Objek response mencakup semua item output kecuali data audio mentah.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.done.responseobjectObjek respons.

Properties

id stringID unik dari respons.conversation_id stringID unik dari sesi saat ini.object stringJenis objek. Untuk event ini, nilai ini selalu realtime.response.status stringStatus respons.modalities arrayModalitas respons.voice stringSuara untuk audio yang dihasilkan model.output objectOutput respons.

Properties

id stringID output respons.type stringJenis item output. Nilai yang valid adalah message atau function_call.object stringJenis objek item output. Nilai ini selalu realtime.item.status stringStatus item output.role stringPeran item output.content arrayKonten item output. Field ini dikembalikan hanya saat type adalah message.

Properties

type stringJenis konten. Nilainya dapat berupa text untuk output teks biasa atau audio untuk output audio.text stringOutput teks.transcript stringTranskrip teks dari audio.
name stringNama fungsi yang dipanggil saat jenisnya function_call.call_id stringSaat type adalah function_call, ini adalah ID unik dari pemanggilan fungsi.arguments stringSaat type adalah function_call, field ini berisi argumen lengkap untuk pemanggilan fungsi sebagai string JSON.
usage objectDetail penggunaan token untuk respons ini.
total_tokens integerTotal token yang digunakan dalam respons ini.input_tokens integerJumlah token input.output_tokens integerJumlah token output.input_tokens_details objectDetail penggunaan token input, termasuk text_tokens dan audio_tokens.output_tokens_details objectDetail penggunaan token output, termasuk text_tokens dan audio_tokens.plugins object (optional)Metrik penggunaan plugin. Dikembalikan saat pencarian web (enable_search) diaktifkan.
search objectData metering pencarian.
count integerJumlah pencarian.strategy stringStrategi pencarian.
{
    "event_id": "event_CSaxRRYLvbrfexDXAEuDG",
    "type": "response.done",
    "response": {
        "id": "resp_HaVOPdbmX6vifiV5pAfJY",
        "object": "realtime.response",
        "conversation_id": "conv_FjJaccpnvwHNo9cPVuzGc",
        "status": "completed",
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Cherry",
        "output_audio_format": "pcm",
        "output": [
            {
                "id": "item_Ls6MtCUWO7LM4E59QziNv",
                "object": "realtime.item",
                "type": "message",
                "status": "completed",
                "role": "assistant",
                "content": [
                    {
                        "type": "audio",
                        "transcript": "Hello! How can I help you?"
                    }
                ]
            }
        ],
        "usage": {
            "total_tokens": 377,
            "input_tokens": 336,
            "output_tokens": 41,
            "input_tokens_details": {
                "text_tokens": 228,
                "audio_tokens": 108
            },
            "output_tokens_details": {
                "text_tokens": 9,
                "audio_tokens": 32
            },
            "plugins": {
                "search": {
                    "count": 1,
                    "strategy": "agent"
                }
            }
        }
    }
}
// Tool calling scenario
{
    "event_id": "event_T1EFAJp43X2DWtDRmxTtx",
    "type": "response.done",
    "response": {
        "id": "resp_TucN5QgymL5MA8vkJvFlS",
        "object": "realtime.response",
        "conversation_id": "conv_SEDZESRlefT8WvLSmEn6E",
        "status": "completed",
        "modalities": ["text", "audio"],
        "voice": "Ethan",
        "output_audio_format": "pcm",
        "output": [
            {
                "id": "item_FEG9qJGNkPcdf4et3p7BV",
                "object": "realtime.item",
                "type": "function_call",
                "status": "completed",
                "call_id": "call_bc0a7fb7235840f69ecfe4",
                "name": "get_current_weather",
                "arguments": " {\"location\": \"Hangzhou\"}"
            }
        ],
        "usage": {
            "total_tokens": 567,
            "input_tokens": 524,
            "output_tokens": 43,
            "input_tokens_details": {
                "text_tokens": 487,
                "audio_tokens": 37
            },
            "output_tokens_details": {
                "text_tokens": 43
            }
        }
    }
}

response.text.delta

Dikembalikan saat modalitas output hanya teks dan model menghasilkan teks baru secara inkremental.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.text.delta.deltastringTeks inkremental yang dihasilkan model.response_idstringID respons.item_idstringID item pesan.output_indexintegerIndeks item output dalam respons. Nilai ini selalu 0.content_indexintegerIndeks bagian internal dalam item output. Nilai ini selalu 0.
{
    "delta": "Hello",
    "event_id": "event_TH49MauuPmRo1RGaMSlP7",
    "type": "response.text.delta",
    "response_id": "resp_PrRSvPVpnCExdUOGHHLuP",
    "item_id": "item_L8IRm9kRXFpxoOjDqDC96",
    "output_index": 0,
    "content_index": 0
}

response.text.done

Dikembalikan saat modalitas output hanya teks dan model selesai menghasilkan teks.
Juga dikembalikan jika respons diinterupsi, tidak lengkap, atau dibatalkan.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.text.done.response_idstringID respons.item_idstringID item pesan.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks item output dalam respons.text stringTeks lengkap yang dihasilkan model.
{
  "event_id": "event_B1lIeE2Nac33zn5V7h2mm",
  "type": "response.text.done",
  "response_id": "resp_B1lIdtjF4Noqpn5NOjznj",
  "item_id": "item_B1lIdJsAJlJiFs8ztWpJt",
  "output_index": 0,
  "content_index": 0,
  "text": "How can I assist you today?"
}

response.audio.delta

Dikembalikan saat modalitas output mencakup audio dan model menghasilkan data audio baru secara inkremental.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.audio.delta.response_idstringID respons.item_idstringID item pesan.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks item output dalam respons.delta stringData audio inkremental yang dikodekan dalam Base64.
{
  "event_id": "event_B1osWMZBtrEQbiIwW0qHQ",
  "type": "response.audio.delta",
  "response_id": "resp_P79OOMs8LnrXVpiIHUCKR",
  "item_id": "item_OFaPGtzfWCPyGzxnuEX9i",
  "output_index": 0,
  "content_index": 0,
  "delta": "{base64 audio}"
}

response.audio.done

Dikembalikan saat modalitas output mencakup audio dan model selesai menghasilkan data audio.
Juga dikembalikan jika respons diinterupsi, tidak lengkap, atau dibatalkan.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.audio.done.response_idstringID respons.item_idstringID item pesan.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks item output dalam respons.
{
    "event_id": "event_Le1TDl7VfyHQxl47DtGxI",
    "type": "response.audio.done",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0
}

response.audio_transcript.delta

Dikembalikan saat modalitas output mencakup audio dan model menghasilkan teks transkrip response.audio_transcript.delta secara inkremental.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.audio_transcript.delta.response_idstringID respons.item_idstringID item pesan.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks item output dalam respons.deltastringTeks inkremental.
{
    "event_id": "event_BksW7fOwnyavZdDxIzZYM",
    "type": "response.audio_transcript.delta",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0,
    "delta": "What"
}

response.audio_transcript.done

Dikembalikan sebagai event response.audio_transcript.done saat modalitas output mencakup audio dan model menyelesaikan transkrip audio.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.audio_transcript.done.response_idstringID respons.item_idstringID item pesan.output_indexintegerIndeks item output dalam respons.content_indexintegerIndeks item output dalam respons.transcriptstringTeks transkripsi lengkap.
{
    "event_id": "event_X49tL2WerT4WjxcmH16lS",
    "type": "response.audio_transcript.done",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0,
    "transcript": "Hello! How can I help you?"
}

response.function_call_arguments.delta

Dikembalikan saat model mengalirkan argumen pemanggilan fungsi. Gabungkan field delta secara berurutan untuk membangun string argumen. Konten lengkap disediakan dalam event response.function_call_arguments.done berikutnya.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.function_call_arguments.delta.response_idstringID respons.item_idstringID item pesan.output_indexintegerIndeks item output dalam respons.call_idstringID unik untuk pemanggilan fungsi ini. Konsisten dengan event done dalam giliran yang sama.deltastringSegmen baru dari string argumen. Gabungkan segmen secara berurutan.
{
    "event_id": "event_SlKoJyEbPEqLq14DSM1u5",
    "type": "response.function_call_arguments.delta",
    "response_id": "resp_JnTOsWXlFhKcFohZbtfz6",
    "item_id": "item_Rhcms7CauTNsQprV5S4Hr",
    "output_index": 0,
    "call_id": "call_2be200f4cafe419b9530dd",
    "delta": " {\"location\": \"Beijing\"}"
}

response.function_call_arguments.done

Menunjukkan bahwa argumen pemanggilan fungsi telah sepenuhnya dihasilkan. Field arguments berisi string argumen lengkap. Gunakan arguments dari event ini — bukan hasil penggabungan delta — untuk mengurai dan memanggil fungsi lokal.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.function_call_arguments.done.response_idstringID respons.item_idstringID item pesan.output_indexintegerIndeks item output dalam respons.call_idstringID unik untuk pemanggilan fungsi ini.namestringNama fungsi yang dipanggil.argumentsstringArgumen pemanggilan fungsi lengkap sebagai string JSON.
{
    "event_id": "event_X6suLyuL5agdH7r6koesM",
    "type": "response.function_call_arguments.done",
    "response_id": "resp_JnTOsWXlFhKcFohZbtfz6",
    "item_id": "item_Rhcms7CauTNsQprV5S4Hr",
    "output_index": 0,
    "name": "get_current_weather",
    "call_id": "call_2be200f4cafe419b9530dd",
    "arguments": " {\"location\": \"Beijing\"}"
}

response.output_item.added

Dikembalikan saat item baru dibuat selama generasi respons. Jenis item dapat berupa message atau function_call.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.output_item.added.response_idstringID respons.output_indexintegerIndeks item output dalam respons.itemobjectInformasi tentang item output.

Properties

idstringID unik dari item output.objectstringNilai ini selalu realtime.item.statusstringStatus item output.rolestringPeran pengirim.contentarrayKonten pesan. Field ini dikembalikan saat type adalah message.typestringJenis item output. Nilai yang valid adalah message atau function_call.namestringNama fungsi yang akan dipanggil saat type adalah function_call.call_idstringID unik dari pemanggilan fungsi saat ini saat jenisnya function_call.argumentsstringArgumen pemanggilan fungsi sebagai string JSON saat type adalah function_call. Awalnya string kosong dalam event added.
{
    "event_id": "event_DsCO341DEVtiATtCB6BUY",
    "type": "response.output_item.added",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "output_index": 0,
    "item": {
        "id": "item_Ls6MtCUWO7LM4E59QziNv",
        "object": "realtime.item",
        "type": "message",
        "status": "in_progress",
        "role": "assistant",
        "content": []
    }
}
// Tool calling scenario
{
    "event_id": "event_HXmKt5pGoiRtXx7Hq7zpN",
    "type": "response.output_item.added",
    "response_id": "resp_TucN5QgymL5MA8vkJvFlS",
    "output_index": 0,
    "item": {
        "id": "item_FEG9qJGNkPcdf4et3p7BV",
        "object": "realtime.item",
        "type": "function_call",
        "status": "in_progress",
        "call_id": "call_bc0a7fb7235840f69ecfe4",
        "name": "get_current_weather",
        "arguments": ""
    }
}

response.output_item.done

Dikembalikan saat item output sepenuhnya dihasilkan.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.output_item.done.response_idstringID respons.output_indexintegerIndeks item output dalam respons.itemobjectInformasi item output.

Properties

idstringID unik dari item output.objectstringNilai ini selalu realtime.item.statusstringStatus item output.rolestringPeran pengirim.contentarrayKonten pesan. Field ini dikembalikan saat type adalah message.typestringJenis item output. Nilai yang valid adalah message atau function_call.namestringNama fungsi yang dipanggil saat jenisnya function_call.call_idstringSaat type adalah function_call, ini adalah ID unik untuk pemanggilan fungsi.argumentsstringSaat type adalah function_call, berisi argumen pemanggilan fungsi lengkap sebagai string JSON.
{
    "event_id": "event_MEu5nlLw1LsOguHiehIP8",
    "type": "response.output_item.done",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "output_index": 0,
    "item": {
        "id": "item_Ls6MtCUWO7LM4E59QziNv",
        "object": "realtime.item",
        "type": "message",
        "status": "completed",
        "role": "assistant",
        "content": [
            {
                "type": "audio",
                "text": "Hello! How can I help you?"
            }
        ]
    }
}
// Tool calling scenario
{
    "event_id": "event_FHspdfAnCyjuME3mmAwSY",
    "type": "response.output_item.done",
    "response_id": "resp_TucN5QgymL5MA8vkJvFlS",
    "output_index": 0,
    "item": {
        "id": "item_FEG9qJGNkPcdf4et3p7BV",
        "object": "realtime.item",
        "type": "function_call",
        "status": "completed",
        "call_id": "call_bc0a7fb7235840f69ecfe4",
        "name": "get_current_weather",
        "arguments": " {\"location\": \"Hangzhou\"}"
    }
}

response.content_part.added

Dikembalikan saat bagian konten baru ditambahkan ke item pesan asisten selama generasi respons.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.content_part.added.response_idstringID respons.item_idstringID item pesan.output_indexintegerIndeks item output dalam respons. Nilai ini selalu 0.content_indexintegerIndeks bagian internal dalam item output. Nilai ini selalu 0.partobjectInformasi item output.

Properties

typestringJenis bagian konten.textstringTeks bagian konten.
{
    "event_id": "event_AVBOmrgY3C8bjlRajfSUT",
    "type": "response.content_part.added",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": ""
    }
}

response.content_part.done

Dikembalikan saat streaming bagian konten dalam item pesan asisten selesai.
event_idstringIdentifier unik untuk event ini.typestringJenis event. Nilai ini selalu response.content_part.done.response_idstringID respons.item_idstringID item pesan.output_indexintegerIndeks item output dalam respons. Nilai ini selalu 0.content_indexintegerIndeks bagian konten dalam array konten. Nilai ini selalu 0.partobjectInformasi item output.

Properties

typestringJenis bagian konten.textstringTeks bagian konten.
{
    "event_id": "event_Il8HD19v58Qr5IBkw7LtN",
    "type": "response.content_part.done",
    "response_id": "resp_HaVOPdbmX6vifiV5pAfJY",
    "item_id": "item_Ls6MtCUWO7LM4E59QziNv",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": "Hello! How can I help you?"
    }
}
Penggunaan API
Generasi teks
Pembuatan Gambar
  • FAQ
Video Generation
Model Dunia
Audio
  • Pembuatan audio
Real-time multimodal
Realtime API
Penyematan Teks
Lainnya Model
Toolkit/Framework
TokenPlan
Model production
Manajemen file
Penagihan
Manajemen Model
Lebih Banyak Tentang Model