Peristiwa Klien - Alibaba Cloud Model Studio

Untuk informasi lebih lanjut, lihat Real-time multimodal.

session.update

Setelah membangun koneksi WebSocket, kirim peristiwa ini untuk memperbarui konfigurasi sesi default. Ketika layanan menerima peristiwa session.update, ia memvalidasi parameter. Jika parameter valid, layanan memperbarui sesi dan mengembalikan konfigurasi lengkap. Jika tidak, layanan mengembalikan kesalahan.

tipestring(Diperlukan)Tipe peristiwa. Selalu session.update.sesiobjek(Opsional)Konfigurasi sesi.

Properti

modalitasarray(Opsional)Modalitas keluaran model. Nilai yang valid:

["text"] Hanya mengeluarkan teks.
["text","audio"] (Default) Mengeluarkan teks dan audio.

suarastring(Opsional)Suara untuk audio yang dihasilkan. Untuk daftar suara yang didukung, lihat Daftar Suara.Suara default:

Qwen3-Omni-Flash-Realtime: Cherry
Qwen-Omni-Turbo-Realtime: Chelsie

format_audio_masukanstring(Opsional)Format audio masukan pengguna. Saat ini hanya mendukung pcm16.format_audio_keluaranstring(Opsional)Format audio keluaran. Saat ini hanya mendukung pcm24.audioobject(Opsional)Konfigurasi audio masukan dan keluaran. Kolom yang tidak disertakan tetap menggunakan nilai default yang ada.Pengaturan format dan laju sampel bertingkat berikut hanya berlaku untuk qwen3.5-omni-plus-realtime dan qwen3.5-omni-flash-realtime.audio.inputobject(Opsional)Konfigurasi audio masukan pengguna.audio.input.formatobject(Opsional)Format dan laju sampel audio masukan. Konfigurasikan saat sesi berada dalam status IDLE, sebelum mengirim segmen audio pertama. Pengaturan ini tidak dapat diubah setelah masukan audio dimulai.audio.input.format.typestring(Opsional)Format audio masukan: pcm (default, PCM mentah mono 16-bit) atau wav (PCM mono 16-bit dalam kontainer WAV).audio.input.format.sample_rateinteger(Opsional)Laju sampel audio masukan dalam Hz: 8000, 16000 (default), 24000, atau 48000.audio.outputobject(Opsional)Konfigurasi audio keluaran model.audio.output.formatobject(Opsional)Format dan laju sampel audio keluaran. Konfigurasikan pada awal sesi, sebelum interaksi audio dimulai.audio.output.format.typestring(Opsional)Format audio keluaran: pcm (default, PCM mentah mono 16-bit) atau wav (PCM mono 16-bit dalam kontainer WAV).audio.output.format.sample_rateinteger(Opsional)Laju sampel audio keluaran dalam Hz: 8000, 16000, 24000 (default), atau 48000.keluaran_halusboolean | null(Opsional)Parameter ini hanya berlaku untuk model Qwen3-Omni-Flash-Realtime.Menentukan apakah akan mengaktifkan gaya balasan percakapan. Nilai yang valid:

true (Default): Balasan percakapan.
false: Balasan bergaya formal, tulisan.
Ini mungkin tidak bekerja dengan baik untuk konten yang sulit dibaca.
null: Model secara otomatis memilih gaya balasan percakapan atau tulisan.

instruksistring(Opsional)Pesan sistem yang menetapkan tujuan atau peran untuk model.deteksi_giliranobjek(Opsional)Konfigurasi deteksi aktivitas suara (VAD). Setel ini ke null untuk menonaktifkan VAD dan memicu balasan model secara manual. Jika parameter ini tidak diberikan, sistem mengaktifkan VAD dengan parameter default.

Properti

tipestring(Opsional)Tipe VAD sisi server. Selalu server_vad. Nilai defaultnya adalah server_vad.ambang batasfloat(Opsional)Tingkat sensitivitas VAD. Nilai yang lebih rendah membuat VAD lebih sensitif dan lebih mungkin mendeteksi suara lemah, termasuk kebisingan latar belakang, sebagai ucapan. Nilai yang lebih tinggi membuatnya kurang sensitif dan memerlukan ucapan yang lebih jelas dan keras untuk memicu deteksi.Nilainya berkisar dari [-1.0, 1.0]. Nilai defaultnya adalah 0.5.durasi_diam_msinteger(Opsional)Durasi minimum diam setelah ucapan berakhir untuk memicu balasan model. Nilai yang lebih rendah menghasilkan respons yang lebih cepat tetapi dapat menyebabkan model merespons salah selama jeda singkat dalam ucapan.Nilai defaultnya adalah 800. Parameter berkisar dari 200 hingga 6000.

{
    "event_id": "event_ToPZqeobitzUJnt3QqtWg",
    "type": "session.update",
    "session": {
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "Chelsie",
        "input_audio_format": "pcm16",
        "output_audio_format": "pcm24",
        "instructions": "Anda adalah agen layanan pelanggan AI untuk hotel bintang lima. Harap jawab pertanyaan pelanggan tentang jenis kamar, fasilitas, harga, dan kebijakan reservasi dengan akurat dan dalam sikap yang ramah. Selalu tanggapi dengan sikap profesional dan membantu. Jangan berikan informasi yang belum dikonfirmasi atau informasi di luar cakupan layanan hotel.",
        "turn_detection": {
            "type": "server_vad",
            "threshold": 0.5,
            "silence_duration_ms": 800
        }
    }
}

response.create

Peristiwa response.create menginstruksikan layanan untuk membuat respons model. Dalam mode VAD, layanan secara otomatis membuat respons model, sehingga Anda tidak perlu mengirim peristiwa ini. Layanan merespons dengan peristiwa response.created, satu atau lebih item dan peristiwa konten (seperti conversation.item.created dan response.content_part.added), dan akhirnya peristiwa response.done untuk menunjukkan bahwa respons telah selesai.

tipestring(Diperlukan)Tipe peristiwa. Selalu response.create.

{
    "type": "response.create",
    "event_id": "event_1718624400000"
}

response.cancel

Klien mengirim peristiwa ini untuk membatalkan respons yang sedang berlangsung. Jika tidak ada respons yang dapat dibatalkan, layanan merespons dengan peristiwa kesalahan.

tipestring(Diperlukan)Tipe peristiwa. Selalu response.cancel.

{
    "event_id": "event_B4o9RHSTWobB5OQdEHLTo",
    "type": "response.cancel"
}

input_audio_buffer.append

Menambahkan byte audio ke buffer audio masukan.

tipestring(Diperlukan)Tipe peristiwa. Selalu input_audio_buffer.append.audiostring(Diperlukan)Data audio yang dienkripsi Base64.

{
    "event_id": "event_B4o9RHSTWobB5OQdEHLTo",
    "type": "input_audio_buffer.append",
    "audio": "UklGR..."
}

input_audio_buffer.commit

Mengirimkan buffer audio masukan pengguna untuk membuat item pesan pengguna baru dalam percakapan. Jika buffer audio masukan kosong, layanan mengembalikan peristiwa kesalahan.

Mode VAD: Klien tidak perlu mengirim peristiwa ini. Layanan secara otomatis mengirimkan buffer audio.
Mode Manual: Klien harus mengirimkan buffer audio untuk membuat item pesan pengguna.

Mengirimkan buffer audio masukan tidak menciptakan respons dari model. Layanan merespons dengan peristiwa input_audio_buffer.committed.

Jika klien telah mengirim peristiwa input_image_buffer.append, peristiwa input_audio_buffer.commit mengirimkan buffer gambar bersama dengan buffer audio.

tipestring(Diperlukan)Tipe peristiwa. Selalu input_audio_buffer.commit.

{
    "event_id": "event_B4o9RHSTWobB5OQdEHLTo",
    "type": "input_audio_buffer.commit"
}

input_audio_buffer.clear

Menghapus byte audio dari buffer. Layanan merespons dengan peristiwa input_audio_buffer.cleared.

tipestring(Diperlukan)Tipe peristiwa. Selalu input_audio_buffer.clear.

{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.clear"
}

input_image_buffer.append

Menambahkan data gambar ke buffer gambar. Gambar bisa berasal dari file lokal atau ditangkap secara real-time dari aliran video. Batasan berikut berlaku untuk input gambar:

Format gambar harus JPG atau JPEG. Direkomendasikan: 480p atau 720p. Maksimum: 1080p.
Ukuran satu gambar tidak boleh melebihi 500 KB sebelum enkode Base64.
Data gambar harus dikodekan Base64.
Kirim gambar ke layanan dengan frekuensi maksimum 2 gambar per detik.
Sebelum Anda mengirim peristiwa input_image_buffer.append, Anda harus mengirim setidaknya satu peristiwa input_audio_buffer.append.

Buffer gambar dikirimkan bersama dengan buffer audio melalui peristiwa input_audio_buffer.commit.

tipestring(Diperlukan)Tipe peristiwa. Selalu input_image_buffer.append.gambarstring(Diperlukan)Data gambar yang dienkripsi Base64.

{
    "event_id": "event_xxx",
    "type": "input_image_buffer.append",
    "image": "xxx"
}

​session.update

​response.create

​response.cancel

​input_audio_buffer.append

​input_audio_buffer.commit

​input_audio_buffer.clear