Untuk skenario yang tidak memerlukan respons real-time, seperti anotasi data dan pembuatan konten, API inferensi real-time memiliki biaya tinggi dan konkurensi yang terbatas. API Batch Chat Alibaba Cloud Model Studio mempertahankan gaya pemanggilan sinkron yang sama dengan API real-time—Anda cukup mengirim permintaan dan menunggu hasil akhir dikembalikan. Saat ini, fitur ini menikmati diskon 50% untuk waktu terbatas di situs resmi, memangkas biaya inferensi Anda secara langsung sebesar 50%.
Antarmuka ini hanya mendukung pengiriman satu permintaan. Untuk mengirimkan beberapa permintaan sekaligus, Anda dapat mengirimkannya melalui file. Untuk detailnya, lihat OpenAI-compatible-Batch (file input).
Cara kerja
- Pengiriman permintaan: Klien mengirim permintaan dan membangun koneksi.
- Pemeliharaan koneksi: Permintaan masuk ke antrian, dan klien mempertahankan koneksi tetap terbuka sambil menunggu.
-
Pengembalian sinkron: Setelah permintaan selesai diproses, server mengembalikan hasil lengkap kepada klien sekaligus melalui koneksi yang sebelumnya dipertahankan.
Jika waktu tunggu maksimum terlampaui, koneksi ditutup secara otomatis dan kesalahan timeout dikembalikan.
Cakupan
- China (Beijing)
- Model generasi teks: qwen4-max, qwen3.8-max, qwen3.8-flash, qwen3.7-max, qwen3.7-plus, qwen3.6-plus, qwen3.7-flash, qwen3.6-flash, qwen3.5-plus, qwen3.5-flash, qwen-plus, qwen-flash
- Model pemahaman gambar dan video: qwen4-max, qwen3.8-max, qwen3.8-flash, qwen3.7-plus, qwen3.6-plus, qwen3.7-flash, qwen3.6-flash, qwen3.5-plus, qwen3.5-flash, qwen3.5-omni-plus, qwen3.5-omni-flash, qwen3-vl-plus
Cara menggunakan
Prasyarat
-
Anda telah mengaktifkan layanan Alibaba Cloud Model Studio dan mendapatkan API Key.
Kami menyarankan mengonfigurasi API Key Anda dalam variabel lingkungan untuk mengurangi risiko kebocoran API Key.
- Jika Anda melakukan pemanggilan melalui OpenAI SDK, Anda perlu menginstal SDK.
Langkah 1: Konfigurasikan titik akhir API
Cukup ubah titik akhir API (base_url) untuk dengan mudah mengalihkan permintaan inferensi real-time Anda yang sudah ada ke inferensi batch. Konfigurasikan titik akhir API yang benar sesuai metode pemanggilan Anda.
Konfigurasi SDK: Atur base_url ke https://batch.dashscope.aliyuncs.com/compatible-mode/v1
Pemanggilan HTTP: Titik akhir permintaan adalah POST https://batch.dashscope.aliyuncs.com/compatible-mode/v1/chat/completions
Langkah 2: Lakukan pemanggilan
Bagian ini menggunakan contoh percakapan teks untuk menunjukkan cara memanggil API Batch Chat.
Waktu tunggu default untuk sebuah permintaan adalah 3600 detik (1 jam); dalam kebanyakan kasus, tidak diperlukan konfigurasi tambahan.
Contoh berikut menunjukkan cara menetapkan timeout kustom (60-3600 detik) secara proaktif, untuk referensi.
- Python
- Java
- Node.js
- Go
- C#(HTTP)
- PHP(HTTP)
- curl
Contoh permintaanContoh respons
Batasan
- Waktu tunggu: Setelah permintaan dikirim, hasil ditunggu secara sinkron, dan server mempertahankan koneksi tetap terbuka selama maksimum 3600 detik (1 jam). Anda dapat menetapkan timeout kustom sesuai kebutuhan aktual Anda, dengan rentang valid 60-3600 detik.
- Batas konkurensi: Satu akun dapat mempertahankan hingga 10.000 permintaan tertunda per model. Permintaan baru yang melebihi batas ini ditolak dengan kode kesalahan yang sesuai hingga permintaan tertunda selesai dan mengosongkan slot yang tersedia.
-
Laju permintaan: Satu akun dapat mengirimkan permintaan dengan laju maksimum 1000 QPS (10.000 permintaan / 10 detik).
Batas ini adalah nilai teoretis maksimum yang ditetapkan oleh sistem. Dalam penggunaan aktual, sumber daya API yang tersedia dipengaruhi secara dinamis oleh beban sistem keseluruhan. Kami menyarankan Anda menerapkan logika retry dalam kode Anda.
Detail penagihan
- Harga satuan penagihan: Anda ditagih untuk token input dan output dari permintaan yang berhasil, dengan tarif yang sama seperti pemanggilan model real-time. Selama waktu terbatas, situs resmi menawarkan diskon 50% untuk pemanggilan Batch Chat, dengan biaya akhir sebesar 50% dari harga pemanggilan real-time. Untuk informasi lebih lanjut, lihat Model.
- Cakupan penagihan: Hanya permintaan yang berhasil dieksekusi dalam sebuah tugas yang ditagih. Permintaan yang gagal (termasuk kesalahan sistem atau timeout) tidak ditagih.
Kode kesalahan
Jika pemanggilan model gagal dan mengembalikan pesan kesalahan, lihat Kode kesalahan untuk pemecahan masalah.
FAQ
- Apakah ada perbedaan waktu pemrosesan antara permintaan Batch Chat dan API real-time? Ya. Permintaan Batch Chat harus mengantri untuk penjadwalan, sehingga waktu pemrosesan end-to-end biasanya lebih lama daripada API real-time. Waktu tunggu maksimum di sisi server adalah 1 jam. Jika permintaan tidak dieksekusi dalam waktu ini, koneksi ditutup secara otomatis dan kesalahan dikembalikan.
- Bagaimana cara memilih antara Batch Chat dan Batch File? Pilih Batch Chat jika logika bisnis Anda memerlukan pengiriman sejumlah besar permintaan percakapan independen dengan konkurensi tinggi melalui panggilan API sinkron. Pilih Batch File jika Anda perlu memproses satu file besar yang berisi banyak permintaan dan dapat menerima pengambilan file hasil secara asinkron.
- Apakah Batch Chat menjamin semua permintaan selesai? Tidak. Batch Chat menggunakan sumber daya Batch, dan penyelesaiannya bergantung pada alokasi sumber daya sistem. Jika sumber daya sistem sibuk, permintaan dapat menunggu dalam antrean. Jika permintaan masih belum dijadwalkan untuk dieksekusi setelah waktu tunggu maksimum, koneksi timeout dan ditutup. Dalam kasus ini, permintaan tidak ditagih, dan Anda dapat mencoba lagi nanti.
Dokumentasi terkait
- Untuk daftar parameter lengkap untuk pemanggilan model real-time, lihat OpenAI-compatible Chat.
- Untuk melakukan pemrosesan batch dengan mengirimkan file dan mengambil hasil secara asinkron, lihat OpenAI-compatible-Batch (file input).