Skip to main content

OpenAI-compatible-Batch Chat

Untuk skenario yang tidak memerlukan respons real-time, seperti anotasi data dan pembuatan konten, API inferensi real-time memiliki biaya tinggi dan konkurensi yang terbatas. API Batch Chat Alibaba Cloud Model Studio mempertahankan gaya pemanggilan sinkron yang sama dengan API real-time—Anda cukup mengirim permintaan dan menunggu hasil akhir dikembalikan. Saat ini, fitur ini menikmati diskon 50% untuk waktu terbatas di situs resmi, memangkas biaya inferensi Anda secara langsung sebesar 50%.

Antarmuka ini hanya mendukung pengiriman satu permintaan. Untuk mengirimkan beberapa permintaan sekaligus, Anda dapat mengirimkannya melalui file. Untuk detailnya, lihat OpenAI-compatible-Batch (file input).

Cara kerja

  1. Pengiriman permintaan: Klien mengirim permintaan dan membangun koneksi.
  2. Pemeliharaan koneksi: Permintaan masuk ke antrian, dan klien mempertahankan koneksi tetap terbuka sambil menunggu.
  3. Pengembalian sinkron: Setelah permintaan selesai diproses, server mengembalikan hasil lengkap kepada klien sekaligus melalui koneksi yang sebelumnya dipertahankan.
    Jika waktu tunggu maksimum terlampaui, koneksi ditutup secara otomatis dan kesalahan timeout dikembalikan.

Cakupan

  • China (Beijing)
  • Model generasi teks: qwen4-max, qwen3.8-max, qwen3.8-flash, qwen3.7-max, qwen3.7-plus, qwen3.6-plus, qwen3.7-flash, qwen3.6-flash, qwen3.5-plus, qwen3.5-flash, qwen-plus, qwen-flash
  • Model pemahaman gambar dan video: qwen4-max, qwen3.8-max, qwen3.8-flash, qwen3.7-plus, qwen3.6-plus, qwen3.7-flash, qwen3.6-flash, qwen3.5-plus, qwen3.5-flash, qwen3.5-omni-plus, qwen3.5-omni-flash, qwen3-vl-plus
  • Dalam skenario Batch, qwen3.8-max, qwen3.8-flash, qwen3.7-max, qwen3.7-plus, qwen3.6-plus, qwen3.7-flash, qwen3.6-flash, qwen3.5-plus, qwen3.5-flash, qwen3.5-omni-flash, dan qwen3.5-omni-plus mendukung maksimum 256K token konteks per permintaan; qwen3.5-omni-plus dan qwen3.5-omni-flash tidak mendukung output audio.
  • Beberapa model mendukung mode thinking; saat diaktifkan, mode ini menghasilkan tokens thinking, yang meningkatkan biaya.
  • Model seri qwen3.8, qwen3.7, qwen3.6, dan qwen3.5 memiliki mode thinking aktif secara default. Saat menggunakan model hybrid-thinking, kami menyarankan Anda menetapkan parameter enable_thinking secara eksplisit (true untuk mengaktifkan / false untuk menonaktifkan).
  • Dalam badan permintaan JSONL, enable_thinking adalah parameter tingkat atas dari body dan harus diteruskan pada level yang sama dengan model; parameter ini tidak dapat ditempatkan di dalam extra_body.

Cara menggunakan

Prasyarat

pip3 install -U openai

Langkah 1: Konfigurasikan titik akhir API

Cukup ubah titik akhir API (base_url) untuk dengan mudah mengalihkan permintaan inferensi real-time Anda yang sudah ada ke inferensi batch. Konfigurasikan titik akhir API yang benar sesuai metode pemanggilan Anda. Konfigurasi SDK: Atur base_url ke https://batch.dashscope.aliyuncs.com/compatible-mode/v1 Pemanggilan HTTP: Titik akhir permintaan adalah POST https://batch.dashscope.aliyuncs.com/compatible-mode/v1/chat/completions

Langkah 2: Lakukan pemanggilan

Bagian ini menggunakan contoh percakapan teks untuk menunjukkan cara memanggil API Batch Chat. Waktu tunggu default untuk sebuah permintaan adalah 3600 detik (1 jam); dalam kebanyakan kasus, tidak diperlukan konfigurasi tambahan.
Contoh berikut menunjukkan cara menetapkan timeout kustom (60-3600 detik) secara proaktif, untuk referensi.
  • Python
  • Java
  • Node.js
  • Go
  • C#(HTTP)
  • PHP(HTTP)
  • curl
Contoh permintaan
import os
from openai import OpenAI

client = OpenAI(
   # 若没有配置环境变量,可用阿里云百炼API Key将下行替换为:api_key="sk-xxx",但不建议在生产环境中直接将API Key硬编码到代码中,以减少API Key泄露风险.
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    base_url="https://batch.dashscope.aliyuncs.com/compatible-mode/v1",  # 阿里云百炼Batch chat API 的 URL
).with_options(timeout=1800.0) # 设置1800秒(30分钟)的等待时间,最长3600秒

completion = client.chat.completions.create(
    model="qwen-plus",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "你是谁?"},
    ]
)
print(completion.choices[0].message.content)
Contoh respons
我是千问,阿里巴巴集团旗下的超大规模语言模型。我能够回答问题、创作文字,比如写故事、写公文、写邮件、写剧本、逻辑推理、编程等等,还能表达观点,玩游戏等。如果你有任何问题或需要帮助,欢迎随时告诉我!

Batasan

  • Waktu tunggu: Setelah permintaan dikirim, hasil ditunggu secara sinkron, dan server mempertahankan koneksi tetap terbuka selama maksimum 3600 detik (1 jam). Anda dapat menetapkan timeout kustom sesuai kebutuhan aktual Anda, dengan rentang valid 60-3600 detik.
  • Batas konkurensi: Satu akun dapat mempertahankan hingga 10.000 permintaan tertunda per model. Permintaan baru yang melebihi batas ini ditolak dengan kode kesalahan yang sesuai hingga permintaan tertunda selesai dan mengosongkan slot yang tersedia.
  • Laju permintaan: Satu akun dapat mengirimkan permintaan dengan laju maksimum 1000 QPS (10.000 permintaan / 10 detik).
    Batas ini adalah nilai teoretis maksimum yang ditetapkan oleh sistem. Dalam penggunaan aktual, sumber daya API yang tersedia dipengaruhi secara dinamis oleh beban sistem keseluruhan. Kami menyarankan Anda menerapkan logika retry dalam kode Anda.

Detail penagihan

  • Harga satuan penagihan: Anda ditagih untuk token input dan output dari permintaan yang berhasil, dengan tarif yang sama seperti pemanggilan model real-time. Selama waktu terbatas, situs resmi menawarkan diskon 50% untuk pemanggilan Batch Chat, dengan biaya akhir sebesar 50% dari harga pemanggilan real-time. Untuk informasi lebih lanjut, lihat Model.
  • Cakupan penagihan: Hanya permintaan yang berhasil dieksekusi dalam sebuah tugas yang ditagih. Permintaan yang gagal (termasuk kesalahan sistem atau timeout) tidak ditagih.
Inferensi batch merupakan item penagihan terpisah dan tidak mendukung pembayaran di muka (rencana penghematan), kuota gratis pengguna baru, maupun fitur seperti cache konteks.

Kode kesalahan

Jika pemanggilan model gagal dan mengembalikan pesan kesalahan, lihat Kode kesalahan untuk pemecahan masalah.

FAQ

  1. Apakah ada perbedaan waktu pemrosesan antara permintaan Batch Chat dan API real-time? Ya. Permintaan Batch Chat harus mengantri untuk penjadwalan, sehingga waktu pemrosesan end-to-end biasanya lebih lama daripada API real-time. Waktu tunggu maksimum di sisi server adalah 1 jam. Jika permintaan tidak dieksekusi dalam waktu ini, koneksi ditutup secara otomatis dan kesalahan dikembalikan.
  2. Bagaimana cara memilih antara Batch Chat dan Batch File? Pilih Batch Chat jika logika bisnis Anda memerlukan pengiriman sejumlah besar permintaan percakapan independen dengan konkurensi tinggi melalui panggilan API sinkron. Pilih Batch File jika Anda perlu memproses satu file besar yang berisi banyak permintaan dan dapat menerima pengambilan file hasil secara asinkron.
  3. Apakah Batch Chat menjamin semua permintaan selesai? Tidak. Batch Chat menggunakan sumber daya Batch, dan penyelesaiannya bergantung pada alokasi sumber daya sistem. Jika sumber daya sistem sibuk, permintaan dapat menunggu dalam antrean. Jika permintaan masih belum dijadwalkan untuk dieksekusi setelah waktu tunggu maksimum, koneksi timeout dan ditutup. Dalam kasus ini, permintaan tidak ditagih, dan Anda dapat mencoba lagi nanti.

Dokumentasi terkait