Untuk skenario inferensi yang tidak memerlukan respons real-time, inferensi batch memproses volume besar permintaan data secara asinkron dengan biaya hanya 50% dari biaya inferensi real-time, dengan API yang kompatibel dengan OpenAI. Cocok untuk pekerjaan batch seperti evaluasi model dan pelabelan data.
Cara kerja
- Kirimkan tugas: Unggah file JSONL yang berisi beberapa permintaan untuk membuat tugas inferensi batch.
- Pemrosesan asinkron: Sistem memproses tugas dalam antrian latar belakang. Anda dapat memantau progres dan status tugas melalui Konsol atau API.
- Unduh hasil: Setelah tugas selesai, sistem menghasilkan file hasil (mencatat respons yang berhasil) dan file error (mencatat detail kegagalan, jika ada).
Cakupan yang berlaku
- Singapura
- Tiongkok (Beijing)
-
Model generasi teks
- Qwen Max: qwen3.8-max, qwen-max
- Qwen Plus: qwen3.7-plus, qwen-plus
- Qwen Flash: qwen-flash
-
Model multi-modal
- Pemahaman gambar dan video: qwen3.8-max, qwen3.7-plus
Gunakan inferensi batch
Langkah 1: Siapkan file input
Sebelum membuat tugas, siapkan file JSONL yang memenuhi spesifikasi berikut:
- Format: JSONL berkode UTF-8 (satu objek JSON independen per baris).
-
Batas ukuran: Maksimal 50.000 permintaan dan 500 MB per file.
Jika volume data Anda melebihi batas ini, bagi menjadi beberapa tugas dan kirimkan secara terpisah.
- Batas per baris: Setiap objek JSON harus ≤ 1 MB dan tidak boleh melebihi panjang konteks model.
- Persyaratan konsistensi: Semua permintaan dalam file yang sama harus menggunakan model yang sama.
-
Pengenal unik: Setiap permintaan harus menyertakan bidang custom_id yang unik dalam file, yang digunakan untuk mencocokkan hasil.
custom_idmendukung maksimal 256 karakter; melebihi batas ini menyebabkan validasi tugas gagal. Untuk meneruskan informasi pengenal yang lebih panjang, gunakan bidang kustom darimetadatasaat membuat tugas. Untuk informasi selengkapnya, lihat Menggunakan metadata untuk mengembalikan pengenal kustom. -
Alamat file media: File media yang dirujuk melalui bidang seperti
image_urldanvideo_urldalambodypermintaan multimodal harus menggunakan URL yang dapat diakses publik. Jalur file lokal (sepertifile:///home/user/test.mp4) dan alamat intranet tidak didukung. Tugas yang dibuat dengan alamat semacam itu dapat dikirimkan dengan sukses tetapi tidak akan pernah diproses hingga selesai. Unggah file ke penyimpanan yang dapat diakses publik terlebih dahulu, lalu rujuk URL-nya.
Bidang | Tipe | Wajib diisi | Deskripsi |
|---|---|---|---|
| string | Ya | Pengenal unik permintaan |
| string | Ya | Metode HTTP; hanya |
| string | Ya | Titik akhir permintaan. Masukkan |
| object | Ya | Badan permintaan, yang formatnya sama dengan API yang sesuai dengan |
Contoh file
Anda dapat mengunduh file contoh test_model.jsonl, yang berisi:
Penggunaan
- Simpan kode berikut sebagai
generate_batch_jsonl.py - Ubah konten permintaan dalam daftar
TASKSdalam skrip - Jalankan
python generate_batch_jsonl.py - File
batch_input.jsonlyang dihasilkan dapat langsung digunakan untuk tugas inferensi Batch
Skrip pembuatan JSONL model generasi teks
Format permintaan model multimodal
Bidangcontent model multimodal berformat array, berisi objek media dan pertanyaan teks. URL media di setiap baris permintaan harus bertipe sama (gambar, video, atau audio). Ganti TASKS dalam skrip di atas dengan format berikut:
Format permintaan model text embedding
Model text embedding menggunakan API/v1/embeddings, dan format permintaannya berbeda dari model generasi teks. Anda dapat menggunakan skrip mandiri berikut untuk membuatnya:
Konfigurasikan mode thinking dalam inferensi batch
Beberapa model (seperti qwen3.7-plus, qwen3.7-max, dan seri qwen3.6 serta qwen3.5) memiliki mode thinking yang diaktifkan secara default, yang menghasilkan token thinking tambahan. Untuk mengonfigurasi mode thinking dalam inferensi batch, atur parameter enable_thinking dalam body setiap baris permintaan pada file JSONL, ditempatkan pada level yang sama dengan model. Parameter opsional thinking_budget digunakan untuk membatasi jumlah maksimum token thinking.
Contoh: Nonaktifkan mode thinking
Langkah 2: Buat tugas inferensi batch
- Di halaman **Inferensi batch**, klik Create Batch.
-
Dalam kotak dialog yang muncul: masukkan Task Name dan Task Description, atur Maximum Waiting Time (1–14 hari), dan unggah file JSONL.
Anda dapat mengklik Download Sample File untuk mendapatkan templat.
- Setelah melengkapi formulir, klik Confirm.
Langkah 3: Pantau dan kelola tugas
-
Lihat:
- Di halaman Tasks, lihat progres (jumlah permintaan yang diproses/jumlah total permintaan) dan status suatu tugas.
- Cari berdasarkan nama atau ID tugas, atau filter berdasarkan ruang kerja untuk menemukan tugas target dengan cepat.
-
Kelola:
- Batalkan: tugas dalam status "Running" dapat dibatalkan di kolom Actions.
Langkah 4: Unduh hasil
Setelah tugas selesai, klik View Results untuk mengunduh file output:
- File hasil: mencatat semua permintaan yang berhasil beserta hasil
response-nya. - File error (jika ada): mencatat semua permintaan yang gagal beserta detail
error-nya.
custom_id, yang digunakan untuk mencocokkan data input asli, mengaitkan hasil, atau menemukan error.
Langkah 5: Lihat statistik penggunaan (Opsional)
Di halaman Monitoring, filter dan lihat statistik penggunaan inferensi batch.
-
Lihat ikhtisar data: pilih waktu (hingga 30 hari), atur Inference Type ke Batch Inference, dan Anda dapat melihat:
- Data Pemantauan: Statistik ringkasan semua model dalam periode waktu tersebut, seperti jumlah total panggilan dan jumlah total kegagalan.
- Model: Data detail setiap model, seperti total panggilan, tingkat kegagalan, dan durasi panggilan rata-rata.
Untuk melihat data inferensi lebih dari 30 hari ke belakang, buka halaman Bill.
-
Lihat detail model: Di daftar Models, klik Monitoring di kolom Actions pada model target untuk melihat detail Call Statistics (seperti jumlah panggilan dan volume panggilan).

Gunakan metadata untuk mengembalikan pengenal kustom
custom_id mendukung hingga 256 karakter. Untuk mengembalikan informasi pengenal yang lebih panjang dalam file hasil, Anda dapat menggunakan bidang kustom dari metadata.
Bidang metadata
metadata adalah parameter opsional saat membuat tugas Batch dan mendukung bidang berikut:
ds_name: Nama tugas. Setelah diatur, ditampilkan di kolom Task Name di Konsol.ds_description: Deskripsi tugas. Setelah diatur, ditampilkan di kolom Task Description di Konsol.- Bidang kustom: Selain bidang resmi di atas,
metadatajuga mendukung bidang kustom apa pun, dan nilai bidang kustom tidak dibatasi 256 karakter. Saat Anda mengkueri detail tugas, semua bidang kustom dikembalikan secara lengkap.
Contoh kode
Contoh berikut menunjukkan cara mengembalikan informasi pengenal yang lebih panjang dari 256 karakter melalui bidang kustom dari metadata:
GET /v1/batches/{batch_id}) untuk mendapatkan informasi metadata lengkap, termasuk semua bidang kustom beserta konten lengkapnya.
Referensi API
Di lingkungan produksi, gunakan API yang kompatibel dengan OpenAI untuk membuat dan mengelola tugas Batch secara otomatis. Alur kerja intinya adalah sebagai berikut:
Contoh:
-
Unggah file
Panggil
POST /v1/filesuntuk mengunggah file dan catat ID file yang dikembalikan. -
Buat tugas Masukkan ID file dan panggil
POST /v1/batchesuntuk membuat tugas, lalu catatbatch_idyang dikembalikan. -
Periksa status Gunakan
batch_iduntuk melakukan pollingGET /v1/batches/{batch_id}. Saatstatusberubah menjadicompleted, catatoutput_file_iddan hentikan polling. -
Unduh hasil Gunakan
output_file_iduntuk memanggilGET /v1/files/{output_file_id}/contentdan mengunduh file hasil.
Siklus hidup tugas
Status | Deskripsi |
|---|---|
validating (Verifying) | Sistem sedang memvalidasi format file (spesifikasi JSONL) dan validitas format API setiap baris permintaan. |
in_progress (Running) | File telah lolos validasi, dan sistem telah mulai memproses permintaan inferensi baris demi baris. |
finalizing (Running) | Semua permintaan telah diproses, dan hasil sedang ditulis ke file hasil dan file error. Di daftar tugas Konsol, tahap ini berbagi label status Running dengan in_progress dan tidak memiliki teks tampilan terpisah. |
completed (Completed) | File hasil dan file error telah ditulis dan siap untuk diunduh. |
failed | Tugas gagal selama tahap validating, biasanya karena error tingkat file (seperti format JSONL tidak valid atau ukuran file terlalu besar). Dalam status ini, tidak ada permintaan inferensi yang dieksekusi dan tidak ada file hasil yang dihasilkan. |
expired | Waktu berjalan tugas melebihi waktu tunggu maksimum yang ditetapkan saat pembuatan dan dihentikan oleh sistem. Saat membuat tugas baru, sebaiknya atur waktu tunggu yang lebih lama. |
cancelled | Pengguna membatalkan tugas, dan permintaan yang belum mulai diproses akan dihentikan. |
Detail penagihan
- Harga satuan penagihan: Untuk semua permintaan yang berhasil, harga satuan token input dan output adalah 50% dari harga inferensi real-time model yang bersangkutan. Untuk informasi selengkapnya, lihat Model.
-
Cakupan penagihan:
- Hanya permintaan yang berhasil dieksekusi dalam tugas yang ditagih.
- Kegagalan parsing file, kegagalan eksekusi tugas, atau permintaan yang salah pada tingkat baris tidak dikenai biaya.
- Untuk tugas yang dibatalkan, permintaan yang berhasil diselesaikan sebelum pembatalan tetap ditagih secara normal.
- Inferensi batch adalah item penagihan mandiri. Item ini mendukung AI Universal Savings Plan, tetapi tidak mendukung diskon seperti prabayar (savings plan) dan kuota gratis pengguna baru, atau fitur seperti context cache.
- Beberapa model (seperti qwen3.7-plus, qwen3.7-max, dan seri qwen3.6 serta qwen3.5) memiliki mode thinking yang diaktifkan secara default, yang menghasilkan token thinking tambahan yang ditagih dengan harga token output, sehingga meningkatkan biaya. Sebaiknya atur parameter enable_thinking berdasarkan kompleksitas tugas untuk mengontrol biaya. Untuk informasi selengkapnya, lihat deep thinking.
FAQ
- Apakah saya perlu melakukan pembelian atau aktivasi tambahan untuk menggunakan inferensi batch? Tidak. Anda dapat menggunakannya setelah Alibaba Cloud Model Studio diaktifkan, dan biaya dipotong dari saldo akun Anda berdasarkan model pay-as-you-go.
-
Mengapa tugas gagal segera setelah dikirimkan (status berubah menjadi failed)?
Hal ini biasanya disebabkan oleh error tingkat file, dan tugas tidak mengeksekusi permintaan inferensi apa pun. Pecahkan masalah dengan urutan berikut:
- Format file: Apakah format JSONL ketat, dengan satu objek JSON lengkap per baris?
- Ukuran file: Apakah ukuran file, jumlah baris, dll. melebihi batas? Untuk informasi selengkapnya, lihat Siapkan file input.
- Konsistensi model: Periksa bahwa bidang
body.modeldari semua permintaan dalam file benar-benar sama, dan model yang digunakan didukung di wilayah saat ini.
- Berapa lama waktu pemrosesan tugas? Waktu pemrosesan terutama bergantung pada beban sistem saat itu. Saat sistem sibuk, tugas mungkin harus mengantri, tetapi hasil, baik sukses maupun gagal, akan dikembalikan dalam waktu tunggu maksimum yang ditetapkan.