Skip to main content

Inferensi batch

Referensi perintah CLI Model Studio untuk membuat, melacak, dan mengunduh tugas inferensi batch asinkron.

bl batch mengonversi CSV menjadi Batch JSONL, membuat tugas batch Chat atau Embedding secara asinkron, melacak progres, membatalkan tugas, dan mengunduh file hasil serta file kesalahan. Tugas batch berbasis file yang asinkron terpisah dari permintaan tunggal sinkron bl text chat --batch.
batch convert berjalan secara lokal dan tidak memerlukan autentikasi. Membuat, menanyakan, membatalkan, dan mengunduh tugas memerlukan API Key model. Ketersediaan dan batas Batch bergantung pada model dan layanan.
Tambahkan --help ke setiap perintah untuk detail parameter lengkap, misalnya bl batch create --help. Detail perintah di halaman ini diverifikasi dengan bl 2.8.0.

Mulai cepat

bl batch convert --file input.csv --model qwen-plus --output-file input.jsonl
bl batch create --file input.jsonl
bl batch get --batch-id <batch-id> --follow
bl batch download --batch-id <batch-id> --csv

Manajemen tugas

bl batch convert

Membuat Batch JSONL dari CSV UTF-8 secara lokal. Tidak memerlukan autentikasi. Penggunaan
bl batch convert --file <csv> --model <model> --output-file <jsonl> [flags]
ParameterTipeWajibDeskripsi
--file <csv>stringYaCSV UTF-8 dengan header
--output-file <jsonl>stringYaJalur output JSONL lokal
--model <model>stringYaModel untuk setiap rekaman
--id-column <name>stringTidakKolom ID (default: custom_id)
--input-column <name>stringTidakKolom input (default: content)
--system <text>stringTidakPrompt sistem bersama (hanya Chat)
--body-file <json>stringTidakParameter body bersama, kecuali model, messages, atau input
--endpoint </v1/chat/completions|/v1/embeddings|/v1/chat/ds-test>stringTidakEndpoint Batch, disimpulkan dari JSONL lokal
--forceswitchTidakGanti file output yang ada (atomik per file)
Contoh: Konversi CSV ke Chat JSONL
bl batch convert --file input.csv --model qwen-plus --output-file input.jsonl
Contoh: Konversi CSV ke Embedding JSONL
bl batch convert --file input.csv --model text-embedding-v4 --endpoint /v1/embeddings --output-file vectors.jsonl
  • Hanya pemetaan kolom teks dan Embedding yang didukung. Tulis JSONL langsung untuk input multimodal atau multi-turn.
  • ID tetap berupa string. Impor ID CSV sebagai teks di perangkat lunak spreadsheet untuk mempertahankan nol di depan.
  • Dry-run tidak membuat permintaan bisnis dan tidak menulis file bisnis.

bl batch create

Unggah atau referensikan input dan buat tugas Batch asinkron. Memerlukan autentikasi API Key. Penggunaan
bl batch create (--file <jsonl> | --input-file-id <source> --endpoint <path>) [flags]
ParameterTipeWajibDeskripsi
--file <jsonl>stringTidakBatch JSONL lokal (eksklusif dengan --input-file-id)
--input-file-id <source>stringTidakID file, URL HTTPS OSS, atau oss:region:bucket/path
--completion-window <24h|7d>stringTidakJendela penyelesaian: 24–336 jam (default: 24h)
--name <text>stringTidakNama tugas (maksimal 100 karakter)
--description <text>stringTidakDeskripsi tugas (maksimal 200 karakter)
--callback-url <url>stringTidakCallback penyelesaian; saat ini didokumentasikan hanya untuk region China (Beijing)
--metadata <KEY=VALUE>arrayTidakMetadata tugas khusus (dapat diulang)
--endpoint </v1/chat/completions|/v1/embeddings|/v1/chat/ds-test>stringTidakEndpoint Batch, disimpulkan dari JSONL lokal
Contoh: Pratinjau pembuatan tugas
bl batch create --file input.jsonl --name eval-1 --dry-run
Contoh: Buat tugas dari ID file
bl batch create --input-file-id file-batch-xxx --endpoint /v1/chat/completions
Contoh: Referensikan jalur OSS dengan jendela penyelesaian 7 hari
bl batch create --input-file-id oss:ap-southeast-1:my-bucket/input.jsonl --endpoint /v1/chat/completions --completion-window 7d
Contoh Chat JSONL:
{"custom_id":"req-001","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-plus","messages":[{"role":"user","content":"Introduce yourself"}]}}
Contoh Embedding JSONL:
{"custom_id":"req-001","method":"POST","url":"/v1/embeddings","body":{"model":"text-embedding-v4","input":"Introduce yourself","encoding_format":"float"}}
  • Batas input lokal: 50.000 permintaan, 500 MiB, dan 6 MiB per baris. Baris di atas 1 MiB menghasilkan peringatan.
  • batch-test-model dibatasi hingga 100 permintaan dan 1 MiB.
  • Referensi jarak jauh memerlukan otorisasi dan URL yang valid; CLI tidak mengunduhnya untuk validasi.
  • Pembuatan yang berhasil mengembalikan ID tugas tanpa menunggu penyelesaian. Tidak ada pengulangan POST atau pembersihan file yang diunggah saat gagal.

bl batch get

Dapatkan detail tugas Batch, secara opsional ikuti progresnya. Memerlukan autentikasi API Key. Penggunaan
bl batch get --batch-id <id> [--follow] [--interval <seconds>] [--poll-timeout <seconds>]
ParameterTipeWajibDeskripsi
--batch-id <id>stringYaID tugas Batch
--followswitchTidakPolling hingga status terminal (Ctrl-C hanya menghentikan polling lokal)
--interval <seconds>numberTidakInterval kueri, minimal 60 detik (default: 65 detik; hanya --follow)
--poll-timeout <seconds>numberTidakTotal anggaran polling (default: tanpa batas; hanya --follow)
Contoh: Ikuti tugas hingga selesai
bl batch get --batch-id batch_xxx --follow
  • Satu get keluar dengan kode 0 setelah kueri berhasil, terlepas dari status tugas.
  • Dengan --follow, kode keluar 0 berarti selesai (mungkin berisi baris gagal), 1 berarti gagal, kedaluwarsa, atau dibatalkan, 5 berarti timeout klien, dan 130 berarti Ctrl-C.
  • finalizing dan cancelling bukan status terminal.
  • Progres ditulis ke stderr; hasil akhir ditulis ke stdout.
  • Hanya kesalahan transportasi, timeout, atau HTTP 429/5xx yang dicoba ulang, hingga tiga kali.
  • Retensi server terbatas; unduh hasil segera.

bl batch list

Menampilkan satu halaman tugas Batch. Memerlukan autentikasi API Key. Penggunaan
bl batch list [filters] [--after <id>] [--limit <n>]
ParameterTipeWajibDeskripsi
--limit <n>numberTidakUkuran halaman: 1–100 (default: 20)
--after <id>stringTidaklast_id halaman sebelumnya
--name <text>stringTidakFilter nama tugas
--input-file-id <id>arrayTidakFilter file input (dapat diulang, maksimal 20)
--status <status>arrayTidakFilter status tugas (dapat diulang): validating, in_progress, finalizing, completed, failed, expired, cancelling, cancelled
--created-after <yyyyMMddHHmmss>stringTidakDibuat setelah stempel waktu API ini
--created-before <yyyyMMddHHmmss>stringTidakDibuat sebelum stempel waktu API ini
Contoh: Tampilkan tugas yang selesai dan gagal
bl batch list --status completed --status failed --limit 20
  • Mengembalikan data, last_id, dan has_more. Teruskan last_id ke --after untuk halaman berikutnya.
  • Stempel waktu API tidak dikonversi zona waktunya.

bl batch cancel

Minta pembatalan tugas Batch. Memerlukan autentikasi API Key. Penggunaan
bl batch cancel --batch-id <id>
ParameterTipeWajibDeskripsi
--batch-id <id>stringYaID tugas Batch
Contoh: Minta pembatalan tugas
bl batch cancel --batch-id batch_xxx
  • Pembatalan yang diterima dapat mengembalikan cancelling, bukan cancelled. Gunakan batch get --follow untuk memastikan.
  • Permintaan yang sudah dieksekusi tetap dikenai biaya; file tidak dihapus.

bl batch download

Unduh hasil asli atau file kesalahan, secara opsional ekspor CSV. Memerlukan autentikasi API Key. Penggunaan
bl batch download --batch-id <id> [--out-dir <path>] [--csv] [--force]
ParameterTipeWajibDeskripsi
--batch-id <id>stringYaID tugas Batch
--out-dir <path>stringTidakDirektori output (default: ./batch-results/<batch-id>/)
--csvswitchTidakJuga hasilkan result.csv (proyeksi tampilan lossy)
--forceswitchTidakGanti file output yang ada (atomik per file)
Contoh: Unduh hasil dan ekspor CSV
bl batch download --batch-id batch_xxx --out-dir ./out --csv
  • JSONL adalah hasil otoritatif. CSV hanya membaca choices[0].message.content, data Embedding, response.request_id, status_code, penggunaan, dan error.code / error.message.
  • CSV menghilangkan pemanggilan alat dan pilihan tambahan, serta memperlakukan teks seperti rumus sebagai teks. Impor ID sebagai teks untuk mempertahankan nol di depan.
  • Urutan input asli tidak dijamin.
  • File dipublikasikan secara atomik per file, bukan per direktori. Jika pembuatan CSV gagal, JSONL yang diunduh tetap dipertahankan; jalankan ulang dengan --force untuk memulihkan.

Perintah terkait

Untuk permintaan tunggal sinkron, gunakan bl text chat --batch. Perintah ini tidak membuat tugas asinkron. Lihat Chat teks dan Omni.