Skip to main content

Batch kompatibel OpenAI (input file)

Alibaba Cloud Model Studio menyediakan Batch File API yang kompatibel dengan OpenAI yang mendukung pengiriman permintaan secara massal melalui file. Sistem memproses semua permintaan secara asinkron dan mengembalikan hasil setelah semua permintaan selesai atau waktu tunggu maksimum tercapai. Biayanya hanya 50% dari panggilan real-time. Ini cocok untuk skenario seperti analisis data dan evaluasi model yang tidak sensitif terhadap waktu tetapi memerlukan pemrosesan skala besar.

Untuk menggunakan konsol, lihat Inferensi batch.

Alur kerja

image

Prasyarat

Anda dapat memanggil Batch File API melalui OpenAI SDK (Python, Node.js) atau HTTP API.

Cakupan

  • Singapura
  • Tiongkok (Beijing)
Model yang didukung:
  • Model generasi teks
    • Qwen Max: qwen3.8-max, qwen-max
    • Qwen Plus: qwen3.7-plus, qwen-plus
    • Qwen Flash: qwen-flash
  • Model multimodal
  • Dalam skenario Batch, qwen3.8-max, qwen3.8-flash, qwen3.7-max, qwen3.7-plus, qwen3.6-plus, qwen3.7-flash, qwen3.6-flash, qwen3.5-plus, qwen3.5-flash, qwen3.5-omni-flash, dan qwen3.5-omni-plus mendukung maksimum 256K token konteks per permintaan; qwen3.5-omni-plus dan qwen3.5-omni-flash tidak mendukung output suara.
  • Beberapa model mendukung mode thinking. Saat diaktifkan, token thinking dihasilkan, yang meningkatkan biaya.
  • Model seri qwen3.8, qwen3.7, qwen3.6, dan qwen3.5 memiliki mode thinking yang diaktifkan secara default. Saat menggunakan model hybrid thinking, kami merekomendasikan mengatur parameter enable_thinking secara eksplisit (true untuk mengaktifkan / false untuk menonaktifkan).
  • Dalam badan permintaan JSONL, enable_thinking adalah parameter tingkat atas dari body dan harus diteruskan pada level yang sama dengan model; tidak dapat ditempatkan di dalam extra_body.

Mulai

Sebelum memproses tugas produksi, gunakan model uji batch-test-model untuk pengujian end-to-end. Model ini melewati proses inferensi dan langsung mengembalikan respons sukses tetap, yang digunakan untuk memverifikasi bahwa rantai panggilan API dan format data sudah benar.
Batasan model uji (batch-test-model):
  • File uji Anda harus memenuhi Persyaratan file input. Ukuran maksimum: 1 MB. Jumlah baris maksimum: 100.
  • Batas konkurensi: Maksimal 2 tugas paralel.
  • Biaya: Model uji tidak dikenakan biaya inferensi model.

Langkah 1: Siapkan file input

Siapkan file bernama test_model.jsonl dengan konten berikut:
{"custom_id":"1","method":"POST","url":"/v1/chat/ds-test","body":{"model":"batch-test-model","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"你好!有什么可以帮助你的吗?"}]}}
{"custom_id":"2","method":"POST","url":"/v1/chat/ds-test","body":{"model":"batch-test-model","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"What is 2+2?"}]}}
Input melalui encoding Base64:

Langkah 2: Jalankan kode

Berdasarkan bahasa pemrograman yang Anda gunakan, pilih salah satu contoh kode berikut, simpan ke direktori yang sama dengan file input, lalu jalankan. Kode tersebut mencakup alur kerja lengkap: mengunggah file, membuat tugas, memeriksa status, dan mengunduh hasil.
Untuk menyesuaikan jalur file atau parameter lainnya, modifikasi kode sesuai kebutuhan.
Gunakan kembali ID file yang ada: ID yang dikembalikan setelah mengunggah file (misalnya, file-batch-xxx) dapat digunakan kembali. Jika konten input tetap sama, lewati pengunggahan ulang dan langsung buat tugas dengan ID yang ada:
batch = client.batches.create(
    input_file_id="file-batch-xxx",  # 直接使用已有文件 ID,无需重新上传
    endpoint="/v1/chat/completions",
    completion_window="24h"
)
Anda dapat mengambil ID file historis melalui API client.files.list(purpose="batch") untuk menanyakan ID file Batch yang telah diunggah.
OpenAI Python SDK
import os
from pathlib import Path
from openai import OpenAI
import time

# 初始化客户端
client = OpenAI(
    # 若没有配置环境变量,可用阿里云百炼API Key将下行替换为:api_key="sk-xxx",但不建议在生产环境中直接将API Key硬编码到代码中,以减少API Key泄露风险。
    # 新加坡和北京地域的API Key不同。
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # 以下是新加坡地域的base_url,如果使用北京地域的模型,需要将base_url替换为:https://dashscope.aliyuncs.com/compatible-mode/v1
    base_url="https://dashscope-intl.aliyuncs.com/compatible-mode/v1"  # 阿里云百炼服务的base_url
)

def upload_file(file_path):
    print(f"正在上传包含请求信息的JSONL文件...")
    file_object = client.files.create(file=Path(file_path), purpose="batch")
    print(f"文件上传成功。得到文件ID: {file_object.id}\n")
    return file_object.id

def create_batch_job(input_file_id):
    print(f"正在基于文件ID,创建Batch任务...")
    # 请注意:此处endpoint参数值需和输入文件中的url字段保持一致.测试模型(batch-test-model)填写/v1/chat/ds-test,Embedding文本向量模型填写/v1/embeddings,其他模型填写/v1/chat/completions
    batch = client.batches.create(input_file_id=input_file_id, endpoint="/v1/chat/ds-test", completion_window="24h")
    print(f"Batch任务创建完成。 得到Batch任务ID: {batch.id}\n")
    return batch.id

def check_job_status(batch_id):
    print(f"正在检查Batch任务状态...")
    batch = client.batches.retrieve(batch_id=batch_id)
    print(f"Batch任务状态: {batch.status}\n")
    return batch.status

def get_output_id(batch_id):
    print(f"正在获取Batch任务中执行成功请求的输出文件ID...")
    batch = client.batches.retrieve(batch_id=batch_id)
    print(f"输出文件ID: {batch.output_file_id}\n")
    return batch.output_file_id

def get_error_id(batch_id):
    print(f"正在获取Batch任务中执行错误请求的输出文件ID...")
    batch = client.batches.retrieve(batch_id=batch_id)
    print(f"错误文件ID: {batch.error_file_id}\n")
    return batch.error_file_id

def download_results(output_file_id, output_file_path):
    print(f"正在打印并下载Batch任务的请求成功结果...")
    content = client.files.content(output_file_id)
    # 打印部分内容以供测试
    print(f"打印请求成功结果的前1000个字符内容: {content.text[:1000]}...\n")
    # 保存结果文件至本地
    content.write_to_file(output_file_path)
    print(f"完整的输出结果已保存至本地输出文件result.jsonl\n")

def download_errors(error_file_id, error_file_path):
    print(f"正在打印并下载Batch任务的请求失败信息...")
    content = client.files.content(error_file_id)
    # 打印部分内容以供测试
    print(f"打印请求失败信息的前1000个字符内容: {content.text[:1000]}...\n")
    # 保存错误信息文件至本地
    content.write_to_file(error_file_path)
    print(f"完整的请求失败信息已保存至本地错误文件error.jsonl\n")

def main():
    # 文件路径
    input_file_path = "test_model.jsonl"  # 可替换为您的输入文件路径
    output_file_path = "result.jsonl"  # 可替换为您的输出文件路径
    error_file_path = "error.jsonl"  # 可替换为您的错误文件路径
    try:
        # Step 1: 上传包含请求信息的JSONL文件,得到输入文件ID
        input_file_id = upload_file(input_file_path)
        # Step 2: 基于输入文件ID,创建Batch任务
        batch_id = create_batch_job(input_file_id)
        # Step 3: 检查Batch任务状态直到结束
        status = ""
        while status not in ["completed", "failed", "expired", "cancelled"]:
            status = check_job_status(batch_id)
            print(f"等待任务完成...")
            time.sleep(10)  # 等待10秒后再次查询状态
        # 如果任务失败,则打印错误信息并退出
        if status == "failed":
            batch = client.batches.retrieve(batch_id)
            print(f"Batch任务失败。错误信息为:{batch.errors}\n")
            print(f"参见错误码文档: https://www.alibabacloud.com/help/model-studio/developer-reference/error-code")
            return
        # Step 4: 下载结果:如果输出文件ID不为空,则打印请求成功结果的前1000个字符内容,并下载完整的请求成功结果到本地输出文件;
        # 如果错误文件ID不为空,则打印请求失败信息的前1000个字符内容,并下载完整的请求失败信息到本地错误文件.
        output_file_id = get_output_id(batch_id)
        if output_file_id:
            download_results(output_file_id, output_file_path)
        error_file_id = get_error_id(batch_id)
        if error_file_id:
            download_errors(error_file_id, error_file_path)
            print(f"参见错误码文档: https://www.alibabacloud.com/help/model-studio/developer-reference/error-code")
    except Exception as e:
        print(f"An error occurred: {e}")
        print(f"参见错误码文档: https://www.alibabacloud.com/help/model-studio/developer-reference/error-code")

if __name__ == "__main__":
    main()

Langkah 3: Verifikasi hasil uji

Setelah tugas berhasil, file hasil result.jsonl berisi respons tetap {"content":"This is a test result."}:
{"id":"a2b1ae25-21f4-4d9a-8634-99a29926486c","custom_id":"1","response":{"status_code":200,"request_id":"a2b1ae25-21f4-4d9a-8634-99a29926486c","body":{"created":1743562621,"usage":{"completion_tokens":6,"prompt_tokens":20,"total_tokens":26},"model":"batch-test-model","id":"chatcmpl-bca7295b-67c3-4b1f-8239-d78323bb669f","choices":[{"finish_reason":"stop","index":0,"message":{"content":"This is a test result."}}],"object":"chat.completion"}},"error":null}
{"id":"39b74f09-a902-434f-b9ea-2aaaeebc59e0","custom_id":"2","response":{"status_code":200,"request_id":"39b74f09-a902-434f-b9ea-2aaaeebc59e0","body":{"created":1743562621,"usage":{"completion_tokens":6,"prompt_tokens":20,"total_tokens":26},"model":"batch-test-model","id":"chatcmpl-1e32a8ba-2b69-4dc4-be42-e2897eac9e84","choices":[{"finish_reason":"stop","index":0,"message":{"content":"This is a test result."}}],"object":"chat.completion"}},"error":null}

Jalankan tugas formal

Persyaratan file input

  • Format: JSONL berkode UTF-8 (satu objek JSON independen per baris).
  • Batas ukuran: Maksimum 50.000 permintaan per file, maksimum 500 MB.
  • Batas baris: Setiap objek JSON tidak boleh melebihi 6 MB dan harus sesuai dalam jendela konteks model.
  • Konsistensi: Semua permintaan dalam file yang sama harus menggunakan model yang sama dan mode thinking yang sama (jika berlaku).
  • Pengenal unik: Setiap permintaan harus menyertakan field custom_id unik dalam file tersebut. Field ini digunakan untuk mencocokkan permintaan dengan hasil.
Skenario 1: Obrolan teks Contoh konten file:
{"custom_id":"1","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-plus","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"Hello!"}]}}
{"custom_id":"2","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-plus","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"What is 2+2?"}]}}
Skenario 2: Pemahaman gambar dan video Metode input dengan encoding Base64.
String Base64 dalam contoh di atas dipotong. Hasilkan encoding lengkap menggunakan kode Python di bawah ini.
  1. Konversi file lokal ke encoding Base64:
#  编码函数: 将本地文件转换为 Base64 编码的字符串
import base64
def encode_image(image_path):
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode("utf-8")

# 将xxxx/eagle.png替换为你本地图像的绝对路径
base64_image = encode_image("xxx/eagle.png")
  1. Buat format Data URL: data:[MIME_type];base64,{base64_image};
    1. Ganti MIME_type dengan jenis media aktual. Harus sesuai dengan nilai MIME Type (misalnya, image/jpeg, image/png);
    2. base64_image adalah string Base64 yang dihasilkan pada langkah sebelumnya.
Untuk detail lengkap (termasuk batas file, jenis MIME, dan metode encoding), lihat Kirim file lokal (encoding Base64 atau jalur file).
Alat pembuatan file JSONL inferensi batch Inferensi batch memerlukan konstruksi file JSONL, dengan setiap baris merupakan permintaan independen. Skrip Python berikut dapat dijalankan langsung untuk menghasilkan file JSONL yang sesuai dengan format.

Cara penggunaan

  1. Simpan kode berikut sebagai generate_batch_jsonl.py
  2. Modifikasi konten permintaan dari daftar TASKS dalam skrip
  3. Jalankan python generate_batch_jsonl.py
  4. File batch_input.jsonl yang dihasilkan dapat langsung digunakan untuk tugas inferensi batch

Skrip pembuatan JSONL untuk model generasi teks

#!/usr/bin/env python3
"""
Batch 推理 JSONL 文件生成工具

支持的地域与模型请参见上方“适用范围”。

文件大小限制:单行 ≤6MB,总文件 ≤500MB,建议 ≤10000 行

使用方式:
  1. 修改下方 TASKS 列表
  2. 运行: python generate_batch_jsonl.py
  3. 输出: batch_input.jsonl
"""
import json

# ═══════════════════════════════════════════════════════
# 配置区:修改以下内容来生成您需要的 JSONL
# ═══════════════════════════════════════════════════════

MODEL = "qwen-max"          # 选择模型(参见上方“适用范围”)
ENABLE_THINKING = False     # 是否开启思考模式(仅部分模型支持)
THINKING_BUDGET = 50        # 思考 token 预算(思考模式下生效)

# 任务列表:每个 dict 代表一条用户消息
TASKS = [
    {"role": "user", "content": "你好!请介绍一下自己。"},
    {"role": "user", "content": "What is 2+2?"},
    {"role": "user", "content": "请用Python写一个快速排序算法"},
]

# ═══════════════════════════════════════════════════════
# 以下为生成逻辑,一般无需修改
# ═══════════════════════════════════════════════════════

def build_request(custom_id: str, model: str, messages: list,
                  enable_thinking: bool = False, thinking_budget: int = 50) -> dict:
    """构造单条 Batch 请求"""
    body = {"model": model, "messages": messages}
    if enable_thinking:
        body["enable_thinking"] = True
        body["thinking_budget"] = thinking_budget
        body["stream"] = True  # 思考模式需开启 stream
    return {
        "custom_id": custom_id,
        "method": "POST",
        "url": "/v1/chat/completions",
        "body": body
    }

def main():
    output_file = "batch_input.jsonl"
    with open(output_file, "w", encoding="utf-8") as f:
        for i, task in enumerate(TASKS, 1):
            messages = [
                {"role": "system", "content": "You are a helpful assistant."},
                task
            ]
            req = build_request(
                custom_id=f"request-{i}",
                model=MODEL,
                messages=messages,
                enable_thinking=ENABLE_THINKING,
                thinking_budget=THINKING_BUDGET
            )
            f.write(json.dumps(req, ensure_ascii=False) + "\n")
    print(f"已生成 {output_file},共 {len(TASKS)} 条请求")

if __name__ == "__main__":
    main()

Format permintaan model multimodal

Untuk model multimodal, field content menggunakan format array, berisi objek media dan prompt teks. URL media di setiap baris permintaan harus bertipe sama (gambar, video, atau audio). Ganti TASKS dalam skrip di atas dengan format berikut:
# 多模态模型配置示例

# 多模态任务:content 为数组格式
TASKS = [
    {"role": "user", "content": [
        {"type": "image_url", "image_url": {"url": "https://example.com/image1.jpg"}},
        {"type": "image_url", "image_url": {"url": "https://example.com/image2.jpg"}},
        {"type": "text", "text": "这些图描绘了什么内容?"}
    ]},
]

# {"type": "input_audio", "input_audio": {"data": "https://example.com/audio.wav", "format": "wav"}}
# {"type": "video_url", "video_url": "https://example.com/video.mp4"}

# 注意:
# - 其他多模态模型包含 system 角色,thinking_budget 设置为 50
# - 思考模式需额外设置 ENABLE_THINKING = True

Format permintaan model text embedding

Model text embedding menggunakan API /v1/embeddings, dan format permintaannya berbeda dari model generasi teks. Anda dapat menggunakan skrip mandiri berikut untuk menghasilkannya:
#!/usr/bin/env python3
"""文本向量模型 Batch JSONL 生成(使用 /v1/embeddings 接口)"""
import json

MODEL = "text-embedding-v3"  # 向量模型,可选型号参见上方“适用范围”

TEXTS = [
    "衣服的质量杠杠的,很漂亮,不枉我等了这么久啊,喜欢,以后还来这里买。",
    "风急天高猿啸哀",
    "The quick brown fox jumps over the lazy dog",
]

output_file = "batch_embedding.jsonl"
with open(output_file, "w", encoding="utf-8") as f:
    for i, text in enumerate(TEXTS, 1):
        req = {
            "custom_id": f"emb-{i}",
            "method": "POST",
            "url": "/v1/embeddings",
            "body": {"model": MODEL, "input": text, "encoding_format": "float"}
        }
        f.write(json.dumps(req, ensure_ascii=False) + "\n")
print(f"已生成 {output_file},共 {len(TEXTS)} 条请求")

1. Modifikasi file input

  • Dalam file test_model.jsonl, atur parameter model ke model target dan atur field url:

    Jenis model

    url

    Model generasi teks/model multimodal

    /v1/chat/completions

    Model text embedding

    /v1/embeddings

  • Atau gunakan "Alat pembuatan batch JSONL" di atas untuk membuat file baru untuk tugas formal. Pastikan field model dan url benar.

2. Ubah kode Getting Started

  1. Ubah jalur file input ke nama file Anda.
  2. Atur parameter endpoint agar sesuai dengan field url dalam file input Anda.

3. Jalankan kode dan tunggu hasil

Ketika tugas selesai, hasil permintaan yang berhasil disimpan ke file result.jsonl lokal. Jika ada permintaan yang gagal, detail error disimpan ke file error.jsonl.
  • Hasil yang berhasil (output_file_id): Setiap baris sesuai dengan satu permintaan yang berhasil dan mencakup custom_id dan response.
{"id":"3a5c39d5-3981-4e4c-97f2-e0e821893f03","custom_id":"req-001","response":{"status_code":200,"request_id":"3a5c39d5-3981-4e4c-97f2-e0e821893f03","body":{"created":1768306034,"usage":{"completion_tokens":654,"prompt_tokens":14,"total_tokens":668},"model":"qwen-plus","id":"chatcmpl-3a5c39d5-3981-4e4c-97f2-e0e821893f03","choices":[{"finish_reason":"stop","index":0,"message":{"role":"assistant","content":"你好!杭州西湖是中国著名的风景名胜区,位于浙江省杭州市西部,因此得名“西湖”。它是中国十大风景名胜之一,也是世界文化遗产(2011年被联合国教科文组织列入《世界遗产名录》),以其秀丽的自然风光与深厚的人文底蕴闻名于世。\n\n### 一、自然景观\n西湖三面环山,一面邻城,湖面面积约6.39平方公里,形似如意,碧波荡漾。湖中被孤山、白堤、苏堤、杨公堤等自然或人工分隔成多个水域,形成“一山二塔三岛三堤”的格局。\n\n主要景点包括:\n- **苏堤春晓**:北宋大文豪苏东坡任杭州知州时主持疏浚西湖,用挖出的淤泥堆筑成堤,后人称为“苏堤”。春天桃红柳绿,景色如画。\n- **断桥残雪**:位于白堤东端,是白蛇传中“断桥相会”的发生地,冬日雪后银装素裹,尤为著名。\n- **雷峰夕照**:雷峰塔在夕阳映照下金光熠熠,曾是“西湖十景”之一。\n- **三潭印月**:湖中小瀛洲上的三座石塔,中秋夜可在塔内点灯,月影、灯光、湖光交相辉映。\n- **平湖秋月**:位于白堤西端,是观赏湖上明月的绝佳地点。\n- **花港观鱼**:以赏花和观鱼著称,园内牡丹、锦鲤相映成趣。\n\n### 二、人文历史\n西湖不仅风景优美,还承载着丰富的历史文化:\n- 自唐宋以来,众多文人墨客如白居易、苏东坡、林逋、杨万里等在此留下诗篇。\n- 白居易曾主持修建“白堤”,疏浚西湖,造福百姓。\n- 西湖周边有众多古迹,如岳王庙(纪念民族英雄岳飞)、灵隐寺(千年古刹)、六和塔、龙井村(中国十大名茶龙井茶的产地)等。\n\n### 三、文化象征\n西湖被誉为“人间天堂”的代表,是中国传统山水美学的典范。它融合了自然美与人文美,体现了“天人合一”的哲学思想。许多诗词、绘画、戏曲都以西湖为题材,成为中国文化的重要符号。\n\n### 四、旅游建议\n- 最佳游览季节:春季(3-5月)桃红柳绿,秋季(9-11月)天高气爽。\n- 推荐方式:步行、骑行(环湖绿道)、乘船游湖。\n- 周边美食:西湖醋鱼、龙井虾仁、东坡肉、片儿川等。\n\n总之,杭州西湖不仅是一处自然美景,更是一座活着的文化博物馆,值得细细品味。如果你有机会到杭州,一定不要错过这个“淡妆浓抹总相宜”的人间仙境。"}}],"object":"chat.completion"}},"error":null}
{"id":"628312ba-172c-457d-ba7f-3e5462cc6899","custom_id":"req-002","response":{"status_code":200,"request_id":"628312ba-172c-457d-ba7f-3e5462cc6899","body":{"created":1768306035,"usage":{"completion_tokens":25,"prompt_tokens":18,"total_tokens":43},"model":"qwen-plus","id":"chatcmpl-628312ba-172c-457d-ba7f-3e5462cc6899","choices":[{"finish_reason":"stop","index":0,"message":{"role":"assistant","content":"春风拂柳绿,  \n夜雨润花红。  \n鸟语林间闹,  \n山川处处同。"}}],"object":"chat.completion"}},"error":null}
  • Detail kegagalan (error_file_id): Berisi informasi tentang permintaan yang gagal dengan nomor baris dan alasan error. Lihat Kode error untuk troubleshooting.

Prosedur detail

Alur kerja Batch API terdiri dari empat langkah: unggah file, buat tugas, tanyakan status tugas, dan unduh hasil.
Unggah file JSONL Anda menggunakan API pengunggahan file untuk mendapatkan file_id.
Saat mengunggah file, parameter purpose harus batch .
Gunakan kembali ID file yang ada: ID yang dikembalikan setelah mengunggah file (misalnya, file-batch-xxx) dapat digunakan kembali. Jika konten input tetap sama, lewati pengunggahan ulang dan langsung buat tugas dengan ID yang ada:
batch = client.batches.create(
    input_file_id="file-batch-xxx",  # 直接使用已有文件 ID,无需重新上传
    endpoint="/v1/chat/completions",
    completion_window="24h"
)
Anda dapat mengambil ID file historis melalui API client.files.list(purpose="batch") untuk menanyakan ID file Batch yang telah diunggah.
  • OpenAI Python SDK
  • OpenAI Node.js SDK
  • Java (HTTP)
  • curl (HTTP)

Contoh permintaan

import os
from pathlib import Path
from openai import OpenAI

client = OpenAI(
    # 若没有配置环境变量,可用阿里云百炼API Key将下行替换为:api_key="sk-xxx"。但不建议在生产环境中直接将API Key硬编码到代码中,以减少API Key泄露风险。
    # 新加坡和北京地域的API Key不同。
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # 以下是新加坡地域base_url,如果使用北京地域的模型,需要将base_url替换为:https://dashscope.aliyuncs.com/compatible-mode/v1
    # 注意:切换地域时,API Key也需要对应更换
    base_url="https://dashscope-intl.aliyuncs.com/compatible-mode/v1",
)

# test.jsonl 是一个本地示例文件,purpose必须是batch
file_object = client.files.create(file=Path("test.jsonl"), purpose="batch")

print(file_object.model_dump_json())

Contoh respons

{
    "id": "file-batch-xxx",
    "bytes": 437,
    "created_at": 1742304153,
    "filename": "test.jsonl",
    "object": "file",
    "purpose": "batch",
    "status": "processed",
    "status_details": null
}
Buat tugas batch menggunakan ID file yang diperoleh dari langkah pengunggahan file.
  • OpenAI Python SDK
  • OpenAI Node.js SDK
  • Java (HTTP)
  • curl (HTTP)

Contoh permintaan

import os
from openai import OpenAI

client = OpenAI(
    # 若没有配置环境变量,可用阿里云百炼API Key将下行替换为:api_key="sk-xxx"。但不建议在生产环境中直接将API Key硬编码到代码中,以减少API Key泄露风险。
    # 新加坡和北京地域的API Key不同。
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # 以下是新加坡地域base_url,如果使用北京地域的模型,需要将base_url替换为:https://dashscope.aliyuncs.com/compatible-mode/v1
    # 注意:切换地域时,API Key也需要对应更换
    base_url="https://dashscope-intl.aliyuncs.com/compatible-mode/v1",
)

batch = client.batches.create(
    input_file_id="file-batch-xxx",  # 上传文件返回的id
    endpoint="/v1/chat/completions",  # # 测试模型batch-test-model填写/v1/chat/ds-test,文本向量模型填写/v1/embeddings,文本生成/多模态模型填写/v1/chat/completions
    completion_window="24h",
    metadata={'ds_name':"任务名称",'ds_description':'任务描述'} # metadata数据,非必填字段,用于创建任务名称、描述
)
print(batch)

Parameter input

Field

Tipe

Metode

pengiriman parameter

Wajib

Deskripsi

input_file_id

String

Body

Ya

ID file input.

Gunakan ID file yang dikembalikan oleh API Siapkan dan unggah file, seperti file-batch-xxx.

endpoint

String

Body

Ya

Jalur akses API. Harus sesuai dengan field url dalam file input.

  • Untuk model uji batch-test-model, masukkan /v1/chat/ds-test

  • Untuk model lainnya, masukkan /v1/chat/completions

completion_window

String

Body

Ya

Waktu tunggu maksimum. Rentang: 24h-336h, hanya bilangan bulat.

Unit: "h" atau "d" (misalnya, "24h" atau "14d").

metadata

Map

Body

Tidak

Metadata tambahan untuk tugas, ditentukan sebagai pasangan kunci-nilai.

metadata.ds_name

String

Body

Tidak

Nama tugas.

Contoh: "ds_name": "Tugas batch"

Panjang maksimum: 100 karakter.

Jika ditentukan beberapa kali, nilai terakhir yang berlaku.

metadata.ds_description

String

Body

Tidak

Deskripsi tugas.

Contoh: "ds_description": "Uji tugas inferensi batch"

Panjang maksimum: 200 karakter.

Jika ditentukan beberapa kali, nilai terakhir yang berlaku.

Contoh respons

{
    "id": "batch_xxx",
    "object": "batch",
    "endpoint": "/v1/chat/completions",
    "errors": null,
    "input_file_id": "file-batch-xxx",
    "completion_window": "24h",
    "status": "validating",
    "output_file_id": null,
    "error_file_id": null,
    "created_at": 1742367779,
    "in_progress_at": null,
    "expires_at": null,
    "finalizing_at": null,
    "completed_at": null,
    "failed_at": null,
    "expired_at": null,
    "cancelling_at": null,
    "cancelled_at": null,
    "request_counts": {
        "total": 0,
        "completed": 0,
        "failed": 0
    },
    "metadata": {
        "ds_name": "任务名称",
        "ds_description": "任务描述"
    }
}

Parameter respons

Field

Tipe

Deskripsi

id

String

ID tugas batch.

object

String

Nilai tetap: batch.

endpoint

String

Jalur akses API.

errors

Map

Informasi error.

input_file_id

String

ID file input .

completion_window

String

Waktu tunggu maksimum. Rentang: 24h-336h, hanya bilangan bulat.

Unit: "h" atau "d" (misalnya, "24h" atau "14d").

status

String

Status tugas: validating, failed, in_progress, finalizing, completed, expired, cancelling, cancelled.

output_file_id

String

ID file untuk hasil permintaan yang berhasil.

error_file_id

String

ID file untuk hasil permintaan yang gagal.

created_at

Integer

Timestamp Unix (detik) saat tugas dibuat.

in_progress_at

Integer

Timestamp Unix (detik) saat tugas mulai diproses.

expires_at

Integer

Timestamp Unix (detik) saat tugas mulai timeout.

finalizing_at

Integer

Timestamp Unix (detik) saat tugas terakhir dimulai.

completed_at

Integer

Timestamp Unix (detik) saat tugas selesai.

failed_at

Integer

Timestamp Unix (detik) saat tugas gagal.

expired_at

Integer

Timestamp Unix (detik) saat tugas kedaluwarsa.

cancelling_at

Integer

Timestamp Unix (detik) saat tugas memasuki status cancelling.

cancelled_at

Integer

Timestamp Unix (detik) saat tugas dibatalkan.

request_counts

Map

Jumlah permintaan berdasarkan status.

metadata

Map

Metadata tambahan sebagai pasangan kunci-nilai.

metadata.ds_name

String

Nama tugas.

metadata.ds_description

String

Deskripsi tugas.

Setelah membuat tugas, gunakan API berikut untuk menanyakan statusnya, mencantumkan tugas historis, atau membatalkan tugas yang sedang berlangsung.
Tanyakan tugas batch berdasarkan ID-nya. Hanya tugas yang dibuat dalam 30 hari terakhir yang dapat ditanyakan.
  • OpenAI Python SDK
  • OpenAI Node.js SDK
  • Java (HTTP)
  • curl (HTTP)

Contoh permintaan

import os
from openai import OpenAI

client = OpenAI(
    # 若没有配置环境变量,可用阿里云百炼API Key将下行替换为:api_key="sk-xxx"。但不建议在生产环境中直接将API Key硬编码到代码中,以减少API Key泄露风险。
    # 新加坡和北京地域的API Key不同。
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # 以下是新加坡地域base_url,如果使用北京地域的模型,需要将base_url替换为:https://dashscope.aliyuncs.com/compatible-mode/v1
    # 注意:切换地域时,API Key也需要对应更换
    base_url="https://dashscope-intl.aliyuncs.com/compatible-mode/v1",
)
batch = client.batches.retrieve("batch_id")  # 将batch_id替换为Batch任务的id
print(batch)

Contoh respons

Permintaan yang berhasil mengembalikan informasi detail tugas batch. Berikut adalah contoh respons untuk tugas dengan status completed:
{
  "id": "batch_abc123",
  "object": "batch",
  "endpoint": "/v1/chat/completions",
  "errors": null,
  "input_file_id": "file-abc123",
  "completion_window": "24h",
  "status": "completed",
  "output_file_id": "file-batch_output-xyz789",
  "error_file_id": "file-batch_error-xyz789",
  "created_at": 1711402400,
  "in_progress_at": 1711402450,
  "expires_at": 1711488800,
  "finalizing_at": 1711405000,
  "completed_at": 1711406000,
  "failed_at": null,
  "expired_at": null,
  "cancelling_at": null,
  "cancelled_at": null,
  "request_counts": {
    "total": 100,
    "completed": 95,
    "failed": 5
  },
  "metadata": {
    "customer_id": "user_123456789",
    "batch_description": "Nightly eval job"
  }
}
Untuk deskripsi field, lihat tabel di bawah.

Field

Tipe

Deskripsi

id

String

ID tugas batch.

status

String

Status tugas. Nilai yang mungkin:

  • validating

  • in_progress

  • finalizing

  • completed

  • failed

  • expired

  • cancelling

  • cancelled

output_file_id

String

ID file output yang berisi hasil yang berhasil. Dihasilkan setelah tugas selesai.

error_file_id

String

ID file error yang berisi detail permintaan yang gagal. Dihasilkan setelah tugas selesai jika ada permintaan yang gagal.

request_counts

Object

Statistik jumlah permintaan yang berisi total, completed, dan failed.

Gunakan metode batches.list() untuk mengambil daftar tugas batch. Gunakan pagination untuk mengambil daftar tugas lengkap.
  • OpenAI Python SDK
  • OpenAI Node.js SDK
  • Java (HTTP)
  • curl (HTTP)

Contoh permintaan

import os
from openai import OpenAI

client = OpenAI(
    # 若没有配置环境变量,可用阿里云百炼API Key将下行替换为:api_key="sk-xxx"。但不建议在生产环境中直接将API Key硬编码到代码中,以减少API Key泄露风险。
    # 新加坡和北京地域的API Key不同。
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # 以下是新加坡地域base_url,如果使用北京地域的模型,需要将base_url替换为:https://dashscope.aliyuncs.com/compatible-mode/v1
    # 注意:切换地域时,API Key也需要对应更换
    base_url="https://dashscope-intl.aliyuncs.com/compatible-mode/v1",
)
batches = client.batches.list(after="batch_xxx", limit=2,extra_query={'ds_name':'任务名称','input_file_ids':'file-batch-xxx,file-batch-xxx','status':'completed,expired','create_after':'20250304000000','create_before':'20250306123000'})
print(batches)

Parameter input

Field

Tipe

Metode

Wajib

Deskripsi

after

String

Kueri

Tidak

Kursor untuk pagination. Atur ini ke ID tugas terakhir dari halaman sebelumnya.

limit

Integer

Kueri

Tidak

Jumlah tugas per halaman. Rentang: [1, 100]. Default: 20.

ds_name

String

Kueri

Tidak

Pencocokan fuzzy berdasarkan nama tugas.

input_file_ids

String

Kueri

Tidak

Filter berdasarkan ID file. Tentukan beberapa ID yang dipisahkan koma (maksimal 20).

status

String

Kueri

Tidak

Filter berdasarkan status tugas. Tentukan beberapa status yang dipisahkan koma.

create_after

String

Kueri

Tidak

Filter tugas yang dibuat setelah waktu ini. Format: yyyyMMddHHmmss.

create_before

String

Kueri

Tidak

Filter tugas yang dibuat sebelum waktu ini. Format: yyyyMMddHHmmss.

Contoh respons

{
  "object": "list",
  "data": [
    {
      "id": "batch_xxx",
      "object": "batch",
      "endpoint": "/v1/chat/completions",
      "errors": null,
      "input_file_id": "file-batch-xxx",
      "completion_window": "24h",
      "status": "completed",
      "output_file_id": "file-batch_output-xxx",
      "error_file_id": null,
      "created_at": 1722234109,
      "in_progress_at": 1722234109,
      "expires_at": null,
      "finalizing_at": 1722234165,
      "completed_at": 1722234165,
      "failed_at": null,
      "expired_at": null,
      "cancelling_at": null,
      "cancelled_at": null,
      "request_counts": {
        "total": 100,
        "completed": 95,
        "failed": 5
      },
      "metadata": {}
    },
    { ... }
  ],
  "first_id": "batch_xxx",
  "last_id": "batch_xxx",
  "has_more": true
}

Parameter respons

Field

Tipe

Deskripsi

object

String

Jenis objek. Nilai tetap: list.

data

Array

Array objek tugas batch. Lihat parameter respons untuk membuat tugas batch.

first_id

String

ID tugas batch pertama pada halaman saat ini.

last_id

String

ID tugas batch terakhir pada halaman saat ini.

has_more

Boolean

Apakah halaman tambahan tersedia.

Batalkan tugas yang sedang berlangsung atau dalam antrean. Setelah panggilan berhasil, status tugas berubah menjadi cancelling dan kemudian menjadi cancelled. Anda tetap dikenai biaya untuk permintaan yang berhasil diselesaikan sebelum pembatalan berlaku penuh.
  • OpenAI Python SDK
  • OpenAI Node.js SDK
  • Java (HTTP)
  • curl (HTTP)

Contoh permintaan

import os
from openai import OpenAI

client = OpenAI(
    # 若没有配置环境变量,可用阿里云百炼API Key将下行替换为:api_key="sk-xxx"。但不建议在生产环境中直接将API Key硬编码到代码中,以减少API Key泄露风险。
    # 新加坡和北京地域的API Key不同。
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # 以下是新加坡地域base_url,如果使用北京地域的模型,需要将base_url替换为:https://dashscope.aliyuncs.com/compatible-mode/v1
    # 注意:切换地域时,API Key也需要对应更换
    base_url="https://dashscope-intl.aliyuncs.com/compatible-mode/v1",
)
batch = client.batches.cancel("batch_id")  # 将batch_id替换为Batch任务的id
print(batch)

Contoh respons

Setelah Anda berhasil membatalkan tugas, API mengembalikan informasi detail tugas batch. Berikut adalah contoh respons untuk tugas dengan status cancelling:
{
  "id": "batch_abc123",
  "object": "batch",
  "endpoint": "/v1/chat/completions",
  "errors": null,
  "input_file_id": "file-abc123",
  "completion_window": "24h",
  "status": "cancelling",
  "output_file_id": null,
  "error_file_id": null,
  "created_at": 1711402400,
  "in_progress_at": 1711402450,
  "expires_at": 1711488800,
  "finalizing_at": null,
  "completed_at": null,
  "failed_at": null,
  "expired_at": null,
  "cancelling_at": 1711403000,
  "cancelled_at": null,
  "request_counts": {
    "total": 100,
    "completed": 23,
    "failed": 1
  },
  "metadata": null
}
Setelah Anda membatalkan tugas, status pertama kali berubah menjadi cancelling sementara sistem menunggu permintaan yang sedang dieksekusi selesai. Status akhirnya berubah menjadi cancelled . Hasil dari permintaan yang berhasil diselesaikan tetap disimpan dalam file output.
Setelah tugas selesai, file hasil (output_file_id) dan file error (error_file_id) mungkin dihasilkan. Unduh kedua jenis file menggunakan API pengunduhan file yang sama.Anda hanya dapat mengunduh file yang file_id-nya diawali dengan file-batch_output.
  • OpenAI Python SDK
  • OpenAI Node.js SDK
  • Java (HTTP)
  • curl (HTTP)
Gunakan metode content untuk mengambil konten file hasil tugas batch dan gunakan metode write_to_file untuk menyimpannya secara lokal.

Contoh permintaan

import os
from openai import OpenAI

client = OpenAI(
    # 若没有配置环境变量,可用阿里云百炼API Key将下行替换为:api_key="sk-xxx"。但不建议在生产环境中直接将API Key硬编码到代码中,以减少API Key泄露风险。
    # 新加坡和北京地域的API Key不同。
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # 以下是新加坡地域base_url,如果使用北京地域的模型,需要将base_url替换为:https://dashscope.aliyuncs.com/compatible-mode/v1
    # 注意:切换地域时,API Key也需要对应更换
    base_url="https://dashscope-intl.aliyuncs.com/compatible-mode/v1",
)
content = client.files.content(file_id="file-batch_output-xxx")
# 打印结果文件内容
print(content.text)
# 保存结果文件至本地
content.write_to_file("result.jsonl")

Contoh respons

{"id":"c308ef7f-xxx","custom_id":"1","response":{"status_code":200,"request_id":"c308ef7f-0824-9c46-96eb-73566f062426","body":{"created":1742303743,"usage":{"completion_tokens":35,"prompt_tokens":26,"total_tokens":61},"model":"qwen-plus","id":"chatcmpl-c308ef7f-0824-9c46-96eb-73566f062426","choices":[{"finish_reason":"stop","index":0,"message":{"content":"你好!当然可以。无论是需要信息查询、学习资料、解决问题的方法,还是其他任何帮助,我都在这里为你提供支持。请告诉我你需要什么方面的帮助?"}}],"object":"chat.completion"}},"error":null}
{"id":"73291560-xxx","custom_id":"2","response":{"status_code":200,"request_id":"73291560-7616-97bf-87f2-7d747bbe84fd","body":{"created":1742303743,"usage":{"completion_tokens":7,"prompt_tokens":26,"total_tokens":33},"model":"qwen-plus","id":"chatcmpl-73291560-7616-97bf-87f2-7d747bbe84fd","choices":[{"finish_reason":"stop","index":0,"message":{"content":"2+2 equals 4."}}],"object":"chat.completion"}},"error":null}

Contoh respons

Contoh respons tunggal:
{
    "id": "c308ef7f-xxx",
    "custom_id": "1",
    "response": {
        "status_code": 200,
        "request_id": "c308ef7f-0824-9c46-96eb-73566f062426",
        "body": {
            "created": 1742303743,
            "usage": {
                "completion_tokens": 35,
                "prompt_tokens": 26,
                "total_tokens": 61
            },
            "model": "qwen-plus",
            "id": "chatcmpl-c308ef7f-0824-9c46-96eb-73566f062426",
            "choices": [
                {
                    "finish_reason": "stop",
                    "index": 0,
                    "message": {
                        "content": "你好!当然可以。无论是需要信息查询、学习资料、解决问题的方法,还是其他任何帮助,我都在这里为你提供支持。请告诉我你需要什么方面的帮助?"
                    }
                }
            ],
            "object": "chat.completion"
        }
    },
    "error": null
}

Parameter respons

Field

Tipe

Deskripsi

id

String

ID permintaan.

custom_id

String

Pengenal permintaan yang ditentukan pengguna.

response

Object

Hasil permintaan.

status_code

Integer

Kode status HTTP. 200 menunjukkan sukses.

request_id

String

ID unik yang dihasilkan server untuk permintaan ini.

completion_tokens

Integer

Jumlah token dalam respons yang dihasilkan model.

prompt_tokens

Integer

Jumlah token dalam konten input (prompt) yang dikirim ke model.

total_tokens

Integer

Total jumlah token yang digunakan oleh permintaan ini.

model

String

Nama model yang digunakan untuk permintaan ini.

error

Object

Objek error. Mengembalikan null saat sukses. Saat gagal, berisi kode error dan pesan detail.

error.code

String

Informasi baris error dan alasannya. Lihat Kode error untuk troubleshooting.

error.message

String

Pesan error.

Fitur lanjutan

Atur notifikasi penyelesaian

Untuk tugas berjalan lama, gunakan notifikasi asinkron alih-alih polling untuk mengurangi konsumsi sumber daya.
Notifikasi penyelesaian hanya didukung di wilayah Beijing.
  • Callback: Tentukan URL yang dapat diakses publik saat membuat tugas.
  • Antrian pesan EventBridge: Terintegrasi erat dengan ekosistem Alibaba Cloud. Tidak memerlukan IP publik.
Saat membuat tugas, tentukan URL yang dapat diakses publik melalui metadata. Setelah tugas selesai, sistem mengirim permintaan POST yang berisi status tugas ke URL yang ditentukan:
  • OpenAI Python SDK
  • curl (HTTP)
import os
from openai import OpenAI

client = OpenAI(
    # 若没有配置环境变量,可用阿里云百炼API Key将下行替换为:api_key="sk-xxx"。但不建议在生产环境中直接将API Key硬编码到代码中,以减少API Key泄露风险。
    # 新加坡和北京地域的API Key不同。
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # 以下是北京地域base_url,如果使用新加坡地域的模型,需要将base_url替换为:https://dashscope-intl.aliyuncs.com/compatible-mode/v1
    # 注意:切换地域时,API Key也需要对应更换
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)

batch = client.batches.create(
    input_file_id="file-batch-xxx",  # 上传文件返回的 id
    endpoint="/v1/chat/completions",  # Embedding文本向量模型填写"/v1/embeddings",测试模型batch-test-model填写/v1/chat/ds-test,其他模型填写/v1/chat/completions
    completion_window="24h",
    metadata={
            "ds_batch_finish_callback": "https://xxx/xxx"
          }
)
print(batch)
Metode ini tidak memerlukan IP publik dan cocok untuk skenario kompleks yang perlu integrasi dengan layanan seperti Function Compute atau RocketMQ.Saat tugas batch selesai, sistem mengirim event ke Alibaba Cloud EventBridge. Konfigurasikan aturan EventBridge untuk mendengarkan event ini dan mengarahkannya ke target tertentu.
  • Sumber event (Source): acs.dashscope
  • Jenis event (Type): dashscope:System:BatchTaskFinish
Referensi: Arahkan event ke Message Queue for RocketMQ.

Mulai produksi

  • Manajemen file
    • Hapus file yang tidak diperlukan secara berkala menggunakan OpenAI File delete API untuk menghindari mencapai batas penyimpanan (10.000 file atau 100 GB).
    • Simpan file besar di OSS alih-alih mengunggah langsung.
  • Pemantauan tugas
    • Gunakan notifikasi asinkron Callback atau EventBridge.
    • Jika polling diperlukan, atur interval lebih dari 1 menit dan gunakan strategi backoff eksponensial.
  • Penanganan error
    • Implementasikan penanganan untuk error jaringan, error API, dan exception lainnya.
    • Unduh dan analisis detail error dari error_file_id.
    • Untuk kode error umum, lihat Kode error.
  • Optimasi biaya
    • Gabungkan tugas kecil menjadi satu batch.
    • Atur completion_window secara tepat untuk memungkinkan fleksibilitas penjadwalan yang lebih besar.

Alat utilitas

Jika data Anda dalam file CSV (kolom pertama: ID, kolom kedua: konten), gunakan skrip ini untuk menghasilkan file input batch JSONL.
Untuk menyesuaikan jalur file atau parameter lainnya, modifikasi kode sesuai kebutuhan.
import csv
import json
def messages_builder_example(content):
    messages = [{"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": content}]
    return messages

with open("input_demo.csv", "r") as fin:
    with open("input_demo.jsonl", 'w', encoding='utf-8') as fout:
        csvreader = csv.reader(fin)
        for row in csvreader:
"messages": messages_builder_example(row[1])}
            # 选择Embedding文本向量模型进行调用时,url的值需填写"/v1/embeddings",其他模型填写/v1/chat/completions
            request = {"custom_id": row[0], "method": "POST", "url": "/v1/chat/completions", "body": body}
            fout.write(json.dumps(request, separators=(',', ':'), ensure_ascii=False) + "\n")
Gunakan skrip ini untuk mengonversi result.jsonl menjadi result.csv untuk analisis di Excel.
Untuk menyesuaikan jalur file atau parameter lainnya, modifikasi kode sesuai kebutuhan.
import json
import csv
columns = ["custom_id",
           "model",
           "request_id",
           "status_code",
           "error_code",
           "error_message",
           "created",
           "content",
           "usage"]

def dict_get_string(dict_obj, path):
    obj = dict_obj
    try:
        for element in path:
            obj = obj[element]
        return obj
    except:
        return None

with open("result.jsonl", "r") as fin:
    with open("result.csv", 'w', encoding='utf-8') as fout:
        rows = [columns]
        for line in fin:
            request_result = json.loads(line)
            row = [dict_get_string(request_result, ["custom_id"]),
                   dict_get_string(request_result, ["response", "body", "model"]),
                   dict_get_string(request_result, ["response", "request_id"]),
                   dict_get_string(request_result, ["response", "status_code"]),
                   dict_get_string(request_result, ["error", "error_code"]),
                   dict_get_string(request_result, ["error", "error_message"]),
                   dict_get_string(request_result, ["response", "body", "created"]),
                   dict_get_string(request_result, ["response", "body", "choices", 0, "message", "content"]),
                   dict_get_string(request_result, ["response", "body", "usage"])]
            rows.append(row)
        writer = csv.writer(fout)
        writer.writerows(rows)
Perbaiki teks rusak di Excel
  • Gunakan editor teks (seperti Sublime Text) untuk mengonversi encoding file CSV ke GBK, lalu buka di Excel.
  • Atau, buat file Excel baru dan tentukan encoding UTF-8 saat mengimpor data.

Batas laju

API

Batas laju (per Akun Alibaba Cloud)

Buat tugas

1.000 panggilan/menit; maksimal 1.000 tugas konkuren

Tanyakan tugas

1.000 panggilan/menit

Tanyakan daftar tugas

100 panggilan/menit

Batalkan tugas

1.000 panggilan/menit

Penagihan

  • Harga satuan: Token input dan output untuk semua permintaan yang berhasil dikenai biaya sebesar 50% dari harga inferensi real-time untuk model yang sesuai. Untuk informasi lebih lanjut, lihat Daftar model.
  • Lingkup penagihan:
    • Hanya permintaan yang berhasil dieksekusi dalam tugas yang dikenai biaya.
    • Permintaan yang gagal karena error parsing file, kegagalan eksekusi tugas, atau error tingkat baris tidak dikenai biaya.
    • Untuk tugas yang dibatalkan, permintaan yang berhasil diselesaikan sebelum pembatalan tetap dikenai biaya seperti biasa.
  • Inferensi batch adalah item penagihan terpisah. Mendukung rencana penghematan AI universal, tetapi tidak mendukung diskon pembelian di muka (rencana penghematan) atau kuota gratis pengguna baru, atau fitur seperti cache konteks.
  • Beberapa model, seperti qwen3.5-plus dan qwen3.5-flash, memiliki mode thinking yang diaktifkan secara default. Mode ini menghasilkan token thinking tambahan, yang dikenai biaya sesuai harga token output dan meningkatkan biaya. Untuk mengontrol biaya, atur parameter enable_thinking berdasarkan kompleksitas tugas. Untuk informasi lebih lanjut, lihat Deep thinking.

Kode error

Jika permintaan gagal dan mengembalikan pesan error, lihat Kode error untuk solusinya.

FAQ

  1. Bagaimana cara memilih antara Batch Chat dan Batch File? Gunakan Batch File ketika Anda perlu memproses file besar yang berisi banyak permintaan secara asinkron. Gunakan Batch Chat ketika logika bisnis Anda memerlukan pengiriman banyak permintaan obrolan independen secara sinkron dengan konkurensi tinggi.
  2. Bagaimana penagihan API Batch File? Apakah saya perlu membeli paket terpisah? Batch menggunakan penagihan bayar sesuai penggunaan berdasarkan token yang dikonsumsi oleh permintaan yang berhasil. Tidak diperlukan paket sumber daya terpisah.
  3. Apakah file batch yang dikirim dieksekusi secara berurutan? Tidak. Sistem menggunakan penjadwalan dinamis berdasarkan beban komputasi dan tidak menjamin urutan eksekusi. Tugas mungkin tertunda ketika sumber daya terbatas.
  4. Berapa lama waktu yang dibutuhkan untuk menyelesaikan file batch yang dikirim? Waktu eksekusi tergantung pada sumber daya sistem dan skala tugas. Jika tugas tidak selesai dalam completion_window, tugas tersebut kedaluwarsa. Permintaan yang tidak diproses dalam tugas yang kedaluwarsa tidak dieksekusi dan tidak dikenai biaya. Rekomendasi skenario: Gunakan panggilan real-time untuk skenario yang memerlukan inferensi model real-time ketat. Gunakan panggilan batch untuk skenario pemrosesan data skala besar yang dapat mentolerir penundaan.