Skip to main content

Lakukan fine-tune dengan API atau CLI

Lakukan fine-tune model Qwen di Model Studio melalui API (HTTP) atau CLI (shell). Tiga metode fine-tuning didukung: supervised fine-tuning (SFT), continual pre-training (CPT), dan direct preference optimization (DPO).

Prasyarat

API hanya mendukung penagihan berbasis token. Untuk menggunakan unit pelatihan model (prabayar atau pascabayar), buat pekerjaan di konsol.

Unggah file fine-tuning

Menyiapkan file fine-tuning

Untuk spesifikasi format data, aturan pengemasan, batasan ukuran dan kuantitas, serta kuota unggah API dari setiap metode pelatihan (SFT/DPO/CPT), lihat Aturan unggah data tuning. Format file yang didukung oleh setiap metode pelatihan:

Metode pelatihan

Format file

Generasi teks SFT

jsonl (struktur multi-putaran pesan ChatML)

SFT multimodal (gambar/video)

zip (data.jsonl + file gambar/video)

DPO

jsonl (pasangan preferensi chosen/rejected)

CPT

jsonl (teks biasa {text})

Set evaluasi

xlsx (prompt&completion) / jsonl, xls, xlsx (ChatML-messages)

Anda juga dapat mengunduh templat data dari konsol Model Studio.

Di bawah area unggah file pada halaman Create Dataset, Anda dapat menemukan tautan unduh data template.

Unggah file fine-tuning ke Model Studio

  • API Files yang kompatibel dengan OpenAI
python
import os
from pathlib import Path
from openai import OpenAI

client = OpenAI(
    # If you have not configured an environment variable, replace the following line with api_key="sk-xxx" and use your Model Studio API key.
    # API keys for the Singapore and China (Beijing) regions are different. Get an API key: https://www.alibabacloud.com/help/model-studio/get-api-key
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # The following is the URL for the Singapore region. If you use the service in the China (Beijing) region, replace the URL with: https://dashscope.aliyuncs.com/compatible-mode/v1
    base_url="https://dashscope-intl.aliyuncs.com/compatible-mode/v1",
)

# test.jsonl is a local sample file.
file_object = client.files.create(file=Path("test.jsonl"), purpose="fine-tune")

print(file_object.model_dump_json())
Batasan:
  • Ukuran maksimum satu file adalah 300 MB.
  • Kuota penyimpanan total untuk semua file yang valid (tidak dihapus) adalah 100 GB.
  • Kuota jumlah total untuk semua file yang valid (tidak dihapus) adalah 10000 file.
  • Penyimpanan file tidak memiliki batas waktu.
File tuning yang diunggah melalui API terlihat dan dapat digunakan baik di halaman fine-tuning model pada konsol Model Studio maupun dalam pemanggilan API.

Model fine-tuning

Pembuatan, kueri, pengambilan log, pengelolaan checkpoint, serta daftar/pembatalan/penghapusan pekerjaan fine-tuning semuanya dilakukan melalui API. Parameter permintaan/respons lengkap beserta contoh untuk setiap antarmuka tersedia di halaman API terkait; bagian ini hanya menguraikan alur kerjanya.

Buat pekerjaan fine-tuning

Panggil antarmuka Buat pekerjaan fine-tuning (POST /api/v1/fine-tunes) untuk memulai pelatihan. Untuk isi permintaan (model / training_datasets / hyper_parameters / training_type, dll.) dan contoh respons, lihat halaman tersebut.

Kueri detail pekerjaan fine-tuning

Gunakan job_id untuk mengkueri status tugas. Untuk informasi selengkapnya, lihat Kueri status tugas fine-tuning.

Dapatkan log pekerjaan fine-tuning

Ambil log pelatihan melalui antarmuka Dapatkan log tugas fine-tuning (GET /api/v1/fine-tunes/{job_id}/logs).

Kueri dan publikasikan checkpoint model

Checkpoint yang dihasilkan oleh fine-tuning dapat didaftarkan dan diekspor (dipublikasikan):
  • Daftar checkpoint: lihat List Checkpoint (GET /api/v1/fine-tunes/{job_id}/checkpoints).
  • Ekspor (publikasikan) checkpoint tertentu: lihat Export Checkpoint (GET /api/v1/fine-tunes/{job_id}/export/{checkpoint}?model_name=...), bersifat asinkron; pantau status melalui antarmuka daftar.

Operasi fine-tuning lainnya

Penerapan dan pemanggilan model

Penerapan model

Untuk menerapkan model, buka konsol Dedicated Deployment.

Pemanggilan model

Setelah status penerapan menjadi RUNNING, panggil model yang telah difine-tune seperti model lainnya. Anda juga dapat memperoleh Model Code dari konsol Dedicated Deployment. Penggunaan dan parameter: Referensi API DashScope.
curl 'https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation' \
--header 'Authorization: Bearer '${DASHSCOPE_API_KEY}  \
--header 'Content-Type: application/json' \
--data '{
    "model": "<your_model_instance_id>",
    "input":{
        "messages":[
            {
                "role": "user",
                "content": "Who are you?"
            }
        ]
    },
    "parameters": {
        "result_format": "message"
    }
}'