Aturan unggah data fine-tuning

​

Ikhtisar

​

Matriks dukungan metode dan elemen pelatihan

• SFT, unggah lokal, backflow log, unggah API, dan format data multimodal didukung di semua wilayah.
• DPO, CPT, impor OSS, dan mount penyimpanan cloud hanya didukung di wilayah Beijing.

​

Generasi teks – Format SFT

• Mendukung tiga role: system, user, dan assistant. Bidang content berupa string (untuk struktur array content dalam skenario multimodal, lihat bab format multimodal terkait).
• Ukuran maksimum satu file adalah 200 MB.
• Sebuah set data dapat mencampur baris dengan format berbeda — setiap record memilih formatnya sendiri secara independen, tidak perlu diseragamkan menjadi satu format.
• Format yang tersedia: ChatML standar, pemikiran mendalam, pemanggilan fungsi, dan kombinasi pemanggilan fungsi dengan pemikiran mendalam (lihat contoh pada tab di bawah).

{
  "messages": [
    {"role": "system", "content": "System input 1"},
    {"role": "user", "content": "User input 1"},
    {"role": "assistant", "content": "Expected model output 1"},
    {"role": "user", "content": "User input 2"},
    {"role": "assistant", "content": "Expected model output 2"}
  ]
}

{"role": "assistant", "content": "Expected model output", "loss_weight": "1.0"}

{
  "messages": [
    {"role": "system", "content": "System input 1"},
    {"role": "user", "content": "User input 1"},
    {"role": "assistant", "content": "Model output 1"},
    {"role": "user", "content": "User input 2"},
    {"role": "assistant", "content": "<think>\nExpected thinking content 2\n</think>\n\nExpected output 2"}
  ]
}

​

Aturan tag thinking

• Hanya boleh ditempatkan pada output assistant terakhir; output assistant antara tidak boleh menyertakan tag thinking.
• Jeda baris sebelum dan sesudah tag thinking harus dipertahankan.
• Jika sampel pelatihan dikonfigurasi agar model tidak menghasilkan tag thinking, tidak disarankan mengaktifkan kembali mode pemikiran mendalam saat memanggil model setelah pelatihan.

​

Format set evaluasi

• Format file adalah xlsx; struktur kolom dapat ditemukan pada templat yang diunduh dari Konsol.
• Metode ingest: unggah lokal dan replay log; impor Object Storage Service (OSS) dan mount penyimpanan cloud tidak didukung.
• Hanya versi draft yang mendukung pengeditan daring (Prompt/Completion); versi yang telah dipublikasikan tidak dapat diedit.

{"prompt": "Siapa yang melukis tubuh manusia selama masa Renaisans?", "completion": "Renaisans adalah gerakan kebangkitan seni, budaya, dan ilmu pengetahuan, di mana banyak seniman melukis tubuh manusia."}
{"prompt": "Mengapa Matahari memancarkan cahaya dan panas?", "completion": "Matahari menghasilkan energi luar biasa dari fusi inti hidrogen pada suhu dan tekanan tinggi. Reaksi fusi ini melepaskan sejumlah besar cahaya dan panas."}
{"prompt": "Mengapa langit berwarna biru?", "completion": "Ketika sinar matahari mencapai atmosfer Bumi, cahaya biru dengan panjang gelombang lebih pendek dihamburkan oleh molekul gas di atmosfer, membentuk langit biru yang kita lihat."}

• Rentang log yang didukung adalah dalam 30 hari terakhir.
• Maksimal 100.000 record per impor.
• Anda harus mengotorisasi peran terkait layanan dan menentukan API Key serta kondisi filter model.
• Set pelatihan hanya tersedia untuk skenario generasi teks SFT (set evaluasi generasi teks juga didukung).

​

Generasi teks – Format DPO

{
  "messages": [
    {"role": "system", "content": "System input"},
    {"role": "user", "content": "User input 1"},
    {"role": "assistant", "content": "Model output 1"},
    {"role": "user", "content": "User input 2"},
    {"role": "assistant", "content": "Model output 2"},
    {"role": "user", "content": "User input 3"}
  ],
  "chosen": {"role": "assistant", "content": "Preferred expected model output 3"},
  "rejected": {"role": "assistant", "content": "Rejected expected model output 3"}
}

{
  "messages": [
    {"role": "system", "content": "System input"},
    {"role": "user", "content": "User input 1"},
    {"role": "assistant", "content": "Model output 1"},
    {"role": "user", "content": "User input 2"}
  ],
  "chosen": {"role": "assistant", "content": "<think>\nExpected thinking content\n</think>\n\nExpected model output"},
  "rejected": {"role": "assistant", "content": "Rejected expected model output 2"}
}

​

Generasi teks – Format CPT

• Minimal 50 juta token direkomendasikan, dan batas ukuran file tunggal adalah 300 MB.
• Status draft dan pewarisan data tidak didukung; setiap versi baru memerlukan pembuatan data baru dan langsung dipublikasikan.

{
  "text": "Text content"
}

​

Format SFT – Pemahaman Visual

{
  "messages": [
    {"role": "system", "content": [{"text": "System input 1"}]},
    {"role": "user", "content": [{"text": "User input 1"}]},
    {"role": "assistant", "content": [{"text": "Expected model output 1"}]},
    {"role": "user", "content": [{"text": "User input 2"}]},
    {"role": "assistant", "content": [{"text": "Expected model output 2"}]}
  ]
}

{
  "messages": [
    {"role": "system", "content": [{"text": "System input 1"}]},
    {"role": "user", "content": [{"text": "User input 1"}]},
    {"role": "assistant", "content": [{"text": "Model output 1"}]},
    {"role": "user", "content": [{"text": "User input 2"}]},
    {"role": "assistant", "content": [{"text": "<think>\nExpected thinking content 2\n</think>\n\nExpected output 2"}]}
  ]
}

{
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "Kueri cuaca real-time untuk kota tertentu",
        "parameters": {
          "type": "object",
          "properties": {
            "city": {"type": "string", "description": "Nama kota, misalnya: Beijing"}
          },
          "required": ["city"]
        }
      }
    }
  ],
  "messages": [
    {"role": "user", "content": [{"text": "Bantu saya cek cuaca di Beijing"}]},
    {
      "role": "assistant",
      "content": [{"text": "OK, saya akan membantu Anda mengecek cuaca di Beijing."}],
      "tool_calls": [
        {
          "id": "call_3a11c1ba883b41b6a4e0cb",
          "type": "function",
          "function": {
            "name": "get_weather",
            "arguments": "{\"city\": \"Beijing\"}"
          }
        }
      ]
    },
    {"role": "tool", "tool_call_id": "call_3a11c1ba883b41b6a4e0cb", "content": [{"text": "{\"city\": \"Beijing\", \"weather\": \"Cerah\", \"temperature\": \"25℃\"}"}]},
    {"role": "assistant", "content": [{"text": "Hari ini Beijing cerah, dengan suhu 25°C, cocok untuk keluar rumah."}]}
  ]
}

{
  "messages": [
    {"role": "system", "content": [{"text": "System input"}]},
    {
      "role": "user",
      "content": [
        {"text": "User input 1"},
        {"image": "image_file1.jpg", "resized_width": 200, "resized_height": 200}
      ]
    },
    {"role": "assistant", "content": [{"text": "Expected model output 1"}]}
  ]
}

{
  "messages": [
    {"role": "system", "content": [{"text": "System input"}]},
    {
      "role": "user",
      "content": [
        {"text": "User input 1"},
        {"video": "video_file1.mp4", "fps": 3.0, "resized_width": 200, "resized_height": 200, "video_start": 0.0, "video_end": 3.0}
      ]
    },
    {"role": "assistant", "content": [{"text": "Expected model output 1"}]}
  ]
}

{
  "messages": [
    {"role": "system", "content": [{"text": "System input"}]},
    {
      "role": "user",
      "content": [
        {"text": "User input 2"},
        {"video": ["0.jpg", "1.jpg", "2.jpg", "3.jpg"], "sample_fps": 5.0, "resized_width": 200, "resized_height": 200}
      ]
    },
    {"role": "assistant", "content": [{"text": "Expected model output 2"}]}
  ]
}

​

Deskripsi bidang Tool

• tools: array definisi tool; setiap item berisi type:"function" dan function{name, description, parameters}; parameters berupa JSON Schema (berisi type/properties/required).
• messages: array dialog multi-turn; role mencakup user, assistant, dan tool.
• content: array konten multimodal; dapat berisi item gambar, teks, video, dan lainnya (konsisten dengan format pemahaman multimodal).
• assistant.tool_calls: array pemanggilan tool yang dihasilkan model; berisi id, type:"function", function{name, arguments}; arguments berupa string JSON.
• role:"tool": respons tool; tool_call_id harus berkorespondensi satu-satu dengan tool_calls[].id yang sesuai; content berisi hasil respons tool.

• Parameter hanya berdasarkan undangan; rentang nilai 0,0 hingga 1,0; semakin besar nilainya, semakin tinggi kepentingan relatif baris ini selama pelatihan.
• Untuk model SFT dengan pemikiran mendalam, hanya baris assistant terakhir yang mendukung loss_weight.

​

Aturan tag thinking

• Hanya boleh ditempatkan pada output assistant terakhir; output assistant antara tidak boleh menambahkan tag thinking.
• Jeda baris sebelum dan sesudah tag thinking harus dipertahankan.
• Jika sampel pelatihan mengatur agar model tidak menghasilkan tag thinking, setelah pelatihan selesai tidak disarankan mengaktifkan mode pemikiran mendalam saat melakukan pemanggilan.

​

Aturan pengemasan paket zip multimodal

• Paket zip mendukung hingga 2 GB.
• Set karakter yang diizinkan untuk nama folder dan file di dalam paket adalah huruf ASCII (a-z, A-Z), angka (0-9), garis bawah (_), dan tanda hubung (-).
• File data teks pelatihan tetap sebagai data.jsonl dan harus berada di direktori root paket zip — pastikan setelah ekstraksi, membuka file zip secara langsung menampilkan data.jsonl, tanpa pembungkus folder luar tambahan.

# Direktori satu lapis (direkomendasikan)
Trainingdata_vl.zip
  |--- data.jsonl        # Harus di direktori root, tanpa pembungkus folder luar
  |--- image1.png
  |--- video1.mp4

# Deklarasikan nama file di dalam data.jsonl (bukan path)
# Benar: image1.jpg
# Salah: jpg_folder/image1.jpg

​

Batas ukuran dan jumlah file

​

Kuota unggah API

• Tentukan path manifes direktori root data.jsonl melalui file_path MountStorage; arsip zip tidak didukung.
• Saat memilih mount penyimpanan cloud sebagai lokasi penyimpanan, publikasi langsung diberlakukan; status draft tidak didukung.
• Sebelum melakukan mount, Anda harus mengotorisasi layanan Bailian untuk mengakses data OSS.

• File tunggal melebihi 300 MB: unggah melalui mount penyimpanan cloud atau saluran ZIP multimodal 2 GB.
• Kuota total terlampaui: hapus file historis untuk membebaskan ruang.
• Data yang diimpor secara otomatis mengaktifkan Enkripsi sisi server OSS (SSE-OSS, AES256).

​

Validasi unggah dan kesalahan umum

• Operasi publikasi dan penghapusan keduanya ireversibel; versi yang telah dipublikasikan tidak dapat diedit lagi, dan hanya versi draft yang dapat dihapus atau diedit secara daring.
• Jenis set data (set pelatihan/set evaluasi) tidak dapat diubah atau ditukar setelah pembuatan; memilih yang salah memerlukan pembuatan set data baru dan impor ulang seluruh data.
• Mengganti jenis set data, skenario pelatihan, atau metode pelatihan akan menghapus file yang telah diunggah dan mengatur ulang lokasi penyimpanan serta metode impor.