Skip to main content

Aturan unggah data fine-tuning

Menjelaskan spesifikasi format, persyaratan pengemasan, batas ukuran dan jumlah, serta kuota unggah API untuk data fine-tuning model generasi teks, membantu pengguna menyusun dan mengunggah data pelatihan SFT/DPO/CPT yang sesuai berdasarkan metode pelatihan.

Ikhtisar

Dokumen ini menjelaskan spesifikasi format, persyaratan pengemasan, batas ukuran dan jumlah, serta kuota unggah API untuk data fine-tuning model generasi teks. Cakupannya meliputi fine-tuning model generasi teks (teks/gambar/video → teks), termasuk SFT/DPO/CPT teks biasa, pemahaman gambar dan video Qwen VL, ekstraksi frame video, pemanggilan fungsi, dan pemikiran mendalam. Fine-tuning model generasi video (gambar → video) berada di luar cakupan. Jenis set data (set pelatihan atau set evaluasi) tidak dapat diubah setelah pembuatan. Dukungan untuk masing-masing metode pelatihan dan elemen dijelaskan secara rinci dalam Matriks dukungan metode dan elemen pelatihan. Aturan penyusunan format untuk setiap kombinasi dijelaskan pada bab-bab terkait di bawah ini.
Operasi berikut bersifat ireversibel; lakukan dengan hati-hati:
  • Versi yang telah dipublikasikan tidak dapat diedit lagi; hanya versi draft yang sebelumnya dibuat yang dapat dihapus atau diedit secara daring.
  • Jenis set data tidak dapat diubah setelah pembuatan.
  • Mengganti jenis, skenario, atau metode pelatihan akan menghapus file yang telah diunggah.
Operasi manajemen (parameter pembuatan, manajemen versi, aturan manajemen set evaluasi, pemilihan metode impor, pembersihan data, keamanan dan kepatuhan) dibahas dalam dokumen terkait; lihat Set pelatihan dan set evaluasi, Pengantar fine-tuning model, dll. Kami menyarankan mengunduh templat data untuk skenario yang sesuai pada halaman pembuatan set data dan menyiapkan data sesuai struktur templat guna menghindari kegagalan impor. Untuk rekomendasi penyusunan set data (skala data yang direkomendasikan, diversitas dan keseimbangan, strategi augmentasi data), lihat Pengantar fine-tuning model - Tips penyusunan set data.

Matriks dukungan metode dan elemen pelatihan

Set pelatihan mendukung tiga metode pelatihan: SFT, DPO, dan CPT. Status dukungan masing-masing metode pelatihan dan elemen ditampilkan dalam tabel matriks di bawah ini. Urutan fine-tuning yang direkomendasikan adalah CPT (opsional) → SFT → DPO (opsional); ketiganya bersifat progresif, bukan saling eksklusif. Ketersediaan wilayah:
  • SFT, unggah lokal, backflow log, unggah API, dan format data multimodal didukung di semua wilayah.
  • DPO, CPT, impor OSS, dan mount penyimpanan cloud hanya didukung di wilayah Beijing.
Matriks dukungan untuk metode dan elemen pelatihan adalah sebagai berikut:

Metode pelatihan

Generasi teks

Pemahaman visual – Input gambar

Pemahaman visual – Input video (qwen3.5+)

Pemahaman visual – Pemanggilan alat (qwen3.5+)

Pemikiran mendalam

SFT

✓

✓

✓

✓

✓

DPO

✓

✗

✗

✗

✓

CPT

✓

✗

✗

✗

✗

Set evaluasi

✓

✗

✗

✗

✗

Setiap metode pelatihan membuat versi baru dalam mode buat-baru, sehingga memerlukan impor ulang seluruh data. Untuk definisi bidang metode pelatihan SFT/DPO/CPT, lihat Pengantar fine-tuning model.

Generasi teks – Format SFT

Data pelatihan generasi teks SFT menggunakan format file jsonl, berdasarkan struktur multi-turn ChatML messages.
  • Mendukung tiga role: system, user, dan assistant. Bidang content berupa string (untuk struktur array content dalam skenario multimodal, lihat bab format multimodal terkait).
  • Ukuran maksimum satu file adalah 200 MB.
  • Sebuah set data dapat mencampur baris dengan format berbeda — setiap record memilih formatnya sendiri secara independen, tidak perlu diseragamkan menjadi satu format.
  • Format yang tersedia: dialog standar, pemikiran mendalam, pemanggilan fungsi, dan pemanggilan fungsi yang dikombinasikan dengan pemikiran mendalam (lihat contoh pada tab di bawah).
Generasi teks SFT mendukung format sampel berikut. Struktur JSON lengkap dari setiap sampel ditampilkan pada tab yang sesuai:
  • ChatML Standar
  • Pemikiran mendalam (thinking)
  • Pemanggilan fungsi
Contoh format ChatML standar (dialog multi-turn system/user/assistant):
{
  "messages": [
    {"role": "system", "content": "系统输入1"},
    {"role": "user", "content": "用户输入1"},
    {"role": "assistant", "content": "期望的模型输出1"},
    {"role": "user", "content": "用户输入2"},
    {"role": "assistant", "content": "期望的模型输出2"}
  ]
}

Penggunaan lanjutan

  1. Parameter loss_weight didukung, dengan rentang nilai (0.0, 1.0]; semakin besar nilainya, semakin tinggi kepentingan record ini selama pelatihan.
    Didukung secara default pada model Qwen3.5 dan versi setelahnya; untuk mengaktifkan dukungan pada model seri Qwen3 dan Qwen2.5, hubungi account manager Anda.
{"role": "assistant", "content": "期望的模型输出", "loss_weight": "1.0"}

Aturan tag thinking

Konten pemikiran mendalam dibungkus dalam tag <think>\n…\n</think>\n\n, ditempatkan di dalam teks output assistant (berbagi konten assistant terakhir yang sama dengan balasan akhir). Aturan:
  • Hanya boleh ditempatkan pada output assistant terakhir; output assistant di tengah tidak boleh menyertakan tag thinking.
  • Jeda baris sebelum dan sesudah tag thinking harus dipertahankan.
  • Jika sampel pelatihan dikonfigurasi agar model tidak menghasilkan tag thinking, tidak disarankan mengaktifkan kembali mode pemikiran mendalam saat memanggil model setelah pelatihan.

Format set evaluasi

Set evaluasi hanya berlaku untuk skenario generasi teks dan bersifat independen dari metode pelatihan SFT/DPO/CPT — model yang dilatih dengan DPO/CPT juga menggunakan set evaluasi generasi teks untuk evaluasi, tanpa pembedaan berdasarkan metode pelatihan. Set evaluasi mendukung dua format sampel, dipilih pada skenario pelatihan bagian format data saat Anda membuat set data:
  • Text generation (prompt&completion): format single-turn; setiap sampel terdiri atas Prompt (pertanyaan pengguna) dan Completion (jawaban referensi). Unggah lokal hanya mendukung file xls dan xlsx (maksimal 20 MB per file); struktur kolom dapat ditemukan pada templat data yang disediakan Konsol.
  • Text generation (ChatML-messages): format percakapan multi-turn; setiap sampel berupa array messages yang tersusun dari pesan berrole system, user, dan assistant, dengan jawaban referensi berupa pesan assistant terakhir dalam messages. Unggah lokal mendukung file jsonl, xls, dan xlsx (maksimal 200 MB per file); file contoh dapat diunduh saat membuat set data.
Pada format ChatML, setiap baris merupakan satu sampel jsonl, dan baris single-turn serta multi-turn dapat dicampur, seperti ditampilkan di bawah ini:
{"messages": [{"role": "system", "content": "You are a helpful assistant"}, {"role": "user", "content": "谁在文艺复兴时期绘制人体?"}, {"role": "assistant", "content": "文艺复兴时期是一个关于艺术、文化和学术的复兴运动,在这个时期,许多艺术家都绘制了人体。"}]}
{"messages": [{"role": "system", "content": "You are a helpful assistant"}, {"role": "user", "content": "谁在文艺复兴时期绘制人体?"}, {"role": "assistant", "content": "文艺复兴时期是一个关于艺术、文化和学术的复兴运动,在这个时期,许多艺术家都绘制了人体。"},{"role": "user", "content": "那雕塑方面如何呢?"}, {"role": "assistant", "content": "文艺复兴时期的雕塑也非常有名,几位世界级的雕塑大师都出自于这个时期"}]}
Deskripsi bidang format ChatML:
  • messages: array pesan. Pesan system bersifat opsional dan ditempatkan paling depan; pesan user dan assistant disusun bergantian. Untuk percakapan multi-turn, teruskan menambahkan pasangan pesan user/assistant, dan pesan assistant terakhir merupakan jawaban referensi sampel tersebut.
  • content pesan assistant dapat memuat konten pemikiran model: teks pemikiran ditempatkan sebelum jawaban dan dipisahkan dengan penanda </think> (digunakan saat mengevaluasi model reasoning).
  • extra: bidang ekstensi kustom opsional yang mendukung tipe seperti objek, array, dan angka; dapat digunakan untuk melampirkan data kustom pada sampel sesuai kebutuhan bisnis.
Spesifikasi set evaluasi:
  • Metode ingest: unggah lokal dan backflow log; impor Object Storage Service (OSS) dan mount penyimpanan cloud tidak didukung.
  • Hanya versi draft yang sebelumnya dibuat yang mendukung pengeditan daring (Prompt/Completion); versi yang telah dipublikasikan tidak dapat diedit.
  • Untuk set data ChatML, pratinjau file pada halaman detail set data menampilkan konten messages lengkap dari setiap baris jsonl.
Batas ingest backflow log:
  • Rentang log yang didukung adalah dalam 30 hari terakhir.
  • Maksimal 100.000 record per impor.
  • Anda harus mengotorisasi service-linked role dan menentukan API Key serta kondisi filter model.
  • Set pelatihan hanya tersedia untuk skenario generasi teks SFT (set evaluasi generasi teks juga didukung).
Untuk detail metode ingest backflow log, lihatBackflow log. Set evaluasi harus merupakan kumpulan data independen yang tidak tumpang tindih, digunakan untuk mengevaluasi kemampuan generalisasi model secara objektif. Untuk aturan manajemen set evaluasi, lihatSet pelatihan dan set evaluasi.

Generasi teks – Format DPO

Data pelatihan generasi teks DPO menggunakan format jsonl. Berdasarkan struktur multi-turn ChatML messages, data ini juga berisi dua output assistant yang kontras, chosen dan rejected, untuk pelatihan penyelarasan preferensi. Seluruh konten dalam messages digunakan sebagai input, dan DPO digunakan untuk melatih umpan balik positif/negatif model terhadap input user terakhir. Untuk aturan struktur multi-turn messages, lihat Generasi teks – Format SFT. Untuk konten pemikiran mendalam, output assistant chosen atau rejected dapat dibungkus dengan tag thinking. Tag thinking hanya boleh ditempatkan pada baris assistant terakhir. Untuk aturannya, lihat Generasi teks – Format SFT. Parameter loss_weight (hanya undangan) mendukung modul chosen. Rentang nilainya 0.0 hingga 1.0; semakin besar nilainya, semakin tinggi kepentingan pelatihannya. Untuk detailnya, lihat Generasi teks – Format SFT. Batas ukuran file tunggal untuk data pelatihan DPO adalah 200 MB, konsisten dengan generasi teks SFT. Untuk definisi DPO, lihat Pengantar fine-tuning model. Untuk manajemen versi dan operasi publikasi, lihat Set pelatihan dan set evaluasi. Lihat blok kode di bawah ini untuk contoh data pelatihan generasi teks DPO:
  • ChatML Standar
  • Pemikiran mendalam (thinking)
Contoh format perbandingan chosen/rejected standar (dua output assistant yang kontras):
{
  "messages": [
    {"role": "system", "content": "系统输入"},
    {"role": "user", "content": "用户输入1"},
    {"role": "assistant", "content": "模型输出1"},
    {"role": "user", "content": "用户输入2"},
    {"role": "assistant", "content": "模型输出2"},
    {"role": "user", "content": "用户输入3"}
  ],
  "chosen": {"role": "assistant", "content": "赞同的模型期望输出3"},
  "rejected": {"role": "assistant", "content": "反对的模型期望输出3"}
}

Generasi teks – Format CPT

Data pelatihan generasi teks CPT menggunakan format teks biasa jsonl, dengan satu objek jsonl per baris, berstruktur sebagai {text}, di mana bidang text berisi konten teks biasa. Untuk aturan struktur multi-turn messages, lihat Generasi teks – Format SFT. Batasan data pelatihan CPT:
  • Minimal 50 juta Token direkomendasikan, dan batas ukuran file tunggal adalah 300 MB.
Untuk definisi CPT, lihat Pengantar fine-tuning model; untuk manajemen versi dan operasi publikasi, lihat Set pelatihan dan set evaluasi. Struktur JSON lengkap dari contoh teks biasa CPT ditampilkan dalam blok kode di bawah ini. Contoh format teks biasa {text} (satu objek teks biasa jsonl per baris):
{
  "text": "文本内容"
}

Pemahaman visual – Format SFT

Data pelatihan gambar SFT digunakan untuk pemahaman multimodal Qwen VL (opsi UI Konsol adalah "Image Understanding"). Data ini menggunakan format paket zip yang berisi file data teks pelatihan data.jsonl dan file gambar. data.jsonl harus ditempatkan di direktori root paket. Setiap record pelatihan dalam data.jsonl menggunakan struktur array content, dengan item array berisi bidang gambar (image) dan bidang teks (text). Struktur direktori satu lapis direkomendasikan. Untuk aturan pengemasan, lihat Aturan pengemasan paket zip multimodal.
  • Batas input gambar
  • Batas input video
Batas penerimaan gambar adalah sebagai berikut:
  • Lebar dan tinggi satu gambar tidak boleh melebihi 1024 px.
  • Satu gambar tidak boleh melebihi 10 MB.
  • Format yang didukung: bmp, jpeg, jpg, png, tif, tiff, webp.
resized_width dan resized_height adalah parameter kontrol penskalaan target opsional yang digunakan untuk menentukan dimensi penskalaan target gambar; ini bukan batas atas penerimaan gambar. Batas atas penerimaan gambar adalah lebar dan tinggi tidak melebihi 1024 px dan satu gambar tidak melebihi 10 MB. Nilai spesifik untuk penerimaan gambar mengikuti tampilan aktual di Konsol.Untuk perhitungan konsumsi token gambar, lihat Pemahaman gambar dan video – Penagihan dan batas laju.
Contoh pelatihan gambar SFT ditampilkan pada tab di bawah ini:
  • ChatML Standar
  • Pemikiran mendalam (thinking)
  • Pemanggilan fungsi (function calling)
  • Input gambar
  • Mode path file video
  • Mode daftar frame gambar
Contoh format ChatML standar (dialog multi-turn system/user/assistant):
{
  "messages": [
    {"role": "system", "content": [{"text": "系统输入1"}]},
    {"role": "user", "content": [{"text": "用户输入1"}]},
    {"role": "assistant", "content": [{"text": "期望的模型输出1"}]},
    {"role": "user", "content": [{"text": "用户输入2"}]},
    {"role": "assistant", "content": [{"text": "期望的模型输出2"}]}
  ]
}
Untuk definisi pemahaman multimodal, lihat Pengantar fine-tuning model.

Aturan format pemanggilan fungsi

Mode pemanggilan fungsi menambahkan definisi tools dan mekanisme tool_calls/role:tool di atas struktur multi-turn messages. Batasan bidang adalah sebagai berikut:
  • tools: array definisi tool; setiap item berisi type:"function" dan function{name, description, parameters}; parameters berupa JSON Schema (berisi type/properties/required).
  • messages: array dialog multi-turn; role mencakup user, assistant, dan tool.
  • content: array konten multimodal; dapat berisi item gambar, teks, video, dan lainnya (konsisten dengan format pemahaman multimodal).
  • assistant.tool_calls: array pemanggilan tool yang dihasilkan oleh model; berisi id, type:"function", function{name, arguments}; arguments berupa string JSON.
  • role:"tool": hasil kembalian tool; tool_call_id harus berkorespondensi satu-satu dengan tool_calls[].id yang sesuai; content berisi hasil kembalian tool.
Pesan terakhir dalam dialog multi-turn biasanya merupakan balasan akhir assistant berdasarkan hasil kembalian tool. Bailian tidak mendukung parameter name dan weight OpenAI; seluruh output assistant akan dilatih. Data pelatihan yang dimigrasikan dari OpenAI/Azure tidak boleh membawa bidang name/weight. Rekomendasi diversitas dan keseimbangan data: jumlah data di setiap skenario harus relatif seimbang, dan rasio data harus sesuai dengan rasio skenario aktual. Hindari terlalu banyak satu jenis data, yang dapat menyebabkan model cenderung mempelajari fitur jenis tersebut dan memengaruhi kemampuan generalisasi.

Aturan tag thinking

Konten pemikiran mendalam dibungkus dalam tag <think>\n…\n</think>\n\n dan ditempatkan di dalam teks output assistant (termasuk dalam konten assistant terakhir yang sama dengan balasan akhir). Aturan:
  • Hanya boleh ditempatkan pada output assistant terakhir; output assistant di tengah tidak menambahkan tag thinking.
  • Jeda baris sebelum dan sesudah tag thinking harus dipertahankan.
  • Jika sampel pelatihan mengatur agar model tidak menghasilkan tag thinking, setelah pelatihan selesai tidak disarankan mengaktifkan mode pemikiran mendalam saat melakukan pemanggilan.

Aturan pengemasan paket zip multimodal

Data pelatihan pemahaman multimodal diunggah sebagai paket zip melalui halaman Add Dataset. Pengemasan harus memenuhi batasan berikut:
  • Paket zip mendukung hingga 2 GB.
  • Set karakter yang diizinkan untuk nama folder dan file di dalam paket adalah huruf ASCII (a-z, A-Z), angka (0-9), garis bawah (_), dan tanda hubung (-).
  • File data teks pelatihan ditetapkan sebagai data.jsonl dan harus berada di direktori root paket zip — pastikan setelah ekstraksi, membuka file zip secara langsung menampilkan data.jsonl, tanpa pembungkus folder luar tambahan.
Nama file gambar atau video harus unik secara global di dalam paket zip, bahkan jika tersebar di folder berbeda. Di dalam data.jsonl, hanya nama file yang perlu dideklarasikan, bukan path file — contoh benar: image1.jpg; contoh salah: jpg_folder/image1.jpg. Mount penyimpanan cloud tidak mendukung paket zip. Saat memuat set data melalui mount penyimpanan cloud, Anda harus mengunggah folder set data yang tidak dikompresi secara utuh ke Bucket OSS, dan menentukan path file data.jsonl melalui file_path MountStorage; saat mencakup beberapa file, hanya path data.jsonl yang perlu ditentukan, dan file lain dalam direktori yang sama akan dimount secara otomatis. Untuk detail mount penyimpanan cloud, lihat Fine-tune dengan API atau CLI. Contoh penamaan dan struktur direktori ditampilkan dalam blok kode di bawah ini. Untuk operasi otorisasi mount penyimpanan cloud, lihat Fine-tune model di Konsol; untuk operasi penandaan impor Bucket OSS, lihat Set pelatihan dan set evaluasi.
# 单层目录(推荐)
Trainingdata_vl.zip
  |--- data.jsonl        # 必须在根目录,外层不再包裹文件夹
  |--- image1.png
  |--- video1.mp4

# data.jsonl 内声明文件名(非路径)
# 正确:image1.jpg
# 错误:jpg_folder/image1.jpg
Buka halaman Konsol Create dataset untuk mengunggah paket zip multimodal dan menyelesaikan validasi pengemasan.

Batas ukuran dan jumlah file

Batas atas ukuran file dan jumlah unggah lokal ditentukan berdasarkan metode pelatihan dan skenario, seperti dijelaskan rinci dalam tabel spesifik skenario di bawah ini. Untuk batas penerimaan gambar, lihat Pemahaman visual – Format SFT; untuk batas format set evaluasi, lihat Format set evaluasi; untuk batas ingest backflow log, lihat Format set evaluasi. max_length mengambil nilai dalam rentang 500 hingga 131072 sebagai parameter konfigurasi panjang urutan pelatihan, bukan batas atas penerimaan unggah. Batas atas ukuran penerimaan satu record data pelatihan mengikuti tampilan pada halaman Konsol. Batas atas ukuran file dan jumlah unggah lokal ditentukan berdasarkan metode pelatihan dan skenario. Volume data yang direkomendasikan adalah nilai minimum yang disarankan:

Metode pelatihan/skenario

Ukuran maks file tunggal

Jumlah file maks (maxCount)

Volume data yang direkomendasikan

Generasi teks – Format SFT

200 MB

10 (default)

Minimal ribuan sampel

Generasi teks – Format DPO

200 MB

10 (default)

Minimal ratusan sampel

Generasi teks – Format CPT

300 MB

1

Minimal 50 juta Token

Multimodal (zip)

2 GB

1

Siapkan sampel yang cukup berdasarkan skenario aktual

Nama file (tanpa ekstensi)

≤120 karakter dan unik

—

—

Ekstensi

Harus ada dalam daftar Create dataset

—

—

Kuota unggah API

Kuota untuk mengunggah file fine-tuning melalui API DashScope (dengan purpose ditandai sebagai model fine-tuning) ditampilkan dalam tabel kuota di bawah ini. Saat membuat set data di Konsol, daftar File API mendukung penggabungan dan pendaftaran hingga 10 file; file fine-tuning yang diunggah melalui API terlihat dan dapat digunakan baik di halaman fine-tuning model Konsol maupun pemanggilan API. Batasan untuk memuat set data melalui mount penyimpanan cloud:
  • Tentukan path manifes direktori root data.jsonl melalui file_path MountStorage; arsip zip tidak didukung.
  • Sebelum melakukan mount, Anda harus mengotorisasi layanan Bailian untuk mengakses data OSS.
Penanganan overflow dan enkripsi:
  • File tunggal melebihi 300 MB: unggah melalui mount penyimpanan cloud atau saluran ZIP multimodal 2 GB.
  • Kuota total terlampaui: hapus file historis untuk membebaskan ruang.
  • Data yang diimpor secara otomatis mengaktifkan enkripsi sisi server OSS (SSE-OSS, AES256).
Untuk detail pemanggilan API, autentikasi, SDK, kode kesalahan, dan bidang MountStorage, lihat Fine-tune dengan API atau CLI. Kuota untuk mengunggah file fine-tuning melalui API adalah sebagai berikut:

Item kuota

Batas

Deskripsi

Ukuran file tunggal

Hingga 300 MB

File fine-tuning (untuk tujuan model fine-tuning)

Ruang file valid total

100 GB

Akumulasi file yang belum dihapus

Jumlah file valid total

10000

Akumulasi file yang belum dihapus

Durasi penyimpanan file

Tidak ada batas waktu

Tidak kedaluwarsa otomatis

Batas atas daftar File API

10

Pendaftaran gabungan saat membuat set data di Konsol

Perbedaan antara impor OSS dan mount penyimpanan cloud dibandingkan sebagai berikut:

Dimensi

Impor OSS

Mount penyimpanan cloud

Prasyarat

Tag otorisasi akses data Bailian

Otorisasi layanan Bailian untuk mengakses data OSS

Bentuk data

File tunggal atau batch

Seluruh folder set data yang tidak dikompresi (zip tidak didukung)

Entri

Data Management > New Dataset > OSS Import

Model Fine-tuning > Create Training Task > Data Configuration > Dataset Mount

Set evaluasi

✗

✗

Validasi unggah dan kesalahan umum

Saat mengunggah file secara lokal di halaman Add Dataset, validasi frontend menolak file yang tidak memenuhi aturan penerimaan dan menampilkan prompt. Penolakan validasi umum dan skenario kesalahan unggah ditampilkan dalam item yang dapat dilipat di bawah ini:
Diagnosis:maxCount ditentukan berdasarkan metode pelatihan — SFT/DPO teks default 10, zip multimodal dan CPT default 1. Mengunggah file yang melebihi batas atas metode pelatihan terkait akan ditolak oleh frontend.Tindakan:Sesuaikan sebagai berikut dan unggah kembali:
  1. Periksa batas atas maxCount yang sesuai dengan metode pelatihan saat ini; untuk detail lihat Batas ukuran dan jumlah file.
  2. Kurangi jumlah file hingga dalam batas atas; gabungkan data multimodal menjadi satu zip, dan gabungkan data CPT menjadi satu jsonl.
  3. Jika jumlah file masih melebihi batas, bagi menjadi beberapa set data dan unggah secara batch.
Diagnosis:Nama file tanpa ekstensi memiliki batas atas 120 karakter dan hanya boleh berisi huruf ASCII, angka, garis bawah, dan tanda hubung.Tindakan:Sesuaikan sebagai berikut dan unggah kembali:
  1. Ubah nama file sehingga nama file (tanpa ekstensi) dipersingkat hingga dalam 120 karakter.
  2. Gunakan hanya karakter a-z/A-Z/0-9/_/-; hapus karakter Tionghoa dan karakter non-ASCII lainnya.
  3. Nama file di dalam arsip multimodal juga harus unik secara global.
Diagnosis:Nama file dalam set data yang sama harus unik tanpa mempertimbangkan ekstensi; perbandingan mengabaikan ekstensi.Tindakan:Sesuaikan sebagai berikut dan unggah kembali:
  1. Periksa file dengan nama duplikat dan ubah namanya sehingga bagian tanpa ekstensi menjadi unik.
  2. File dengan nama sama tetapi ekstensi berbeda (misalnya, image.jpg dan image.png) juga dianggap duplikat dan harus dibedakan secara bersamaan.
  3. Nama file di dalam zip multimodal harus unik secara global, bahkan jika tersebar di folder berbeda.
Diagnosis:Batas atas ukuran file tunggal bervariasi berdasarkan skenario metode pelatihan — teks SFT/DPO 200 MB, zip multimodal 2 GB, CPT 300 MB.Tindakan:Sesuaikan sebagai berikut dan unggah kembali:
  1. Periksa apakah ukuran file melebihi batas atas metode pelatihan terkait.
  2. Pisahkan jsonl menjadi beberapa file untuk unggah batch (SFT/DPO); pemisahan data CPT memerlukan pembuatan beberapa set data baru.
  3. Untuk metode penanganan overflow saat file tunggal melebihi 300 MB, lihat Kuota unggah API.
Diagnosis:Ekstensi harus ada dalam daftar yang didukung — pelatihan teks menggunakan jsonl, set evaluasi dibedakan berdasarkan format sampel (prompt&completion menggunakan xls/xlsx, ChatML-messages mendukung jsonl/xls/xlsx), gambar multimodal mendukung bmp/jpeg/jpg/png/tif/tiff/webp, dan video multimodal mendukung mp4 dan format lainnya.Tindakan:Sesuaikan sebagai berikut dan unggah kembali:
  1. Periksa apakah ekstensi file ada dalam daftar yang didukung untuk skenario terkait.
  2. Konversi file ke ekstensi yang didukung dan kemas ulang untuk diunggah.
  3. Ekstensi gambar dan video di dalam zip multimodal masing-masing harus sesuai, jika tidak seluruh impor paket akan gagal.
Diagnosis:Penyebab umum adalah tag Bucket yang hilang, otorisasi akses OSS layanan Bailian abnormal, atau format file yang tidak sesuai.Tindakan:Lakukan troubleshooting sebagai berikut dan coba lagi:
  1. Verifikasi bahwa Bucket OSS telah ditambahkan tag otorisasi akses data Bailian.
  2. Konfirmasi bahwa layanan Bailian telah diotorisasi untuk mengakses data OSS.
  3. Periksa apakah data.jsonl dan format file sesuai dengan aturan pengemasan dan coba unggah lagi; untuk detail lihat Aturan pengemasan paket zip multimodal.
Pemberitahuan risiko operasi ireversibel:
  • Operasi publikasi dan penghapusan keduanya bersifat ireversibel; versi yang telah dipublikasikan tidak dapat diedit lagi, dan hanya versi draft yang dapat dihapus atau diedit secara daring.
  • Jenis set data (set pelatihan/set evaluasi) tidak dapat diubah atau ditukar setelah pembuatan; memilih yang salah memerlukan pembuatan set data baru dan impor ulang seluruh data.
  • Mengganti jenis set data, skenario pelatihan, atau metode pelatihan akan menghapus file yang telah diunggah dan mengatur ulang lokasi penyimpanan serta metode impor.
Pemisahan set validasi otomatis secara acak mengekstraksi 10% data dari set pelatihan sebagai set validasi, mengurangi volume data pelatihan aktual. Untuk set data kecil, disarankan menggunakan set validasi independen; untuk operasi konfigurasi set validasi lihat Fine-tune model di Konsol. Disarankan mengunduh terlebih dahulu templat data untuk skenario terkait; menyiapkan data sesuai struktur templat dapat menghindari kegagalan impor. Untuk rekomendasi pengunduhan templat data lihat Ikhtisar. Troubleshooting masalah umum dijelaskan rinci dalam item yang dapat dilipat di bawah ini. Untuk operasi pembersihan dan augmentasi data draft lihat , dan untuk domain data keamanan dan kepatuhan lihat . Saat validasi unggah gagal, buka halaman Konsol New Dataset untuk memeriksa format file dan aturan penerimaan.