Buat pekerjaan pelatihan fine-tuning model untuk video generation. Set data dapat diunggah melalui API atau dimount dari OSS.
Prasyarat
- Wilayah yang didukung: Fitur yang dijelaskan dalam topik ini hanya tersedia di wilayah Singapura, dan Anda harus menggunakan API Key dari wilayah tersebut.
- Izin akun: Jika Anda menggunakan sub-akun Alibaba Cloud (RAM user), Anda perlu memberikan izin kepada sub-akun tersebut untuk invokasi model, pelatihan, dan penerapan.
- Konfigurasikan variabel lingkungan: Anda telah berhasil mendapatkan API Key dan mengonfigurasikannya sebagai variabel lingkungan.
- Persiapan: Anda telah membaca Fine-tuning video generation models untuk memahami model yang didukung untuk fine-tuning, langkah-langkah fine-tuning, format data, dan penagihan.
Buat pekerjaan fine-tuning
- Singapura
POST https://dashscope-intl.aliyuncs.com/api/v1/fine-tunesUntuk Windows CMD, ganti$DASHSCOPE_API_KEYdengan%DASHSCOPE_API_KEY%. Untuk PowerShell, ganti dengan$env:DASHSCOPE_API_KEY
Parameter PermintaanHeaderContent-Typestring (Wajib)Nilai tetap: application/jsonAuthorization string (Wajib)Otentikasi API Key, format: Bearer sk-xxxx.Body Permintaanmodelstring (Wajib)Menentukan model dasar untuk fine-tuning.Image-to-video berdasarkan frame pertama:
array[string] (Wajib bersyarat)Array ID file set data pelatihan, mendukung beberapa ID. Gunakan parameter ini atau training_datasets. Jika menggunakan training_datasets, parameter ini tidak diperlukan. ID file diperoleh dari Upload File API.validation_file_ids array[string] (Opsional)Array ID file set data validasi, mendukung beberapa ID. Gunakan parameter ini atau validation_datasets. Jika menggunakan validation_datasets, parameter ini tidak diperlukan. Jika keduanya tidak disediakan, sistem akan secara otomatis membagi dari set pelatihan. ID file diperoleh dari Upload File API.training_type string (Wajib)Jenis fine-tuning. Saat ini hanya mendukung efficient_sft (fine-tuning efisien LoRA).hyper_parameters object (Opsional)Konfigurasi hiperparameter. Untuk pelatihan awal, disarankan menggunakan hiperparameter default. Jika performa model buruk atau pelatihan tidak konvergen, Anda dapat mencoba menyesuaikan parameter seperti n_epochs atau learning_rate.
Properti hiperparameter batch_size int (Wajib)Ukuran batch. Jumlah sampel data yang dikirim ke model untuk pelatihan sekaligus.Parameter ini merupakan konfigurasi per-instans. Kami merekomendasikan menggunakan nilai default untuk setiap model. Jangan sesuaikan kecuali diperlukan.
Jumlah instans aktual yang berjalan untuk pekerjaan pelatihan ditentukan oleh penjadwalan platform. Global Step yang muncul di log pelatihan mungkin berbeda dari hasil perkiraan, tetapi hal ini tidak mengubah jumlah total data pelatihan atau memengaruhi performa akhir model. int (Wajib)Jumlah epoch pelatihan. Nilai yang direkomendasikan: 50.steps = n_epochs × ⌈dataset_size / batch_size⌉. Disarankan total steps >= 800.Contoh: Dengan 5 sampel data dan batch_size=4, steps per epoch = ceil(5/4) = 2, minimum n_epochs = 800/2 = 400.
float (Wajib)Laju pembelajaran. Nilai yang direkomendasikan: 2e-5. Mengontrol besarnya pembaruan bobot model. Terlalu tinggi dapat menurunkan kualitas model, terlalu rendah dapat menyebabkan perubahan minimal.eval_epochs int (Wajib)Interval validasi. Nilai yang direkomendasikan: 20. Harus >= n_epochs/10. Menentukan berapa banyak epoch antara setiap evaluasi validasi selama pelatihan.max_pixels int (Wajib)Resolusi maksimum untuk video pelatihan. Menetapkan batas jumlah piksel total (lebar x tinggi) untuk resolusi video pelatihan. Sistem hanya menskalakan video yang melebihi nilai ini.
float (Opsional)Rasio pemisahan set pelatihan. Nilai yang direkomendasikan: 0.9. Rentang nilai: (0, 1).Hanya berlaku ketika validation_file_ids digunakan. Parameter ini secara otomatis membagi set validasi dari set pelatihan secara proporsional. Misalnya, nilai 0,9 berarti 90% untuk set pelatihan dan 10% untuk set validasi.max_split_val_dataset_sample int (Opsional)Jumlah maksimum sampel yang secara otomatis dibagi dari set pelatihan sebagai set validasi. Nilai yang direkomendasikan: 5. Harus >= 1.Hanya berlaku ketika validation_file_ids tidak ditentukan. Parameter ini menetapkan batas atas ukuran set validasi: validation_count = min(total_dataset × (1 - split), max_split_val_dataset_sample).save_total_limit int (Opsional)Batas penyimpanan checkpoint. Nilai yang direkomendasikan: 10. Membatasi jumlah maksimum model yang disimpan; sistem hanya akan menyimpan N checkpoint terakhir.lora_rank int (Opsional)Dimensi matriks low-rank LoRA. Nilai yang direkomendasikan: 32. Nilai ini menentukan ukuran parameter fine-tuning; nilai lebih besar memberikan kemampuan fitting lebih kuat tetapi kecepatan pelatihan lebih lambat. Harus berupa pangkat dari 2n (misalnya, 16, 32, 64).lora_alpha int (Opsional)Faktor penskalaan bobot LoRA. Nilai yang direkomendasikan: 32. Digunakan untuk menyesuaikan pengaruh parameter fine-tuned terhadap bobot model asli. Harus berupa pangkat dari 2n (misalnya, 16, 32, 64).Array of Dataset (Wajib bersyarat)Daftar file set data pelatihan. Gunakan parameter ini atau training_file_ids. Jika menggunakan training_file_ids, parameter ini tidak diperlukan.
Struktur Dataset data_source_type string (Wajib)Jenis sumber data. Nilai yang tersedia:
object (Wajib bersyarat)Diperlukan ketika jenis sumber data adalah oss_mount. Informasi mount OSS.
Properti region string (Wajib)Wilayah Bucket OSS yang akan dimount. Mendukung Beijing (cn-beijing) dan Singapura (ap-southeast-1).bucket string (Wajib)Nama Bucket OSS yang akan dimount.file_path string (Wajib)Jalur file OSS (object key) yang akan dimount. Untuk set data yang berisi beberapa file, gunakan jalur ke data.jsonl. Berbeda dengan metode file_id, Anda perlu mengunggah folder set data yang tidak dikompresi ke OSS. File zip tidak didukung.string (Wajib bersyarat)Diperlukan ketika jenis sumber data adalah file_id. ID file, dihasilkan oleh Upload File API.Array of Dataset (Opsional)Daftar file set data validasi. Struktur sama dengan training_datasets.Gunakan parameter ini atau validation_file_ids. Jika keduanya tidak disediakan, sistem akan secara otomatis membagi dari set pelatihan.job_name string (Opsional)Nama pekerjaan fine-tuning.model_name string (Opsional)Nama model setelah fine-tuning selesai. |
Parameter Responsrequest_idstringIdentifikasi unik untuk permintaan.output objectDetail pekerjaan.
Properti job_id stringIdentifikasi unik untuk pekerjaan fine-tuning, digunakan untuk mengkueri detail pekerjaan, log, membatalkan, atau menghapus pekerjaan. Aturan pembuatan: ft-{yyyyMMddHHmm}-{4 char uuid}.job_name stringNama pekerjaan fine-tuning.status stringStatus pekerjaan fine-tuning:
stringID model baru yang dihasilkan setelah fine-tuning, diperlukan untuk penerapan dan invokasi. Dikembalikan ketika status pekerjaan adalah SUCCEEDED.model stringModel dasar yang digunakan.base_model stringModel dasar yang digunakan.training_file_ids arrayBidang lama untuk kompatibilitas mundur, selalu mengembalikan array kosong untuk pekerjaan baru. Harap gunakan training_datasets.training_datasets Array of DatasetDaftar set data pelatihan.validation_file_ids arrayBidang lama untuk kompatibilitas mundur, selalu mengembalikan array kosong untuk pekerjaan baru. Harap gunakan validation_datasets.validation_datasets Array of DatasetDaftar set data validasi. Array kosong jika set validasi tidak ditentukan.hyper_parameters objectHiperparameter aktual yang digunakan.training_type stringMetode pelatihan untuk fine-tuning model.create_time stringWaktu pembuatan pekerjaan.end_time stringWaktu akhir pekerjaan. Dikembalikan ketika status pekerjaan adalah SUCCEEDED, FAILED, atau CANCELED.usage integerKonsumsi token pekerjaan fine-tuning. Dikembalikan ketika status pekerjaan adalah SUCCEEDED atau CANCELED.workspace_id stringID ruang kerja yang terkait dengan API Key Alibaba Cloud Model Studio. Lihat Dapatkan ID Ruang Kerja.user_identity stringIdentitas pengguna, ID akun Alibaba Cloud.creator stringID akun Alibaba Cloud pembuat.modifier stringID akun Alibaba Cloud pengubah.group stringKelompok pekerjaan fine-tuning.max_output_cnt integerJumlah maksimum checkpoint yang disimpan selama pelatihan. Setara dengan nilai hiperparameter save_total_limit.stringKode kesalahan. Dikembalikan ketika pemanggilan gagal. Lihat tabel kode kesalahan di bawah.message stringDeskripsi kesalahan detail. Dikembalikan ketika pemanggilan gagal. |
Bidang utama: output.job_id (ID Pekerjaan), output.finetuned_output (Nama model baru yang dihasilkan setelah fine-tuning). |
Kode Kesalahan
Jika pemanggilan gagal dan mengembalikan pesan kesalahan, lihat tabel berikut untuk troubleshooting.
Kode Status HTTP | Kode Kesalahan | Solusi |
|---|---|---|
400 | InvalidParameter | Kesalahan parameter: parameter hilang atau masalah format parameter. Perbaiki parameter Anda berdasarkan pesan kesalahan. |
400 | UnsupportedOperation | Resource tidak dapat dioperasikan saat berada dalam status tertentu. Tunggu hingga resource mencapai status yang dapat dioperasikan sebelum melakukan operasi. |
404 | NotFound | Resource yang akan dikueri/dioperasikan tidak ada. Periksa apakah ID resource salah. |
409 | Conflict | Instans penerapan dengan nama yang sama sudah ada. Tentukan sufiks untuk membedakan. |
429 | Throttling | Pembuatan resource memicu batasan platform. Hapus model yang tidak lagi digunakan. |
500 | InternalError | Kesalahan internal. Catat request_id dan hubungi insinyur Alibaba Cloud melalui tiket untuk troubleshooting. |