Evaluasi model adalah fitur penilaian kemampuan model yang disediakan oleh Model Studio. Fitur ini mendukung dua metode, yaitu evaluasi kustom dan evaluasi baseline, dengan target evaluasi yang mencakup model generasi teks dan model multimodal. Evaluasi baseline memiliki pustaka baseline standar publik bawaan yang mencakup lima kategori utama (pengetahuan umum, matematika, kode, penalaran kontekstual, dan domain spesifik) ditambah modalitas pemahaman visual, membantu Anda menilai skor dan membandingkan hasil inferensi model, memilih model yang optimal, atau memverifikasi efek fine-tuning.
Ringkasan Evaluasi Model
Evaluasi model adalah fitur penilaian kemampuan model yang disediakan oleh Model Studio. Fitur ini mendukung dua metode, yaitu evaluasi kustom dan evaluasi baseline, yang menilai skor dan membandingkan hasil inferensi model berdasarkan dimensi evaluasi untuk menghasilkan laporan evaluasi dan papan peringkat (leaderboard). Anda dapat menggunakan model preset atau model yang telah di-fine-tune sebagai target evaluasi untuk menguantifikasi kinerja model dan mendukung keputusan pemilihan model. Target evaluasi mendukung model generasi teks serta model multimodal seperti pemahaman visual, teks-ke-gambar, gambar-ke-gambar, dan gambar-ke-video. Set evaluasi kustom mendukung dua format teks, yaitu satu giliran (Prompt/Completion) dan percakapan multi-giliran (ChatML), serta skenario multimodal seperti pemahaman visual, teks-ke-gambar, gambar-ke-gambar, dan gambar-ke-video (frame pertama/frame pertama dan terakhir). Hasil evaluasi mendukung statistik Pass@K berdasarkan beberapa putaran sampling dan ekspor terklasifikasi berdasarkan aturan bucketing. Untuk pengenalan fitur lebih lanjut, lihat Ikhtisar Produk Evaluasi Model.
Skenario
- Perbandingan untuk pemilihan model: Evaluasi beberapa model kandidat menggunakan dataset dan dimensi evaluasi yang sama, lalu bandingkan skor keseluruhan dan tingkat kelulusan secara horizontal melalui papan peringkat untuk mendorong keputusan pemilihan model berbasis data.
- Verifikasi efek fine-tuning: Jalankan evaluasi sebelum dan sesudah fine-tuning model lalu bandingkan perubahan skor untuk menguantifikasi peningkatan kemampuan yang dihasilkan oleh fine-tuning. Untuk operasi fine-tuning, lihat Fine-tuning Model.
- Penilaian kemampuan kuantitatif: Hasilkan laporan evaluasi yang berisi skor keseluruhan, tingkat kelulusan, dan distribusi skor untuk menyediakan dukungan data objektif bagi kolaborasi tim dan pelaporan manajemen.
- Pemantauan kualitas berkelanjutan: Bangun mekanisme evaluasi berkala untuk melacak tren kinerja model dalam kondisi evaluasi yang sama dan mendeteksi penurunan kemampuan model secara tepat waktu.
- Penggalian hard case dan aliran balik data: Lakukan beberapa kali inferensi pada sampel yang sama untuk menghitung Pass@K, saring sampel sulit melalui bucketing hasil, dan alirkan balik sebagai dataset platform untuk fine-tuning yang tertarget.
Evaluasi Kustom dan Evaluasi Baseline
Evaluasi model di Model Studio mendukung dua metode evaluasi: evaluasi kustom berbasis hasil bisnis (mengevaluasi dengan dataset Anda sendiri dan dimensi kustom) dan evaluasi baseline berbasis kemampuan model umum (mengevaluasi kemampuan dasar model secara cepat dengan dataset standar publik).
Evaluasi kustom menggunakan dataset Anda sendiri dan dimensi kustom untuk evaluasi, serta mendukung tiga metode penilaian skor berikut:
- Evaluasi LLM (Automatic Evaluation): Model penilai (seperti Qwen-Max) memberikan skor pada respons model yang dievaluasi. Dimensi numerik menghasilkan skor bilangan bulat dalam rentang penilaian, dan dimensi kategorikal menghasilkan label Lulus/Gagal. Cocok untuk skenario yang memerlukan pemahaman semantik, seperti kualitas tanya jawab dan keamanan konten.
- Evaluasi berbasis aturan (Automated Metrics): Skor dihitung langsung oleh algoritma, tanpa model penilai. Pencocokan string memeriksa apakah keluaran sama persis dengan jawaban referensi, dan kemiripan teks dihitung menggunakan algoritma seperti ROUGE, BLEU, dan Cosine. Cocok untuk skenario dengan kriteria deterministik, seperti penerjemahan, ringkasan, dan Function Calling.
- Evaluasi Manual (Manual Annotation): Manusia meninjau hasil inferensi model satu per satu dan menganotasi label Lulus/Gagal. Cocok untuk skenario yang sulit dievaluasi secara akurat oleh mesin, seperti penulisan kreatif dan penilaian domain profesional.
Item perbandingan | Evaluasi Kustom | Evaluasi Baseline |
|---|---|---|
Sumber data | Dataset pengguna atau set hasil inferensi | Dataset standar publik (preset platform) |
Dimensi | Pembuatan kustom | Pustaka baseline preset sistem (13 baseline teks dalam 5 kategori + 4 baseline pemahaman visual, sebagian mendukung pemilihan subdimensi) |
Metode penilaian | Evaluasi AI / Evaluasi berbasis aturan / Anotasi Manual | Penilaian otomatis oleh sistem |
Unduhan hasil | Didukung | Didukung |
Wilayah yang tersedia | Semua wilayah | Hanya wilayah Beijing |
Alur Kerja Evaluasi dan Istilah Utama
Alur kerja evaluasi end-to-end terdiri dari empat tahap: siapkan dataset (unggah data tipe set evaluasi di modul manajemen data) → buat dimensi evaluasi (definisikan kriteria dan metode penilaian) → buat tugas evaluasi (pilih model, serta kaitkan dataset dan dimensi) → lihat hasil (analisis laporan skor, opsional menambahkannya ke papan peringkat untuk perbandingan).
Sebelum memulai, bedakan dua konsep kunci: Scoring Prompt dikonfigurasi pada dimensi evaluasi dan menginstruksikan model penilai tentang cara memberikan skor pada respons model yang dievaluasi. System Prompt dikonfigurasi pada tugas evaluasi dan mengatur peran atau pedoman perilaku bagi model yang dievaluasi, dan umumnya dapat dibiarkan kosong. Keduanya berbeda dalam target dan atribusi biaya.
Memulai
Bagian ini memandu Anda melakukan evaluasi model pertama melalui jalur terpendek. Setiap langkah menyediakan jalur navigasi konsol dan konfigurasi minimal untuk kolom formulir utama. Setelah menyelesaikan empat langkah berikut, Anda akan memperoleh laporan evaluasi yang berisi skor keseluruhan dan tingkat kelulusan.
Bilah atas halaman konsol menampilkan workspace saat ini (dapat diganti), wilayah (defaultnya China (Beijing)), dan pintasan Kembali ke Versi Lama. Metode evaluasi yang tersedia berbeda menurut wilayah (misalnya, evaluasi baseline hanya tersedia di wilayah Beijing).
Prasyarat
- Akun Alibaba Cloud Bailian telah diaktifkan, dan Anda dapat mengakses fitur evaluasi model melalui konsol Bailian.
- Dataset evaluasi telah disiapkan: unggah data bertipe set evaluasi (EvaluationSet) di modul manajemen data. Format sampel dapat berupa Generasi Teks (prompt&completion) (satu giliran, dengan kolom Prompt dan Completion) atau Generasi Teks (ChatML-messages) (multi-giliran); kedua format dapat digunakan untuk panduan memulai cepat ini. Saat mengevaluasi model multimodal, Anda harus mengunggah set evaluasi multimodal untuk skenario yang sesuai (pemahaman visual, teks-ke-gambar, gambar-ke-gambar, I2V) dalam bentuk arsip Zip. Untuk struktur kolom, lihat Aturan unggah data fine-tuning - format set evaluasi.
- Buat dimensi evaluasi: Di panel navigasi kiri konsol, pilih Evaluasi Model, beralih ke tab Dimensi, klik Buat Dimensi Evaluasi, lalu pilih + Buat dimensi evaluasi kustom pada kotak dialog. Konfigurasi minimal: atur tipe Dimensi ke evaluasi LLM - numerik, pilih Qwen-Max sebagai model penilai, pertahankan rentang skor 0-5, atur ambang kelulusan ke 3, dan gunakan templat Prompt default. Untuk konfigurasi selengkapnya, lihat Membuat dimensi evaluasi.
- Buat tugas evaluasi: Beralih ke tab Tugas Evaluasi, klik Buat Tugas Evaluasi, atur metode evaluasi ke Kustom, dan pertahankan tipe tugas sebagai Generasi Teks. Konfigurasi minimal: pilih model yang akan dievaluasi, atur sumber data ke dataset evaluasi dan tentukan dataset yang telah diunggah, kaitkan dimensi yang dibuat pada langkah sebelumnya, pertahankan koncurrency dan jumlah inferensi per sampel default, serta biarkan partisipasi papan peringkat nonaktif. Setelah dikonfirmasi, klik Evaluasi. Untuk konfigurasi selengkapnya, lihat Membuat tugas evaluasi kustom.
- Tunggu evaluasi selesai: Setelah dikirimkan, tugas memasuki status Menunggu lalu otomatis beralih ke Berjalan. Durasi evaluasi bergantung pada volume data dan kecepatan inferensi model; 50 entri data biasanya selesai dalam beberapa menit. Setelah selesai, Anda dapat melihat atau menganotasi hasil evaluasi, atau membangun papan peringkat evaluasi untuk membandingkan model yang berbeda dalam dimensi yang sama.
- Lihat hasil evaluasi: Setelah tugas selesai, klik nama tugas untuk membuka halaman detail. Pada tab Ikhtisar Tugas, lihat informasi dasar tugas dan metrik keseluruhan; pada tab Analisis Kasus, lihat masukan, keluaran, dan skor dimensi dari setiap sampel. Untuk interpretasi selengkapnya, lihat Melihat hasil evaluasi.
Kelola Tugas Evaluasi
Di halaman Evaluasi Model pada konsol Bailian, Anda dapat melakukan pengelolaan sehari-hari atas tugas evaluasi, dimensi evaluasi, dan papan peringkat.
Dapat-tidaknya dibalikkan dan cakupan dampak dari setiap operasi pengelolaan ditunjukkan pada tabel berikut. Konfirmasikan dampaknya sebelum melakukan operasi yang tidak dapat dibatalkan.
Tindakan | Dapat dibalikkan | Dampak |
|---|---|---|
Hentikan tugas | Tidak dapat dibalikkan | Data yang telah dievaluasi tetap dipertahankan; tugas tidak dapat dilanjutkan |
Hapus tugas | Tidak dapat dibalikkan | Tugas dan hasilnya dihapus secara permanen |
Ganti nama | Dapat dibalikkan | Hanya memengaruhi nama tampilan |
Keluarkan tugas dari papan peringkat | Dapat dibalikkan | Dapat ditambahkan kembali |
Hapus papan peringkat | Tidak dapat dibalikkan | Tidak memengaruhi tugas evaluasi yang sudah tertaut |
Hapus dimensi evaluasi | Tidak dapat dibalikkan | Jika dimensi terikat papan peringkat menjadi kosong, pembuatan tugas baru akan terblokir |
Manajemen Tugas Evaluasi
- Hentikan tugas: Hanya tersedia saat tugas sedang berjalan; operasi ini tidak dapat dibalikkan. Setelah dihentikan, data yang telah dievaluasi sebagian tetap dipertahankan tetapi tidak dapat dilanjutkan, dan kolom skor tugas pada papan peringkat menampilkan tanda hubung.
- Hapus tugas: Hanya tersedia saat tugas berada dalam salah satu dari tiga status akhir: evaluasi selesai, evaluasi dihentikan, atau evaluasi gagal; operasi ini tidak dapat dibalikkan. Tugas dan hasil evaluasinya dihapus secara permanen. Tugas yang terhubung ke papan peringkat harus dikeluarkan dari papan peringkat terlebih dahulu.
- Ganti nama: Hanya memengaruhi nama tampilan dan tidak memengaruhi hasil evaluasi.
- Unduh hasil: Mengunduh berkas data hasil evaluasi. Pengunduhan tidak didukung dalam status Menunggu.
- Saring dan cari: Mendukung pencarian berdasarkan nama tugas, penyaringan berdasarkan status, dan pengurutan berdasarkan waktu pembuatan.
Manajemen Dimensi Evaluasi
Menghapus dimensi evaluasi tidak dapat dibalikkan. Setelah dimensi yang terikat ke papan peringkat dihapus, dimensi terikat papan peringkat tersebut menjadi kosong, yang memblokir pembuatan tugas evaluasi baru di bawah papan peringkat tersebut. Sebelum menghapus dimensi, pastikan apakah ada papan peringkat yang menggunakannya.
Detail Penagihan
Biaya evaluasi model terdiri dari dua bagian: biaya inferensi model yang dievaluasi dan biaya penilaian model penilai. Untuk harga satuan model tertentu, lihat informasi harga pada daftar model preset.
Komposisi biaya untuk tipe dimensi yang berbeda adalah sebagai berikut:
Tipe dimensi | Biaya inferensi model yang dievaluasi | Biaya penilaian model penilai |
|---|---|---|
Evaluasi LLM (numerik/kategorikal) | Ditagihkan sesuai aturan penagihan model yang dievaluasi | Ditagihkan berdasarkan Token |
Evaluasi berbasis aturan (pencocokan string/kemiripan teks) | Ditagihkan sesuai aturan penagihan model yang dievaluasi | Tidak ada |
Evaluasi manual (kategorikal) | Ditagihkan sesuai aturan penagihan model yang dievaluasi | Tidak ada |
Saat set hasil inferensi digunakan | Tidak ada (tidak ada inferensi model yang dipanggil) | Ditentukan oleh tipe dimensi |
Biaya Inferensi Model yang Dievaluasi
Saat dataset evaluasi digunakan sebagai sumber data, sistem memanggil model yang dievaluasi untuk inferensi. Evaluasi model tidak menambahkan biaya layanan; biayanya adalah biaya inferensi model, yang ditagihkan sesuai aturan penagihan model yang dievaluasi itu sendiri:
- Model resmi: Ditagihkan sesuai satuan penagihan yang ditetapkan untuk model. Model seperti generasi teks dan pemahaman visual ditagihkan berdasarkan token masukan dan keluaran, dihitung sebagai: Jumlah token masukan / 1M x harga satuan masukan + Jumlah token keluaran / 1M x harga satuan keluaran. Model seperti generasi gambar dan generasi video ditagihkan berdasarkan jumlah gambar, durasi video, jumlah generasi, dll. Untuk selengkapnya, lihat petunjuk penagihan model yang dipilih.
- Model saya (model yang telah dideploy): Metode penagihan untuk pemanggilan evaluasi berbeda menurut metode deployment, seperti ditunjukkan pada tabel berikut.
Metode Deployment | Metode penagihan untuk pemanggilan evaluasi |
|---|---|
Deployment throughput preset | Menggunakan kuota throughput yang telah dibeli; dalam kuota tersebut, tidak ada biaya pemanggilan model yang ditagihkan berdasarkan token. Saat penggunaan melebihi throughput yang dibeli dan automatic overflow diaktifkan untuk deployment, bagian yang meluap ditagihkan sesuai aturan pemanggilan bayar sesuai pemakaian dari model public pool yang sesuai |
Model unit dan deployment komputasi khusus lainnya | Deployment ditagihkan berdasarkan durasi penggunaan dan spesifikasi komputasi yang dibeli; pemanggilan evaluasi tidak lagi dikenakan biaya pemanggilan model berdasarkan Token. |
Deployment Token bayar sesuai pemakaian (sebagian model hasil fine-tuning LoRA) | Ditagihkan berdasarkan penggunaan Token masukan dan keluaran aktual |
Biaya Penilaian Model Penilai
Hanya dimensi evaluasi LLM (numerik dan kategorikal) yang melibatkan biaya penilaian model penilai, ditagihkan berdasarkan konsumsi Token. Evaluasi berbasis aturan (pencocokan string dan kemiripan teks) dan evaluasi manual tidak menggunakan model penilai, sehingga tidak ada biaya penilaian.
Karena volume data evaluasi, keluaran model, dan hasil generasi gambar atau video tidak pasti, sistem tidak dapat memperkirakan total biaya secara akurat sebelum evaluasi; penagihan didasarkan pada penggunaan aktual.
Strategi Optimasi Biaya
- Validasi dalam skala kecil terlebih dahulu: Gunakan 50-100 entri data untuk memverifikasi kebenaran konfigurasi dan kualitas penilaian, lalu perbesar volume data setelah memastikan semuanya benar, untuk menghindari konsumsi terbuang akibat kesalahan konfigurasi.
- Simpan set hasil inferensi untuk digunakan kembali: Setelah evaluasi pertama, unduh hasil yang berisi Output model, dan gunakan metode set hasil inferensi untuk evaluasi berikutnya guna menghindari biaya dari inferensi berulang.
- Utamakan evaluasi berbasis aturan: Evaluasi berbasis aturan tidak menimbulkan biaya model penilai dan merupakan metode evaluasi berbiaya terendah. Gunakan terlebih dahulu untuk skenario dengan kriteria deterministik seperti penerjemahan, ringkasan, dan Function Calling.
FAQ
Pertanyaan: Saat mengonfigurasi dimensi evaluasi, rentang skor dan ambang kelulusan mudah tertukar.
Pertanyaan: Saat mengonfigurasi dimensi evaluasi, rentang skor dan ambang kelulusan mudah tertukar.
Pertanyaan: Saya ingin mengotomatiskan alur kerja evaluasi melalui API atau SDK.
Pertanyaan: Saya ingin mengotomatiskan alur kerja evaluasi melalui API atau SDK.
Pertanyaan: Evaluasi menemukan bahwa model berkinerja buruk dalam skenario tertentu.
Pertanyaan: Evaluasi menemukan bahwa model berkinerja buruk dalam skenario tertentu.