Skip to main content

Evaluasi Model

Evaluasi model adalah fitur penilaian kemampuan model yang disediakan oleh Model Studio. Fitur ini mendukung dua metode, yaitu evaluasi kustom dan evaluasi baseline, dengan target evaluasi yang mencakup model generasi teks dan model multimodal. Evaluasi baseline memiliki pustaka baseline standar publik bawaan yang mencakup lima kategori utama (pengetahuan umum, matematika, kode, penalaran kontekstual, dan domain spesifik) ditambah modalitas pemahaman visual, membantu Anda menilai skor dan membandingkan hasil inferensi model, memilih model yang optimal, atau memverifikasi efek fine-tuning.

Ringkasan Evaluasi Model

Evaluasi model adalah fitur penilaian kemampuan model yang disediakan oleh Model Studio. Fitur ini mendukung dua metode, yaitu evaluasi kustom dan evaluasi baseline, yang menilai skor dan membandingkan hasil inferensi model berdasarkan dimensi evaluasi untuk menghasilkan laporan evaluasi dan papan peringkat (leaderboard). Anda dapat menggunakan model preset atau model yang telah di-fine-tune sebagai target evaluasi untuk menguantifikasi kinerja model dan mendukung keputusan pemilihan model. Target evaluasi mendukung model generasi teks serta model multimodal seperti pemahaman visual, teks-ke-gambar, gambar-ke-gambar, dan gambar-ke-video. Set evaluasi kustom mendukung dua format teks, yaitu satu giliran (Prompt/Completion) dan percakapan multi-giliran (ChatML), serta skenario multimodal seperti pemahaman visual, teks-ke-gambar, gambar-ke-gambar, dan gambar-ke-video (frame pertama/frame pertama dan terakhir). Hasil evaluasi mendukung statistik Pass@K berdasarkan beberapa putaran sampling dan ekspor terklasifikasi berdasarkan aturan bucketing. Untuk pengenalan fitur lebih lanjut, lihat Ikhtisar Produk Evaluasi Model.

Skenario

  • Perbandingan untuk pemilihan model: Evaluasi beberapa model kandidat menggunakan dataset dan dimensi evaluasi yang sama, lalu bandingkan skor keseluruhan dan tingkat kelulusan secara horizontal melalui papan peringkat untuk mendorong keputusan pemilihan model berbasis data.
  • Verifikasi efek fine-tuning: Jalankan evaluasi sebelum dan sesudah fine-tuning model lalu bandingkan perubahan skor untuk menguantifikasi peningkatan kemampuan yang dihasilkan oleh fine-tuning. Untuk operasi fine-tuning, lihat Fine-tuning Model.
  • Penilaian kemampuan kuantitatif: Hasilkan laporan evaluasi yang berisi skor keseluruhan, tingkat kelulusan, dan distribusi skor untuk menyediakan dukungan data objektif bagi kolaborasi tim dan pelaporan manajemen.
  • Pemantauan kualitas berkelanjutan: Bangun mekanisme evaluasi berkala untuk melacak tren kinerja model dalam kondisi evaluasi yang sama dan mendeteksi penurunan kemampuan model secara tepat waktu.
  • Penggalian hard case dan aliran balik data: Lakukan beberapa kali inferensi pada sampel yang sama untuk menghitung Pass@K, saring sampel sulit melalui bucketing hasil, dan alirkan balik sebagai dataset platform untuk fine-tuning yang tertarget.

Evaluasi Kustom dan Evaluasi Baseline

Evaluasi model di Model Studio mendukung dua metode evaluasi: evaluasi kustom berbasis hasil bisnis (mengevaluasi dengan dataset Anda sendiri dan dimensi kustom) dan evaluasi baseline berbasis kemampuan model umum (mengevaluasi kemampuan dasar model secara cepat dengan dataset standar publik). Evaluasi kustom menggunakan dataset Anda sendiri dan dimensi kustom untuk evaluasi, serta mendukung tiga metode penilaian skor berikut:
  • Evaluasi LLM (Automatic Evaluation): Model penilai (seperti Qwen-Max) memberikan skor pada respons model yang dievaluasi. Dimensi numerik menghasilkan skor bilangan bulat dalam rentang penilaian, dan dimensi kategorikal menghasilkan label Lulus/Gagal. Cocok untuk skenario yang memerlukan pemahaman semantik, seperti kualitas tanya jawab dan keamanan konten.
  • Evaluasi berbasis aturan (Automated Metrics): Skor dihitung langsung oleh algoritma, tanpa model penilai. Pencocokan string memeriksa apakah keluaran sama persis dengan jawaban referensi, dan kemiripan teks dihitung menggunakan algoritma seperti ROUGE, BLEU, dan Cosine. Cocok untuk skenario dengan kriteria deterministik, seperti penerjemahan, ringkasan, dan Function Calling.
  • Evaluasi Manual (Manual Annotation): Manusia meninjau hasil inferensi model satu per satu dan menganotasi label Lulus/Gagal. Cocok untuk skenario yang sulit dievaluasi secara akurat oleh mesin, seperti penulisan kreatif dan penilaian domain profesional.
Saat tipe tugas yang dipilih saat membuat tugas evaluasi (untuk informasi selengkapnya, lihat Membuat Tugas Evaluasi Kustom) adalah pemahaman visual, teks-ke-gambar, gambar-ke-gambar, atau gambar-ke-video (frame pertama/frame pertama dan terakhir), evaluasi kustom saat ini hanya mendukung dimensi evaluasi manual; evaluasi LLM dan evaluasi berbasis aturan akan segera tersedia.
Evaluasi baseline memiliki pustaka bawaan berisi 13 baseline teks yang mencakup lima kategori utama (pengetahuan umum, matematika, kode, penalaran kontekstual, dan domain spesifik), ditambah 4 baseline multimodal untuk modalitas pemahaman visual (CMMMU, dan 3 pengaturan opsi MMMU-Pro), untuk mengevaluasi kemampuan dasar model secara cepat. Fitur ini hanya tersedia di wilayah Beijing. Untuk informasi selengkapnya, lihat Membuat Tugas Evaluasi Baseline. Perbandingan kedua metode evaluasi adalah sebagai berikut:

Item perbandingan

Evaluasi Kustom

Evaluasi Baseline

Sumber data

Dataset pengguna atau set hasil inferensi

Dataset standar publik (preset platform)

Dimensi

Pembuatan kustom

Pustaka baseline preset sistem (13 baseline teks dalam 5 kategori + 4 baseline pemahaman visual, sebagian mendukung pemilihan subdimensi)

Metode penilaian

Evaluasi AI / Evaluasi berbasis aturan / Anotasi Manual

Penilaian otomatis oleh sistem

Unduhan hasil

Didukung

Didukung

Wilayah yang tersedia

Semua wilayah

Hanya wilayah Beijing

Alur Kerja Evaluasi dan Istilah Utama

Alur kerja evaluasi end-to-end terdiri dari empat tahap: siapkan dataset (unggah data tipe set evaluasi di modul manajemen data) → buat dimensi evaluasi (definisikan kriteria dan metode penilaian) → buat tugas evaluasi (pilih model, serta kaitkan dataset dan dimensi) → lihat hasil (analisis laporan skor, opsional menambahkannya ke papan peringkat untuk perbandingan). Sebelum memulai, bedakan dua konsep kunci: Scoring Prompt dikonfigurasi pada dimensi evaluasi dan menginstruksikan model penilai tentang cara memberikan skor pada respons model yang dievaluasi. System Prompt dikonfigurasi pada tugas evaluasi dan mengatur peran atau pedoman perilaku bagi model yang dievaluasi, dan umumnya dapat dibiarkan kosong. Keduanya berbeda dalam target dan atribusi biaya.

Memulai

Bagian ini memandu Anda melakukan evaluasi model pertama melalui jalur terpendek. Setiap langkah menyediakan jalur navigasi konsol dan konfigurasi minimal untuk kolom formulir utama. Setelah menyelesaikan empat langkah berikut, Anda akan memperoleh laporan evaluasi yang berisi skor keseluruhan dan tingkat kelulusan. Bilah atas halaman konsol menampilkan workspace saat ini (dapat diganti), wilayah (defaultnya China (Beijing)), dan pintasan Kembali ke Versi Lama. Metode evaluasi yang tersedia berbeda menurut wilayah (misalnya, evaluasi baseline hanya tersedia di wilayah Beijing). Prasyarat
  • Akun Alibaba Cloud Bailian telah diaktifkan, dan Anda dapat mengakses fitur evaluasi model melalui konsol Bailian.
  • Dataset evaluasi telah disiapkan: unggah data bertipe set evaluasi (EvaluationSet) di modul manajemen data. Format sampel dapat berupa Generasi Teks (prompt&completion) (satu giliran, dengan kolom Prompt dan Completion) atau Generasi Teks (ChatML-messages) (multi-giliran); kedua format dapat digunakan untuk panduan memulai cepat ini. Saat mengevaluasi model multimodal, Anda harus mengunggah set evaluasi multimodal untuk skenario yang sesuai (pemahaman visual, teks-ke-gambar, gambar-ke-gambar, I2V) dalam bentuk arsip Zip. Untuk struktur kolom, lihat Aturan unggah data fine-tuning - format set evaluasi.
Prosedur
  1. Buat dimensi evaluasi: Di panel navigasi kiri konsol, pilih Evaluasi Model, beralih ke tab Dimensi, klik Buat Dimensi Evaluasi, lalu pilih + Buat dimensi evaluasi kustom pada kotak dialog. Konfigurasi minimal: atur tipe Dimensi ke evaluasi LLM - numerik, pilih Qwen-Max sebagai model penilai, pertahankan rentang skor 0-5, atur ambang kelulusan ke 3, dan gunakan templat Prompt default. Untuk konfigurasi selengkapnya, lihat Membuat dimensi evaluasi.
  2. Buat tugas evaluasi: Beralih ke tab Tugas Evaluasi, klik Buat Tugas Evaluasi, atur metode evaluasi ke Kustom, dan pertahankan tipe tugas sebagai Generasi Teks. Konfigurasi minimal: pilih model yang akan dievaluasi, atur sumber data ke dataset evaluasi dan tentukan dataset yang telah diunggah, kaitkan dimensi yang dibuat pada langkah sebelumnya, pertahankan koncurrency dan jumlah inferensi per sampel default, serta biarkan partisipasi papan peringkat nonaktif. Setelah dikonfirmasi, klik Evaluasi. Untuk konfigurasi selengkapnya, lihat Membuat tugas evaluasi kustom.
  3. Tunggu evaluasi selesai: Setelah dikirimkan, tugas memasuki status Menunggu lalu otomatis beralih ke Berjalan. Durasi evaluasi bergantung pada volume data dan kecepatan inferensi model; 50 entri data biasanya selesai dalam beberapa menit. Setelah selesai, Anda dapat melihat atau menganotasi hasil evaluasi, atau membangun papan peringkat evaluasi untuk membandingkan model yang berbeda dalam dimensi yang sama.
  4. Lihat hasil evaluasi: Setelah tugas selesai, klik nama tugas untuk membuka halaman detail. Pada tab Ikhtisar Tugas, lihat informasi dasar tugas dan metrik keseluruhan; pada tab Analisis Kasus, lihat masukan, keluaran, dan skor dimensi dari setiap sampel. Untuk interpretasi selengkapnya, lihat Melihat hasil evaluasi.

Kelola Tugas Evaluasi

Di halaman Evaluasi Model pada konsol Bailian, Anda dapat melakukan pengelolaan sehari-hari atas tugas evaluasi, dimensi evaluasi, dan papan peringkat. Dapat-tidaknya dibalikkan dan cakupan dampak dari setiap operasi pengelolaan ditunjukkan pada tabel berikut. Konfirmasikan dampaknya sebelum melakukan operasi yang tidak dapat dibatalkan.

Tindakan

Dapat dibalikkan

Dampak

Hentikan tugas

Tidak dapat dibalikkan

Data yang telah dievaluasi tetap dipertahankan; tugas tidak dapat dilanjutkan

Hapus tugas

Tidak dapat dibalikkan

Tugas dan hasilnya dihapus secara permanen

Ganti nama

Dapat dibalikkan

Hanya memengaruhi nama tampilan

Keluarkan tugas dari papan peringkat

Dapat dibalikkan

Dapat ditambahkan kembali

Hapus papan peringkat

Tidak dapat dibalikkan

Tidak memengaruhi tugas evaluasi yang sudah tertaut

Hapus dimensi evaluasi

Tidak dapat dibalikkan

Jika dimensi terikat papan peringkat menjadi kosong, pembuatan tugas baru akan terblokir

Manajemen Tugas Evaluasi

  • Hentikan tugas: Hanya tersedia saat tugas sedang berjalan; operasi ini tidak dapat dibalikkan. Setelah dihentikan, data yang telah dievaluasi sebagian tetap dipertahankan tetapi tidak dapat dilanjutkan, dan kolom skor tugas pada papan peringkat menampilkan tanda hubung.
  • Hapus tugas: Hanya tersedia saat tugas berada dalam salah satu dari tiga status akhir: evaluasi selesai, evaluasi dihentikan, atau evaluasi gagal; operasi ini tidak dapat dibalikkan. Tugas dan hasil evaluasinya dihapus secara permanen. Tugas yang terhubung ke papan peringkat harus dikeluarkan dari papan peringkat terlebih dahulu.
  • Ganti nama: Hanya memengaruhi nama tampilan dan tidak memengaruhi hasil evaluasi.
  • Unduh hasil: Mengunduh berkas data hasil evaluasi. Pengunduhan tidak didukung dalam status Menunggu.
  • Saring dan cari: Mendukung pencarian berdasarkan nama tugas, penyaringan berdasarkan status, dan pengurutan berdasarkan waktu pembuatan.

Manajemen Dimensi Evaluasi

Menghapus dimensi evaluasi tidak dapat dibalikkan. Setelah dimensi yang terikat ke papan peringkat dihapus, dimensi terikat papan peringkat tersebut menjadi kosong, yang memblokir pembuatan tugas evaluasi baru di bawah papan peringkat tersebut. Sebelum menghapus dimensi, pastikan apakah ada papan peringkat yang menggunakannya.

Detail Penagihan

Biaya evaluasi model terdiri dari dua bagian: biaya inferensi model yang dievaluasi dan biaya penilaian model penilai. Untuk harga satuan model tertentu, lihat informasi harga pada daftar model preset. Komposisi biaya untuk tipe dimensi yang berbeda adalah sebagai berikut:

Tipe dimensi

Biaya inferensi model yang dievaluasi

Biaya penilaian model penilai

Evaluasi LLM (numerik/kategorikal)

Ditagihkan sesuai aturan penagihan model yang dievaluasi

Ditagihkan berdasarkan Token

Evaluasi berbasis aturan (pencocokan string/kemiripan teks)

Ditagihkan sesuai aturan penagihan model yang dievaluasi

Tidak ada

Evaluasi manual (kategorikal)

Ditagihkan sesuai aturan penagihan model yang dievaluasi

Tidak ada

Saat set hasil inferensi digunakan

Tidak ada (tidak ada inferensi model yang dipanggil)

Ditentukan oleh tipe dimensi

Biaya Inferensi Model yang Dievaluasi

Saat dataset evaluasi digunakan sebagai sumber data, sistem memanggil model yang dievaluasi untuk inferensi. Evaluasi model tidak menambahkan biaya layanan; biayanya adalah biaya inferensi model, yang ditagihkan sesuai aturan penagihan model yang dievaluasi itu sendiri:
  • Model resmi: Ditagihkan sesuai satuan penagihan yang ditetapkan untuk model. Model seperti generasi teks dan pemahaman visual ditagihkan berdasarkan token masukan dan keluaran, dihitung sebagai: Jumlah token masukan / 1M x harga satuan masukan + Jumlah token keluaran / 1M x harga satuan keluaran. Model seperti generasi gambar dan generasi video ditagihkan berdasarkan jumlah gambar, durasi video, jumlah generasi, dll. Untuk selengkapnya, lihat petunjuk penagihan model yang dipilih.
  • Model saya (model yang telah dideploy): Metode penagihan untuk pemanggilan evaluasi berbeda menurut metode deployment, seperti ditunjukkan pada tabel berikut.

Metode Deployment

Metode penagihan untuk pemanggilan evaluasi

Deployment throughput preset

Menggunakan kuota throughput yang telah dibeli; dalam kuota tersebut, tidak ada biaya pemanggilan model yang ditagihkan berdasarkan token. Saat penggunaan melebihi throughput yang dibeli dan automatic overflow diaktifkan untuk deployment, bagian yang meluap ditagihkan sesuai aturan pemanggilan bayar sesuai pemakaian dari model public pool yang sesuai

Model unit dan deployment komputasi khusus lainnya

Deployment ditagihkan berdasarkan durasi penggunaan dan spesifikasi komputasi yang dibeli; pemanggilan evaluasi tidak lagi dikenakan biaya pemanggilan model berdasarkan Token.

Deployment Token bayar sesuai pemakaian (sebagian model hasil fine-tuning LoRA)

Ditagihkan berdasarkan penggunaan Token masukan dan keluaran aktual

Saat jumlah inferensi per sampel diatur ke nilai lebih besar dari 1, setiap sampel diinferensikan sebanyak jumlah yang ditentukan, dan biaya inferensi meningkat sesuai jumlah inferensi, ditagihkan berdasarkan penggunaan aktual. Saat set hasil inferensi digunakan sebagai sumber data, tidak ada inferensi model yang dilakukan, dan tidak ada biaya inferensi untuk model yang dievaluasi. Penagihan evaluasi baseline sama dengan evaluasi kustom: biaya inferensi ditagihkan sesuai aturan penagihan model yang dievaluasi itu sendiri.

Biaya Penilaian Model Penilai

Hanya dimensi evaluasi LLM (numerik dan kategorikal) yang melibatkan biaya penilaian model penilai, ditagihkan berdasarkan konsumsi Token. Evaluasi berbasis aturan (pencocokan string dan kemiripan teks) dan evaluasi manual tidak menggunakan model penilai, sehingga tidak ada biaya penilaian. Karena volume data evaluasi, keluaran model, dan hasil generasi gambar atau video tidak pasti, sistem tidak dapat memperkirakan total biaya secara akurat sebelum evaluasi; penagihan didasarkan pada penggunaan aktual.

Strategi Optimasi Biaya

  • Validasi dalam skala kecil terlebih dahulu: Gunakan 50-100 entri data untuk memverifikasi kebenaran konfigurasi dan kualitas penilaian, lalu perbesar volume data setelah memastikan semuanya benar, untuk menghindari konsumsi terbuang akibat kesalahan konfigurasi.
  • Simpan set hasil inferensi untuk digunakan kembali: Setelah evaluasi pertama, unduh hasil yang berisi Output model, dan gunakan metode set hasil inferensi untuk evaluasi berikutnya guna menghindari biaya dari inferensi berulang.
  • Utamakan evaluasi berbasis aturan: Evaluasi berbasis aturan tidak menimbulkan biaya model penilai dan merupakan metode evaluasi berbiaya terendah. Gunakan terlebih dahulu untuk skenario dengan kriteria deterministik seperti penerjemahan, ringkasan, dan Function Calling.

FAQ

Rentang skor mendefinisikan interval skor model penilai (bilangan bulat, seperti 0-5) dan menentukan granularitas penilaian. Ambang kelulusan adalah garis pemisah untuk penentuan Lulus/Gagal (mendukung desimal, langkah 0,1, seperti 3.0) dan digunakan untuk menghitung tingkat kelulusan. Keduanya dikonfigurasi secara terpisah: yang pertama menentukan "berapa banyak poin yang dapat diraih model", dan yang terakhir menentukan "berapa poin yang dianggap lulus".
Evaluasi model saat ini hanya mendukung operasi konsol dan tidak menyediakan API/SDK publik. Jika Anda memerlukan kemampuan evaluasi terprogram, rujuk PAI Judge Model API sebagai alternatif.
Anda dapat melakukan fine-tuning pada model dan menjalankan ulang evaluasi untuk memverifikasi hasilnya (lihat fine-tuning model). Jika model kekurangan pengetahuan domain spesifik, Anda dapat memperkenalkan basis pengetahuan untuk meningkatkan kemampuan model (lihat basis pengetahuan).