Topik ini menjelaskan cara membuat dan mengelola templat dimensi evaluasi.
Ringkasan dimensi evaluasi
Dimensi evaluasi menentukan aturan penilaian untuk tugas evaluasi model. Setiap dimensi dikonfigurasi dengan satu penilai. Setelah dibuat sebagai templat, dimensi dapat dirujuk oleh beberapa tugas evaluasi, sehingga memungkinkan pengelolaan dan penggunaan ulang kriteria evaluasi secara terpadu.
Platform Model Studio menyediakan lima jenis penilai berikut, yang mencakup tiga paradigma evaluasi utama: evaluasi otomatis berbasis LLM, pencocokan aturan, dan peninjauan manual:
- Evaluasi LLM - Kategorikal: Model penilai mengklasifikasikan keluaran model berdasarkan label yang ditentukan pengguna (Lulus/Tidak Lulus). Cocok untuk skenario yang memerlukan pemahaman semantik, seperti pemeriksaan keamanan konten dan penilaian kebenaran jawaban.
- Evaluasi LLM - Numerik: Model penilai memberikan skor numerik kontinu pada keluaran model (misalnya, 0~5). Cocok untuk skenario yang memerlukan kuantifikasi terperinci, seperti penilaian kualitas tanya jawab dan penilaian kualitas konten yang dihasilkan.
- Evaluasi aturan - Pencocokan string: Menentukan secara terprogram hubungan pencocokan persis (sama/tidak sama/mengandung) antara keluaran model dan teks referensi. Cocok untuk skenario dengan jawaban standar yang pasti, seperti Function Calling dan NL2SQL.
- Evaluasi aturan - Kemiripan teks: Menggunakan algoritme untuk menghitung kemiripan antara keluaran model dan teks referensi (BLEU/ROUGE/Cosine, dan lainnya). Cocok untuk mengkuantifikasi kemiripan respons terbuka, seperti penerjemahan, peringkasan, dan penulisan ulang.
- Evaluasi manual - Kategorikal: Evaluator mengklasifikasikan keluaran model secara manual berdasarkan label. Cocok untuk skenario yang memerlukan penilaian subjektif, seperti nada dan gaya, serta tinjauan kepatuhan.
Jenis dimensi | Metode evaluasi | Skenario yang berlaku | Jawaban referensi diperlukan | Tingkat otomatisasi |
|---|---|---|---|---|
Evaluasi LLM - Kategorikal | Model penilai mengklasifikasikan berdasarkan label | Keamanan konten, kebenaran jawaban | Tidak | Sepenuhnya otomatis |
Evaluasi LLM - Numerik | Model penilai memberi skor berdasarkan rentang | Kualitas tanya jawab, kualitas generasi | Tidak | Sepenuhnya otomatis |
Evaluasi aturan - Pencocokan string | Pencocokan string persis/parsial | Function Calling, NL2SQL | Ya | Sepenuhnya otomatis |
Evaluasi aturan - Kemiripan teks | Algoritme BLEU/ROUGE/Cosine dan lainnya | Penerjemahan, peringkasan, penulisan ulang | Ya | Sepenuhnya otomatis |
Evaluasi manual - Kategorikal | Peninjauan manual berdasarkan label | Nada dan gaya, tinjauan kepatuhan | Tidak | Manual |
- Jawaban standar dengan format tetap: utamakan evaluasi aturan - pencocokan string, yang menawarkan biaya terendah dan kecepatan tertinggi.
- Jawaban standar dengan variasi redaksi: gunakan evaluasi aturan - kemiripan teks, yang mengakomodasi variasi redaksi melalui algoritme.
- Tanpa jawaban standar, memerlukan pemahaman semantik: gunakan evaluasi LLM (kategorikal atau numerik) dan biarkan model penilai menilai pada tingkat semantik.
- Memerlukan penilaian subjektif atau tinjauan profesional: gunakan evaluasi manual - kategorikal, dengan evaluator meninjau setiap item.
Membuat templat dimensi evaluasi
Masuk ke konsol Model Studio. Di panel navigasi kiri, pilih Evaluasi Model > Dimensi Evaluasi, lalu klik Buat Dimensi Evaluasi untuk membuka dialog pemilihan: Anda dapat memfilter daftar templat prasetel berdasarkan jenis dan label, lalu klik Gunakan Templat pada kartu templat untuk menerapkannya sekali klik; atau klik + Buat Dimensi Evaluasi Kustom untuk masuk ke halaman konfigurasi kustom.
Saat membuat templat dimensi evaluasi, Anda harus terlebih dahulu mengisi bidang umum berikut:
- Nama dimensi: wajib, tidak lebih dari 20 karakter.
- Deskripsi: opsional, tidak lebih dari 100 karakter. Digunakan untuk melengkapi tujuan penilaian dimensi.
- Jenis: wajib. Pilih salah satu dari lima jenis penilai. Jenis penilai tidak dapat diubah setelah dibuat. Jika Anda salah memilih, Anda hanya dapat menghapus dan membuatnya ulang.
Parameter | Deskripsi | Wajib | Deskripsi nilai |
|---|---|---|---|
Nama dimensi | Nama templat dimensi evaluasi | Ya | Tidak lebih dari 20 karakter |
Deskripsi | Penjelasan pelengkap dimensi | Tidak | Tidak lebih dari 100 karakter |
Jenis | Metode evaluasi penilai, yang tidak dapat diubah setelah dibuat | Ya | Pilih salah satu dari 5 jenis |
Model penilai | Model bahasa besar yang melakukan evaluasi | Wajib untuk jenis evaluasi LLM | Pilih dari daftar drop-down |
Templat penilai | Templat prompt yang memandu model penilai | Wajib untuk jenis evaluasi LLM | Templat prasetel atau kustom |
Rentang skor | Nilai minimum dan maksimum penilaian numerik | Wajib untuk jenis numerik | Bilangan bulat, default 0~5 |
Ambang batas kelulusan | Skor atau kemiripan minimum untuk penilaian lulus | Wajib untuk jenis numerik/kemiripan | Numerik |
Penting Jenis penilai tidak dapat diubah setelah dibuat. Jika Anda salah memilih, Anda hanya dapat menghapus dan membuatnya ulang.
- Evaluasi LLM - Kategorikal
- Evaluasi LLM - Numerik
- Evaluasi aturan - Pencocokan string
- Evaluasi aturan - Kemiripan teks
- Evaluasi manual - Kategorikal
- Pilih model penilai: pilih model bahasa besar yang digunakan untuk evaluasi dari daftar drop-down.
- Pilih templat penilai: gunakan Pilih templat prasetel untuk menerapkan templat prasetel platform (templat prasetel kategorikal dapat dilihat di Templat prasetel), atau modifikasi sendiri berdasarkan prompt default di editor. Setelah Anda memilih templat prasetel, sistem otomatis mengisi prompt dan label default. Untuk informasi selengkapnya, lihat Mengonfigurasi prompt penilai.
- Tulis prompt penilai: prompt harus berisi setidaknya satu variabel (${messages}, ${completion}, ${output}) dan tidak lebih dari 20000 karakter. Prompt menentukan kriteria penilaian dan format keluaran model penilai.
- Konfigurasikan label Lulus dan label Tidak Lulus: tentukan label klasifikasi untuk lulus dan tidak lulus, masing-masing tidak lebih dari 20 karakter. Label Lulus dan Tidak Lulus tidak boleh duplikat.
- Klik Simpan.
Mengonfigurasi prompt penilai
Prompt penilai adalah instruksi yang memandu model penilai dalam mengevaluasi kualitas keluaran. Prompt hanya berlaku untuk jenis evaluasi LLM (kategorikal dan numerik). Dengan menulis prompt, Anda menentukan kriteria penilaian dan format keluaran model penilai.
Variabel prompt
Prompt penilai mendukung tiga variabel berikut, yang secara otomatis diganti dengan nilai aktual oleh sistem selama eksekusi evaluasi (ketik / di editor prompt untuk merujuk variabel dengan cepat):
- ${messages}: konten percakapan lengkap. Untuk dataset evaluasi percakapan multi-turn (ChatML), berisi seluruh pesan; untuk dataset evaluasi single-turn (prompt&completion), berupa input pengguna.
- ${completion}: balasan referensi, yaitu jawaban referensi yang telah diatur sebelumnya dalam dataset evaluasi (untuk dataset multi-turn, yaitu pesan assistant terakhir).
- ${output}: keluaran model yang diuji, yaitu balasan model terhadap pertanyaan saat ini.
Templat prasetel
Sistem menyediakan templat penilai prasetel untuk jenis evaluasi LLM. Setelah Anda memilih salah satunya, konten prompt dan konfigurasi label default akan terisi otomatis. Daftar templat diambil secara dinamis dari konfigurasi sistem; dalam dialog pembuatan dimensi evaluasi, filter berdasarkan jenis (Evaluasi LLM - Numerik, Evaluasi LLM - Kategorikal, Evaluasi aturan) dan label (kualitas umum, pencocokan teks, kemiripan teks, keamanan, klasifikasi teks), lalu klik Gunakan Templat untuk menerapkannya.
Templat prasetel untuk jenis numerik (9):
- Kualitas Terjemahan: mengevaluasi kualitas pemulihan menyeluruh terjemahan terhadap makna, nada, terminologi, dan ekspresi teks sumber.
- Kreativitas Konten: mengevaluasi apakah respons memiliki ekspresi atau gagasan yang baru dan bernilai sambil tetap memenuhi persyaratan tugas.
- Kelengkapan Identifikasi Risiko: mengevaluasi apakah respons mengidentifikasi secara lengkap risiko-risiko kunci dalam suatu rencana atau perilaku.
- Perlindungan Privasi: mengevaluasi apakah respons melindungi informasi pribadi, data sensitif, dan privasi pengguna dengan baik.
- Saran yang Dapat Ditindaklanjuti: mengevaluasi apakah saran dalam respons bersifat spesifik, dapat dilaksanakan, dan dapat memandu langkah selanjutnya.
- Kegunaan Jawaban: mengevaluasi apakah respons benar-benar membantu pengguna mencapai tujuan saat ini.
- Koherensi Logis: mengevaluasi struktur argumen, konsistensi antarbagian, dan kesinambungan penalaran respons.
- Keringkasan Jawaban: mengevaluasi apakah respons menghindari redundansi dan menyelesaikan tugas dengan panjang yang diperlukan.
- Kelancaran Bahasa: mengevaluasi apakah respons alami, lancar, dan mudah dibaca.
- Klasifikasi Status Penyelesaian Masalah: menentukan apakah respons menyelesaikan masalah pengguna saat ini.
- Klasifikasi Keterjawaban Pertanyaan: menentukan apakah pertanyaan saat ini dapat dijawab langsung berdasarkan informasi yang telah disediakan.
- Klasifikasi Risiko Keamanan: mengidentifikasi apakah respons aman, memiliki potensi risiko, atau memuat konten berisiko tinggi.
- Klasifikasi Niat Pengguna: mengidentifikasi tujuan utama pengguna dalam percakapan lengkap.
- Klasifikasi Kecenderungan Sentimen: menandai respons yang dinilai sebagai positif, netral, atau negatif.
Menulis prompt kustom
Saat Anda memilih templat kustom, tulis panduan penilaian di area pengeditan prompt. Poin-poin penting:
- Gunakan variabel ${messages}, ${completion}, dan ${output} untuk merujuk data evaluasi.
- Tentukan kriteria penilaian dengan jelas. Untuk jenis kategorikal, tentukan kondisi penilaian untuk setiap label; untuk jenis numerik, tentukan standar kualitas yang sesuai dengan setiap skor.
- Tentukan persyaratan format keluaran untuk memastikan hasil evaluasi model penilai dapat diurai dengan benar oleh sistem.
- Optimasi AI: klik Optimalkan di toolbar editor prompt, dan sistem akan menghasilkan versi yang dioptimalkan berdasarkan prompt saat ini; pada dialog yang muncul, Anda dapat memilih Gunakan Sekarang, Buat Ulang, atau keluar.
- Uji coba: setelah konfigurasi selesai, klik Mulai Jalankan di area uji coba untuk memverifikasi efek penilaian dengan data contoh; hasil eksekusi ditampilkan di sisi kanan. Saat ini uji coba dan pemanggilan model penilai gratis dalam waktu terbatas.
Mengelola templat dimensi evaluasi
Di halaman daftar dimensi evaluasi, Anda dapat melihat, mengubah, dan menghapus templat dimensi yang Anda buat.
Melihat dimensi
Halaman daftar dimensi menampilkan semua templat dimensi yang telah dibuat dan mendukung operasi berikut:
- Cari berdasarkan nama: masukkan kata kunci nama dimensi di kotak pencarian untuk kueri kabur.
- Filter berdasarkan jenis: klik ikon filter di header kolom Jenis untuk memfilter dengan memilih beberapa jenis penilai.
- Urutkan berdasarkan waktu pembuatan: klik Urutkan berdasarkan waktu pembuatan untuk beralih antara urutan naik dan turun.
Mengubah dimensi
Di halaman detail dimensi, Anda dapat mengubah nama dimensi, deskripsi, prompt penilai, label, dan item konfigurasi lainnya. Jenis penilai tidak dapat diubah setelah dibuat. Perubahan langsung berlaku setelah disimpan.
Menghapus dimensi
Klik tombol Hapus di kolom operasi dimensi target dalam daftar dimensi. Operasi penghapusan tidak dapat dibatalkan. Jika dimensi dirujuk oleh tugas evaluasi, dimensi tidak dapat dihapus. Anda harus menghapus tugas evaluasi terkait sebelum menghapus dimensi.
Rekomendasi desain dimensi evaluasi
Merancang dimensi evaluasi berkualitas tinggi membantu mengukur kinerja model secara akurat. Berikut adalah rekomendasi utama dari praktik.
Pemilihan dan iterasi jenis
Pilih jenis yang sesuai berdasarkan skenario evaluasi: utamakan evaluasi aturan untuk skenario dengan jawaban standar (biaya rendah dan cepat), gunakan evaluasi LLM untuk skenario yang memerlukan pemahaman semantik, dan gunakan evaluasi manual untuk penilaian kualitas subjektif. Untuk perbandingan jenis secara rinci, lihat Ringkasan dimensi evaluasi.
Sebaiknya buat dimensi dengan templat prasetel terlebih dahulu dan jalankan evaluasi pada sampel kecil (10~20 entri data) untuk memverifikasi efeknya. Berdasarkan kasus dengan penyimpangan besar dalam hasil evaluasi, sesuaikan kriteria penilaian dan definisi skor dalam prompt secara terarah, dan perbesar skala evaluasi setelah verifikasi. Bertransisi secara bertahap dari templat prasetel ke prompt kustom.
Rekomendasi konfigurasi parameter
Label Lulus dan Tidak Lulus harus saling eksklusif dan mencakup semua kemungkinan, yaitu semua keluaran yang mungkin dapat diklasifikasikan ke salah satunya. Klasifikasi biner cukup untuk skenario sederhana; ketika beberapa label diperlukan untuk skenario kompleks, jaga jumlah label tetap sedikit untuk mengurangi ambiguitas penilaian.
Untuk Evaluasi LLM - Numerik, sebaiknya rentang skor tidak lebih dari 10 (rentang yang terlalu besar mengurangi konsistensi penilaian LLM). Rentang default 0~5 dengan ambang batas kelulusan 3 adalah konfigurasi umum. Tetapkan ambang batas kelulusan berdasarkan toleransi bisnis terhadap kualitas: semakin tinggi ambang batas, semakin ketat standar kelulusan.
Pilih algoritme kemiripan yang sesuai berdasarkan jenis tugas evaluasi:
- Tugas penerjemahan: BLEU (mengukur pencocokan persis n-gram).
- Tugas peringkasan: ROUGE-L (mengukur subsekuens umum terpanjang).
- Relevansi semantik: kemiripan kosinus (mengukur jarak vektor semantik).
- Tugas klasifikasi: Akurasi (mengukur tingkat kecocokan persis).
Konvensi penamaan
Sebaiknya gunakan pola penamaan "aspek penilaian + metode evaluasi", seperti "Akurasi jawaban - penilaian LLM", "Kecenderungan sentimen - klasifikasi label", dan "Kepatuhan format - pencocokan string". Penamaan yang jelas membantu Anda mengidentifikasi dan memilih dimensi dengan cepat dalam tugas evaluasi.
FAQ
Berikut adalah masalah dan solusi umum saat Anda menggunakan fitur dimensi evaluasi.
Masalah: Setelah membuat templat dimensi evaluasi, saya mendapati jenis penilai yang dipilih salah.
Masalah: Setelah membuat templat dimensi evaluasi, saya mendapati jenis penilai yang dipilih salah.
Masalah: Muncul pesan saat saya menghapus templat dimensi, yang menunjukkan bahwa templat tidak dapat dihapus.
Masalah: Muncul pesan saat saya menghapus templat dimensi, yang menunjukkan bahwa templat tidak dapat dihapus.
Masalah: Saat saya mengirimkan prompt penilai, sistem menunjukkan bahwa variabel tidak ada.
Masalah: Saat saya mengirimkan prompt penilai, sistem menunjukkan bahwa variabel tidak ada.
Masalah: Pengiriman gagal setelah saya mengonfigurasi label Lulus/Tidak Lulus.
Masalah: Pengiriman gagal setelah saya mengonfigurasi label Lulus/Tidak Lulus.
Masalah: Setelah saya mengganti templat penilai, konten prompt yang saya edit secara manual hilang.
Masalah: Setelah saya mengganti templat penilai, konten prompt yang saya edit secara manual hilang.
Masalah: Apakah penggunaan dimensi evaluasi jenis evaluasi LLM menimbulkan biaya?
Masalah: Apakah penggunaan dimensi evaluasi jenis evaluasi LLM menimbulkan biaya?