Skip to main content

Menentukan dimensi evaluasi

Topik ini menjelaskan cara membuat dan mengelola templat dimensi evaluasi.

Ringkasan dimensi evaluasi

Dimensi evaluasi menentukan aturan penilaian untuk tugas evaluasi model. Setiap dimensi dikonfigurasi dengan satu penilai. Setelah dibuat sebagai templat, dimensi dapat dirujuk oleh beberapa tugas evaluasi, sehingga memungkinkan pengelolaan dan penggunaan ulang kriteria evaluasi secara terpadu. Platform Model Studio menyediakan lima jenis penilai berikut, yang mencakup tiga paradigma evaluasi utama: evaluasi otomatis berbasis LLM, pencocokan aturan, dan peninjauan manual:
  • Evaluasi LLM - Kategorikal: Model penilai mengklasifikasikan keluaran model berdasarkan label yang ditentukan pengguna (Lulus/Tidak Lulus). Cocok untuk skenario yang memerlukan pemahaman semantik, seperti pemeriksaan keamanan konten dan penilaian kebenaran jawaban.
  • Evaluasi LLM - Numerik: Model penilai memberikan skor numerik kontinu pada keluaran model (misalnya, 0~5). Cocok untuk skenario yang memerlukan kuantifikasi terperinci, seperti penilaian kualitas tanya jawab dan penilaian kualitas konten yang dihasilkan.
  • Evaluasi aturan - Pencocokan string: Menentukan secara terprogram hubungan pencocokan persis (sama/tidak sama/mengandung) antara keluaran model dan teks referensi. Cocok untuk skenario dengan jawaban standar yang pasti, seperti Function Calling dan NL2SQL.
  • Evaluasi aturan - Kemiripan teks: Menggunakan algoritme untuk menghitung kemiripan antara keluaran model dan teks referensi (BLEU/ROUGE/Cosine, dan lainnya). Cocok untuk mengkuantifikasi kemiripan respons terbuka, seperti penerjemahan, peringkasan, dan penulisan ulang.
  • Evaluasi manual - Kategorikal: Evaluator mengklasifikasikan keluaran model secara manual berdasarkan label. Cocok untuk skenario yang memerlukan penilaian subjektif, seperti nada dan gaya, serta tinjauan kepatuhan.

Jenis dimensi

Metode evaluasi

Skenario yang berlaku

Jawaban referensi diperlukan

Tingkat otomatisasi

Evaluasi LLM - Kategorikal

Model penilai mengklasifikasikan berdasarkan label

Keamanan konten, kebenaran jawaban

Tidak

Sepenuhnya otomatis

Evaluasi LLM - Numerik

Model penilai memberi skor berdasarkan rentang

Kualitas tanya jawab, kualitas generasi

Tidak

Sepenuhnya otomatis

Evaluasi aturan - Pencocokan string

Pencocokan string persis/parsial

Function Calling, NL2SQL

Ya

Sepenuhnya otomatis

Evaluasi aturan - Kemiripan teks

Algoritme BLEU/ROUGE/Cosine dan lainnya

Penerjemahan, peringkasan, penulisan ulang

Ya

Sepenuhnya otomatis

Evaluasi manual - Kategorikal

Peninjauan manual berdasarkan label

Nada dan gaya, tinjauan kepatuhan

Tidak

Manual

Saat memilih jenis penilai, Anda dapat merujuk ke jalur keputusan berikut:
  • Jawaban standar dengan format tetap: utamakan evaluasi aturan - pencocokan string, yang menawarkan biaya terendah dan kecepatan tertinggi.
  • Jawaban standar dengan variasi redaksi: gunakan evaluasi aturan - kemiripan teks, yang mengakomodasi variasi redaksi melalui algoritme.
  • Tanpa jawaban standar, memerlukan pemahaman semantik: gunakan evaluasi LLM (kategorikal atau numerik) dan biarkan model penilai menilai pada tingkat semantik.
  • Memerlukan penilaian subjektif atau tinjauan profesional: gunakan evaluasi manual - kategorikal, dengan evaluator meninjau setiap item.
Model Studio menyediakan templat prasetel untuk jenis evaluasi LLM dan evaluasi aturan, yang dapat difilter berdasarkan jenis (Evaluasi LLM - Numerik, Evaluasi LLM - Kategorikal, Evaluasi aturan) dan label (kualitas umum, pencocokan teks, kemiripan teks, keamanan, klasifikasi teks). Setelah Anda memilih salah satunya, prompt penilai dan konfigurasi default akan terisi otomatis, yang cocok untuk memulai skenario umum dengan cepat. Untuk menyesuaikan kriteria penilaian dengan logika bisnis tertentu, Anda dapat membuat dimensi evaluasi kustom dan menulis prompt secara manual. Setelah Anda membuat templat dimensi, Anda dapat merujuknya sebagai kriteria penilaian dalam tugas evaluasi. Untuk informasi selengkapnya tentang membuat dan menjalankan tugas evaluasi, lihat Evaluasi model.

Membuat templat dimensi evaluasi

Masuk ke konsol Model Studio. Di panel navigasi kiri, pilih Evaluasi Model > Dimensi Evaluasi, lalu klik Buat Dimensi Evaluasi untuk membuka dialog pemilihan: Anda dapat memfilter daftar templat prasetel berdasarkan jenis dan label, lalu klik Gunakan Templat pada kartu templat untuk menerapkannya sekali klik; atau klik + Buat Dimensi Evaluasi Kustom untuk masuk ke halaman konfigurasi kustom. Saat membuat templat dimensi evaluasi, Anda harus terlebih dahulu mengisi bidang umum berikut:
  • Nama dimensi: wajib, tidak lebih dari 20 karakter.
  • Deskripsi: opsional, tidak lebih dari 100 karakter. Digunakan untuk melengkapi tujuan penilaian dimensi.
  • Jenis: wajib. Pilih salah satu dari lima jenis penilai. Jenis penilai tidak dapat diubah setelah dibuat. Jika Anda salah memilih, Anda hanya dapat menghapus dan membuatnya ulang.
Tabel berikut mencantumkan parameter umum dan spesifik jenis untuk membuat templat dimensi evaluasi.

Parameter

Deskripsi

Wajib

Deskripsi nilai

Nama dimensi

Nama templat dimensi evaluasi

Ya

Tidak lebih dari 20 karakter

Deskripsi

Penjelasan pelengkap dimensi

Tidak

Tidak lebih dari 100 karakter

Jenis

Metode evaluasi penilai, yang tidak dapat diubah setelah dibuat

Ya

Pilih salah satu dari 5 jenis

Model penilai

Model bahasa besar yang melakukan evaluasi

Wajib untuk jenis evaluasi LLM

Pilih dari daftar drop-down

Templat penilai

Templat prompt yang memandu model penilai

Wajib untuk jenis evaluasi LLM

Templat prasetel atau kustom

Rentang skor

Nilai minimum dan maksimum penilaian numerik

Wajib untuk jenis numerik

Bilangan bulat, default 0~5

Ambang batas kelulusan

Skor atau kemiripan minimum untuk penilaian lulus

Wajib untuk jenis numerik/kemiripan

Numerik

Setelah Anda memilih jenis, halaman akan menampilkan item konfigurasi spesifik jenis. Proses pembuatan lengkap untuk setiap jenis dijelaskan di bawah ini.
Penting Jenis penilai tidak dapat diubah setelah dibuat. Jika Anda salah memilih, Anda hanya dapat menghapus dan membuatnya ulang.
  • Evaluasi LLM - Kategorikal
  • Evaluasi LLM - Numerik
  • Evaluasi aturan - Pencocokan string
  • Evaluasi aturan - Kemiripan teks
  • Evaluasi manual - Kategorikal
Evaluasi LLM - Kategorikal menggunakan model penilai untuk mengklasifikasikan keluaran model berdasarkan label. Langkah pembuatan lengkap:
  1. Pilih model penilai: pilih model bahasa besar yang digunakan untuk evaluasi dari daftar drop-down.
  2. Pilih templat penilai: gunakan Pilih templat prasetel untuk menerapkan templat prasetel platform (templat prasetel kategorikal dapat dilihat di Templat prasetel), atau modifikasi sendiri berdasarkan prompt default di editor. Setelah Anda memilih templat prasetel, sistem otomatis mengisi prompt dan label default. Untuk informasi selengkapnya, lihat Mengonfigurasi prompt penilai.
  3. Tulis prompt penilai: prompt harus berisi setidaknya satu variabel (${messages}, ${completion}, ${output}) dan tidak lebih dari 20000 karakter. Prompt menentukan kriteria penilaian dan format keluaran model penilai.
  4. Konfigurasikan label Lulus dan label Tidak Lulus: tentukan label klasifikasi untuk lulus dan tidak lulus, masing-masing tidak lebih dari 20 karakter. Label Lulus dan Tidak Lulus tidak boleh duplikat.
  5. Klik Simpan.

Mengonfigurasi prompt penilai

Prompt penilai adalah instruksi yang memandu model penilai dalam mengevaluasi kualitas keluaran. Prompt hanya berlaku untuk jenis evaluasi LLM (kategorikal dan numerik). Dengan menulis prompt, Anda menentukan kriteria penilaian dan format keluaran model penilai.

Variabel prompt

Prompt penilai mendukung tiga variabel berikut, yang secara otomatis diganti dengan nilai aktual oleh sistem selama eksekusi evaluasi (ketik / di editor prompt untuk merujuk variabel dengan cepat):
  • ${messages}: konten percakapan lengkap. Untuk dataset evaluasi percakapan multi-turn (ChatML), berisi seluruh pesan; untuk dataset evaluasi single-turn (prompt&completion), berupa input pengguna.
  • ${completion}: balasan referensi, yaitu jawaban referensi yang telah diatur sebelumnya dalam dataset evaluasi (untuk dataset multi-turn, yaitu pesan assistant terakhir).
  • ${output}: keluaran model yang diuji, yaitu balasan model terhadap pertanyaan saat ini.
Gunakan sintaks ${nama variabel} dalam prompt untuk merujuk variabel. Prompt harus berisi setidaknya satu variabel; jika tidak, prompt tidak dapat dikirim.

Templat prasetel

Sistem menyediakan templat penilai prasetel untuk jenis evaluasi LLM. Setelah Anda memilih salah satunya, konten prompt dan konfigurasi label default akan terisi otomatis. Daftar templat diambil secara dinamis dari konfigurasi sistem; dalam dialog pembuatan dimensi evaluasi, filter berdasarkan jenis (Evaluasi LLM - Numerik, Evaluasi LLM - Kategorikal, Evaluasi aturan) dan label (kualitas umum, pencocokan teks, kemiripan teks, keamanan, klasifikasi teks), lalu klik Gunakan Templat untuk menerapkannya. Templat prasetel untuk jenis numerik (9):
  • Kualitas Terjemahan: mengevaluasi kualitas pemulihan menyeluruh terjemahan terhadap makna, nada, terminologi, dan ekspresi teks sumber.
  • Kreativitas Konten: mengevaluasi apakah respons memiliki ekspresi atau gagasan yang baru dan bernilai sambil tetap memenuhi persyaratan tugas.
  • Kelengkapan Identifikasi Risiko: mengevaluasi apakah respons mengidentifikasi secara lengkap risiko-risiko kunci dalam suatu rencana atau perilaku.
  • Perlindungan Privasi: mengevaluasi apakah respons melindungi informasi pribadi, data sensitif, dan privasi pengguna dengan baik.
  • Saran yang Dapat Ditindaklanjuti: mengevaluasi apakah saran dalam respons bersifat spesifik, dapat dilaksanakan, dan dapat memandu langkah selanjutnya.
  • Kegunaan Jawaban: mengevaluasi apakah respons benar-benar membantu pengguna mencapai tujuan saat ini.
  • Koherensi Logis: mengevaluasi struktur argumen, konsistensi antarbagian, dan kesinambungan penalaran respons.
  • Keringkasan Jawaban: mengevaluasi apakah respons menghindari redundansi dan menyelesaikan tugas dengan panjang yang diperlukan.
  • Kelancaran Bahasa: mengevaluasi apakah respons alami, lancar, dan mudah dibaca.
Templat prasetel untuk jenis kategorikal (5):
  • Klasifikasi Status Penyelesaian Masalah: menentukan apakah respons menyelesaikan masalah pengguna saat ini.
  • Klasifikasi Keterjawaban Pertanyaan: menentukan apakah pertanyaan saat ini dapat dijawab langsung berdasarkan informasi yang telah disediakan.
  • Klasifikasi Risiko Keamanan: mengidentifikasi apakah respons aman, memiliki potensi risiko, atau memuat konten berisiko tinggi.
  • Klasifikasi Niat Pengguna: mengidentifikasi tujuan utama pengguna dalam percakapan lengkap.
  • Klasifikasi Kecenderungan Sentimen: menandai respons yang dinilai sebagai positif, netral, atau negatif.
Evaluasi aturan juga menyediakan templat prasetel (label seperti pencocokan teks dan kemiripan teks), dengan daftar yang diambil secara dinamis dari konfigurasi sistem. Saat Anda memilih templat kustom, tulis panduan penilaian di area pengeditan prompt. Poin-poin penting:
  • Gunakan variabel ${messages}, ${completion}, dan ${output} untuk merujuk data evaluasi.
  • Tentukan kriteria penilaian dengan jelas. Untuk jenis kategorikal, tentukan kondisi penilaian untuk setiap label; untuk jenis numerik, tentukan standar kualitas yang sesuai dengan setiap skor.
  • Tentukan persyaratan format keluaran untuk memastikan hasil evaluasi model penilai dapat diurai dengan benar oleh sistem.
Berikut adalah contoh prompt kustom untuk Evaluasi LLM - Kategorikal: Evaluasi kualitas respons model berikut. Percakapan lengkap: ${messages}, respons model: ${output}, jawaban referensi: ${completion}. Kriteria penilaian: jika respons memuat elemen inti dari jawaban referensi dan tidak mengandung kesalahan faktual, nilaikan sebagai Lulus; jika respons menghilangkan informasi penting atau mengandung kesalahan faktual, nilaikan sebagai Tidak Lulus. Keluarkan hanya Lulus atau Tidak Lulus. Mengganti templat penilai akan menimpa konten prompt saat ini. Cadangkan konten yang diedit secara manual sebelum mengganti. Prompt kustom mendukung kapabilitas bantuan berikut:
  • Optimasi AI: klik Optimalkan di toolbar editor prompt, dan sistem akan menghasilkan versi yang dioptimalkan berdasarkan prompt saat ini; pada dialog yang muncul, Anda dapat memilih Gunakan Sekarang, Buat Ulang, atau keluar.
  • Uji coba: setelah konfigurasi selesai, klik Mulai Jalankan di area uji coba untuk memverifikasi efek penilaian dengan data contoh; hasil eksekusi ditampilkan di sisi kanan. Saat ini uji coba dan pemanggilan model penilai gratis dalam waktu terbatas.

Mengelola templat dimensi evaluasi

Di halaman daftar dimensi evaluasi, Anda dapat melihat, mengubah, dan menghapus templat dimensi yang Anda buat.

Melihat dimensi

Halaman daftar dimensi menampilkan semua templat dimensi yang telah dibuat dan mendukung operasi berikut:
  • Cari berdasarkan nama: masukkan kata kunci nama dimensi di kotak pencarian untuk kueri kabur.
  • Filter berdasarkan jenis: klik ikon filter di header kolom Jenis untuk memfilter dengan memilih beberapa jenis penilai.
  • Urutkan berdasarkan waktu pembuatan: klik Urutkan berdasarkan waktu pembuatan untuk beralih antara urutan naik dan turun.
Klik nama dimensi target dalam daftar dimensi untuk masuk ke halaman detail dan melihat konfigurasi lengkap dimensi (termasuk jenis penilai, prompt, label, rentang skor, dan lainnya).

Mengubah dimensi

Di halaman detail dimensi, Anda dapat mengubah nama dimensi, deskripsi, prompt penilai, label, dan item konfigurasi lainnya. Jenis penilai tidak dapat diubah setelah dibuat. Perubahan langsung berlaku setelah disimpan.

Menghapus dimensi

Klik tombol Hapus di kolom operasi dimensi target dalam daftar dimensi. Operasi penghapusan tidak dapat dibatalkan. Jika dimensi dirujuk oleh tugas evaluasi, dimensi tidak dapat dihapus. Anda harus menghapus tugas evaluasi terkait sebelum menghapus dimensi.

Rekomendasi desain dimensi evaluasi

Merancang dimensi evaluasi berkualitas tinggi membantu mengukur kinerja model secara akurat. Berikut adalah rekomendasi utama dari praktik.

Pemilihan dan iterasi jenis

Pilih jenis yang sesuai berdasarkan skenario evaluasi: utamakan evaluasi aturan untuk skenario dengan jawaban standar (biaya rendah dan cepat), gunakan evaluasi LLM untuk skenario yang memerlukan pemahaman semantik, dan gunakan evaluasi manual untuk penilaian kualitas subjektif. Untuk perbandingan jenis secara rinci, lihat Ringkasan dimensi evaluasi. Sebaiknya buat dimensi dengan templat prasetel terlebih dahulu dan jalankan evaluasi pada sampel kecil (10~20 entri data) untuk memverifikasi efeknya. Berdasarkan kasus dengan penyimpangan besar dalam hasil evaluasi, sesuaikan kriteria penilaian dan definisi skor dalam prompt secara terarah, dan perbesar skala evaluasi setelah verifikasi. Bertransisi secara bertahap dari templat prasetel ke prompt kustom.

Rekomendasi konfigurasi parameter

Label Lulus dan Tidak Lulus harus saling eksklusif dan mencakup semua kemungkinan, yaitu semua keluaran yang mungkin dapat diklasifikasikan ke salah satunya. Klasifikasi biner cukup untuk skenario sederhana; ketika beberapa label diperlukan untuk skenario kompleks, jaga jumlah label tetap sedikit untuk mengurangi ambiguitas penilaian. Untuk Evaluasi LLM - Numerik, sebaiknya rentang skor tidak lebih dari 10 (rentang yang terlalu besar mengurangi konsistensi penilaian LLM). Rentang default 0~5 dengan ambang batas kelulusan 3 adalah konfigurasi umum. Tetapkan ambang batas kelulusan berdasarkan toleransi bisnis terhadap kualitas: semakin tinggi ambang batas, semakin ketat standar kelulusan. Pilih algoritme kemiripan yang sesuai berdasarkan jenis tugas evaluasi:
  • Tugas penerjemahan: BLEU (mengukur pencocokan persis n-gram).
  • Tugas peringkasan: ROUGE-L (mengukur subsekuens umum terpanjang).
  • Relevansi semantik: kemiripan kosinus (mengukur jarak vektor semantik).
  • Tugas klasifikasi: Akurasi (mengukur tingkat kecocokan persis).

Konvensi penamaan

Sebaiknya gunakan pola penamaan "aspek penilaian + metode evaluasi", seperti "Akurasi jawaban - penilaian LLM", "Kecenderungan sentimen - klasifikasi label", dan "Kepatuhan format - pencocokan string". Penamaan yang jelas membantu Anda mengidentifikasi dan memilih dimensi dengan cepat dalam tugas evaluasi.

FAQ

Berikut adalah masalah dan solusi umum saat Anda menggunakan fitur dimensi evaluasi.
Jenis penilai tidak dapat diubah setelah dibuat. Anda hanya dapat menghapus templat dimensi dan membuatnya ulang. Jika dimensi dirujuk oleh tugas evaluasi, Anda harus menghapus tugas evaluasi terkait sebelum menghapusnya.
Templat dimensi tidak dapat dihapus saat dirujuk oleh tugas evaluasi. Hapus atau ubah tugas evaluasi yang merujuk dimensi tersebut dalam daftar tugas evaluasi terlebih dahulu, lalu hapus templat dimensi.
Prompt penilai harus berisi setidaknya satu variabel (${messages}, ${completion}, atau ${output}). Periksa konten prompt dan pastikan variabel dirujuk dengan benar dalam format ${nama variabel}.
Periksa apakah label Lulus dan Tidak Lulus duplikat. Label yang sama tidak boleh muncul di Lulus dan Tidak Lulus sekaligus, dan label di dalam Lulus atau di dalam Tidak Lulus juga tidak boleh duplikat.
Ini adalah perilaku yang diharapkan. Penggantian templat mengganti prompt dengan konten prasetel templat. Jika Anda memiliki konten prompt kustom yang penting, cadangkan sebelum mengganti templat.
Membuat dan mengelola templat dimensi evaluasi tidak dikenakan biaya. Namun, selama eksekusi tugas evaluasi, jenis evaluasi LLM memanggil model penilai untuk inferensi, dan biaya inferensi yang timbul ditagih sesuai standar penagihan model penilai.