Model Evaluation est un outil d'évaluation de la qualité des modèles fourni par la plateforme Alibaba Cloud Model Studio. Il permet d'évaluer quantitativement les performances des grands modèles de langage grâce à des dimensions d'évaluation personnalisées, facilitant ainsi la sélection de modèles, la vérification du réglage et la comparaison des capacités.
Qu'est-ce que Model Evaluation
Model Evaluation est un outil de vérification de la qualité des modèles proposé par la plateforme Alibaba Cloud Model Studio. Grâce à des dimensions d'évaluation et des méthodes de notation personnalisées, vous pouvez évaluer quantitativement les performances des grands modèles de langage dans des scénarios métier spécifiques et obtenir des résultats comparables. Les jeux de données d'évaluation prennent en charge deux formats, mono-tour (Prompt/Completion) et dialogue multi-tours (ChatML) ; les résultats d'évaluation prennent en charge les statistiques Pass@K par échantillonnage multiple et l'exportation classifiée selon des règles de bucketing.
Cas d'utilisation
Model Evaluation s'applique aux scénarios suivants :
- Sélection de modèles : comparez les scores de plusieurs modèles candidats pour choisir celui qui correspond le mieux à vos besoins métier.
- Vérification du réglage : après un réglage de prompt ou un fine-tuning d'un modèle, utilisez l'évaluation pour vérifier si les performances se sont améliorées.
- Évaluation quantitative : convertissez la qualité des sorties du modèle en métriques de score mesurables afin de remplacer le jugement subjectif.
- Surveillance continue : exécutez régulièrement des tâches d'évaluation pour suivre l'évolution des capacités du modèle au fil des itérations de version.
- Extraction de cas difficiles : exécutez plusieurs inférences du même échantillon pour calculer Pass@K, filtrez les échantillons difficiles par bucketing des résultats et réinjectez-les en tant que jeux de données de la plateforme pour une optimisation ciblée.
Méthodes de notation
Model Evaluation prend en charge cinq méthodes de notation, couvrant à la fois la notation automatique et la notation manuelle :
- LLM Numerical Scoring : le modèle juge attribue une note numérique (par exemple de 0 à 5 points) selon le Scorer Prompt. Cette méthode convient aux scénarios nécessitant une quantification fine.
- LLM Classification Scoring : le modèle juge classe la sortie dans des catégories prédéfinies (telles que Pass/Fail) conformément au Scorer Prompt. Elle est adaptée aux jugements binaires ou multi-étiquettes.
- String Matching : effectue une comparaison exacte (égalité, inclusion, début ou fin de chaîne, etc.) entre la sortie du modèle et la réponse de référence. Idéale pour les scénarios disposant d'une seule réponse standard.
- Text Similarity : utilise des algorithmes (ROUGE-L, BLEU, Cosine, Fuzzy, Accuracy) pour calculer la similarité entre la sortie du modèle et la réponse de référence. Recommandée pour l'évaluation de la qualité de la génération de texte.
- Manual Classification Scoring : des annotateurs humains classent et jugent les sorties du modèle. Conçue pour les scénarios d'évaluation subjective que la notation automatique ne peut pas couvrir.
Méthode de notation | Source de la notation | Scénarios applicables | Coût |
|---|---|---|---|
LLM Numerical Scoring | Modèle juge | Compréhension sémantique, évaluation ouverte | Moyen |
LLM Classification Scoring | Modèle juge | Jugement binaire (sécurité/correction) | Moyen |
String Matching | Règle | Scénarios avec une seule réponse standard | Très faible |
Text Similarity | Algorithme | Évaluation de la qualité de traduction et de résumé | Faible |
Manual Classification Scoring | Annotateur humain | Évaluation de la créativité, jugement subjectif | Élevé |
Prérequis et limites
Le flux de travail complet d'évaluation est le suivant : Créer une dimension d'évaluation → Préparer les données d'évaluation → Créer une tâche d'évaluation → Consulter les résultats d'évaluation.
Avant d'utiliser Model Evaluation, assurez-vous de respecter les conditions suivantes :
- Vous avez créé un compte Alibaba Cloud et terminé la vérification du nom réel.
- Vous avez activé le service Alibaba Cloud Model Studio. URL d'activation : https://modelstudio.console.alibabacloud.com.
- Si vous opérez en tant qu'utilisateur RAM, le compte principal doit vous avoir accordé les permissions correspondantes.
Préparer les données d'évaluation
Les données d'évaluation constituent l'entrée d'une tâche d'évaluation et déterminent sur quelles questions le modèle sera testé. Alibaba Cloud Model Studio prend en charge deux sources de données : les jeux de données d'évaluation (questions de test préparées à l'avance) et les jeux de résultats d'inférence (résultats d'inférence déjà générés par le modèle).
Description du format des données
Un jeu de données d'évaluation contient les champs suivants :
- Prompt (obligatoire) : la question d'entrée envoyée au modèle à évaluer. Chaque entrée doit inclure ce champ.
- Completion (facultatif) : la réponse de référence, utilisée par certaines méthodes de notation (comme String Matching et Text Similarity) pour la comparaison avec la sortie du modèle.
- Output (uniquement pour les jeux de résultats d'inférence) : le contenu de sortie déjà généré par le modèle. Lors de l'utilisation d'un jeu de résultats d'inférence, la tâche d'évaluation note directement l'Output sans appeler de nouveau le modèle à évaluer.
Champ | Obligatoire | Description | Scénarios applicables |
|---|---|---|---|
Prompt | Obligatoire | Question d'entrée envoyée au modèle à évaluer | Toutes les méthodes d'évaluation |
Completion | Facultatif | Réponse de référence, utilisée pour la comparaison avec la sortie du modèle | String Matching, Text Similarity |
Output | Jeux de résultats d'inférence uniquement | Contenu de sortie déjà généré par le modèle | Lors de la réutilisation de résultats d'inférence existants |
Recommandations sur le volume de données
Le volume de données affecte directement la fiabilité des résultats d'évaluation. Choisissez une échelle de données adaptée à votre objectif d'évaluation :
- Validation rapide (50 à 100 entrées) : idéale pour confirmer rapidement les résultats après un réglage de prompt. Permet de terminer l'évaluation en peu de temps.
- Évaluation standard (200 à 500 entrées) : recommandée pour la sélection de modèles et les évaluations formelles. Couvre davantage de scénarios et offre des résultats plus représentatifs.
- Évaluation approfondie (500 entrées ou plus) : conçue pour les scénarios exigeant une haute précision d'évaluation. Permet de couvrir exhaustivement la distribution des questions métier.
Créer un jeu de données
Suivez ces étapes pour créer un jeu de données d'évaluation dans la console :
- Connectez-vous à la console Alibaba Cloud Model Studio.
- Dans le volet de navigation de gauche, choisissez Data Management > Dataset Management.
- Cliquez sur Create Dataset.
- Renseignez le champ Dataset Name, puis dans Dataset Type, sélectionnez Evaluation Set.
- Téléchargez un fichier de données ou ajoutez manuellement des entrées, en vous assurant que chaque entrée contient au moins le champ Prompt.
- Cliquez sur OK pour finaliser la création.
Créer une dimension d'évaluation
Une dimension d'évaluation définit les critères de notation des sorties du modèle. Chaque dimension est liée à une méthode de notation unique. Lorsqu'une tâche d'évaluation s'exécute, chaque entrée est notée individuellement selon la configuration de la dimension.
Sélectionner une méthode de notation
Alibaba Cloud Model Studio prend en charge les cinq modes de notation suivants (voir Qu'est-ce que Model Evaluation pour plus de détails). Les paramètres clés de chaque méthode sont les suivants :
LLM Numerical Scoring : le modèle juge attribue une note numérique selon le Scorer Prompt. La plage de notation par défaut est de 0 à 5 (minimum 0, maximum personnalisable). Le seuil de réussite est fixé par défaut à 3,0 (un score ≥ au seuil est considéré comme réussi). L'utilisation de Qwen-Max (qwen-max) comme modèle juge est recommandée pour sa stabilité et son pouvoir discriminant supérieurs.
LLM Classification Scoring : le modèle juge classe la sortie sous des étiquettes de catégorie prédéfinies conformément au Scorer Prompt. Vous devez configurer au moins deux étiquettes de catégorie (par exemple Pass et Fail) et spécifier celles considérées comme « réussites ». Les étiquettes de réussite et d'échec ne doivent pas se chevaucher.
Paramètre | Description | Obligatoire | Description de la valeur |
|---|---|---|---|
Nom de la dimension | Nom identifiant la dimension d'évaluation | Oui | 20 caractères maximum |
Description de la dimension | Description textuelle de la dimension | Oui | 100 caractères maximum |
Méthode de notation | Détermine comment la sortie du modèle est évaluée | Oui | L'une des 5 méthodes de notation ; non modifiable après création |
Modèle juge | Le LLM qui note la sortie du modèle | Obligatoire pour la notation LLM | Qwen-Max (qwen-max) recommandé |
Scorer Prompt | Instruction guidant le modèle juge dans la notation | Obligatoire pour la notation LLM | Prend en charge les variables ${messages}/${completion}/${output} |
Plage de notation | Intervalle de score pour la notation numérique | Obligatoire pour LLM Numerical Scoring | Par défaut 0-5 ; la valeur maximale est personnalisable |
Seuil de réussite | Un score supérieur ou égal au seuil est considéré comme réussi | Obligatoire pour LLM Numerical Scoring | Par défaut 3,0, pas de 0,1 pris en charge |
Étiquette de catégorie | Étiquettes de catégorie prédéfinies | Obligatoire pour la notation par classification | Au moins deux étiquettes ; réussite et échec ne doivent pas se chevaucher |
Algorithme de similarité | Algorithme pour calculer la similarité textuelle | Obligatoire pour Text Similarity | ROUGE-L / BLEU / Cosine / Fuzzy / Accuracy |
Seuil de similarité | Note minimale pour réussir le score de similarité | Obligatoire pour Text Similarity | ROUGE-L recommandé 0,4-0,6, BLEU recommandé 0,3-0,5 |
Guide d'annotation | Instructions guidant les annotateurs dans leur jugement | Facultatif pour Manual Classification Scoring | Description textuelle personnalisée |
Configurer un Scorer Prompt
LLM Numerical Scoring et LLM Classification Scoring nécessitent un Scorer Prompt pour guider le modèle juge dans la notation. Vous pouvez choisir un modèle de Prompt prédéfini par la plateforme ou rédiger un Prompt personnalisé. Lors de la sélection d'un modèle prédéfini, vous pouvez filtrer par type (LLM Numerical Scoring, LLM Classification Scoring, évaluation par règles) et par étiquette (qualité générale, correspondance de texte, similarité de texte, sécurité, classification de texte) ; lors de la rédaction d'un Prompt personnalisé, vous pouvez cliquer sur Optimize pour générer une version optimisée par IA, et une fois la configuration terminée, cliquer sur Start Run dans la zone d'exécution d'essai pour vérifier l'effet de la notation.
Le Scorer Prompt prend en charge les trois variables suivantes, qui sont automatiquement remplacées par les données réelles lors de l'évaluation :
${messages}: le contenu complet de la conversation. Pour les jeux de données d'évaluation multi-tours (ChatML), il s'agit de l'ensemble des messages ; pour les jeux de données mono-tour (prompt&completion), il s'agit de l'entrée de l'utilisateur.${completion}: la réponse de référence, c'est-à-dire la réponse de référence prédéfinie dans le jeu de données d'évaluation (pour les jeux de données multi-tours, le dernier message assistant).${output}: la sortie du modèle à évaluer.
Étapes de création d'une dimension
- Connectez-vous à la console Alibaba Cloud Model Studio, puis dans le volet de navigation de gauche, choisissez Evaluation > Dimension.
- Cliquez sur Create Evaluation Dimension.
- Renseignez le champ Dimension Name (20 caractères maximum) et le champ Dimension Description (100 caractères maximum).
- Dans Scoring Method, sélectionnez une méthode de notation et configurez les paramètres correspondants.
- Si vous choisissez une méthode de notation LLM, sélectionnez un modèle dans Judge Model (Qwen-Max recommandé) et configurez le Scorer Prompt.
- Cliquez sur OK pour finaliser la création. La méthode de notation ne peut pas être modifiée après la création ; pour utiliser une autre méthode, créez une nouvelle dimension.
Créer une tâche d'évaluation
Une tâche d'évaluation combine le modèle à évaluer, les données d'évaluation et les dimensions d'évaluation pour exécution. Lorsque la tâche s'exécute, la plateforme envoie chaque Prompt du jeu de données au modèle à évaluer pour obtenir la sortie, puis note chacune d'elles selon les dimensions d'évaluation associées.
Configurer les paramètres de la tâche d'évaluation
- Connectez-vous à la console Alibaba Cloud Model Studio, puis dans le volet de navigation de gauche, choisissez Evaluation > Evaluation Task.
- Cliquez sur Create Evaluation Task.
- Renseignez le champ Task Name (50 caractères maximum ; le format du nom par défaut est « Evaluation_HeureActuelle »).
- Dans Model to Be Evaluated, sélectionnez un ou plusieurs modèles. Les modèles grisés dans la liste déroulante ne sont pas actuellement pris en charge pour l'évaluation et ne peuvent pas être sélectionnés.
- Sélectionnez la Data Source : choisissez Evaluation Set ou Inference Result Set, et associez le jeu de données que vous avez créé (voir Préparer les données d'évaluation pour plus de détails).
- Définissez la concurrence (8 par défaut, réglable de 1 à 20 ; elle influence la vitesse d'exécution de la tâche d'évaluation sans modifier les résultats d'évaluation) et le nombre d'inférences par échantillon (1 par défaut. Lorsqu'il est défini sur une valeur supérieure à 1, chaque échantillon fait l'objet de plusieurs inférences et des métriques agrégées telles que Pass@K sont calculées à partir des résultats d'échantillonnage multiples, afin d'évaluer la difficulté des échantillons et la stabilité des performances du modèle ; les frais d'inférence et de notation augmentent en conséquence avec le nombre d'inférences).
- Dans la zone Dimension, associez une ou plusieurs dimensions d'évaluation que vous avez créées. Si vous désélectionnez les dimensions choisies, les paramètres d'association au classement seront également effacés automatiquement.
- Si vous devez définir un System Prompt, renseignez-le dans la zone correspondante. Cliquez sur OK pour soumettre la tâche.
System Prompt vs. Scorer Prompt
Deux types de Prompts interviennent dans une tâche d'évaluation, avec des objets cibles différents :
- System Prompt : configuré dans la tâche d'évaluation et envoyé au modèle à évaluer en tant qu'instruction système. Il sert à définir le rôle, le format de sortie ou les contraintes comportementales du modèle à évaluer, et influence directement ses sorties.
- Scorer Prompt : configuré dans la dimension d'évaluation et envoyé au modèle juge comme base de notation. Il guide le modèle juge sur la façon de noter les sorties du modèle à évaluer, et n'est utilisé que par les méthodes de notation LLM.
Élément de comparaison | System Prompt | Scorer Prompt |
|---|---|---|
Emplacement de configuration | Configuré dans la tâche d'évaluation | Configuré dans la dimension d'évaluation |
Objet cible | Modèle à évaluer | Modèle juge |
Objectif | Définir le rôle du modèle, le format de sortie ou les contraintes comportementales | Guider le modèle juge sur la notation des sorties |
Obligatoire | Facultatif | Obligatoire pour les méthodes de notation LLM |
Imputation des frais | Comptabilisé dans les frais d'inférence du modèle à évaluer | Comptabilisé dans les frais de notation du modèle juge |
Paramètres de participation au classement
Lors de la création d'une tâche d'évaluation, vous pouvez décider si les résultats de la tâche participent au classement. Une fois cette option activée, les résultats d'évaluation alimenteront automatiquement le classement à la fin de la tâche, et seront comparés et affichés aux côtés des résultats d'autres modèles.
Lorsque vous créez une tâche d'évaluation depuis la page Leaderboard, le système remplit automatiquement les dimensions d'évaluation et le jeu de données associés au classement. Il vous suffit de sélectionner le modèle à évaluer pour soumettre la tâche.
Consulter les résultats d'évaluation
Après la soumission d'une tâche, vous pouvez suivre son état et consulter les résultats d'évaluation dans la liste des tâches d'évaluation.
Connectez-vous à la console Alibaba Cloud Model Studio, puis dans le volet de navigation de gauche, choisissez Evaluation > Evaluation Task.
État de la tâche
L'état d'une tâche d'évaluation évolue comme suit :
- WAITING : la tâche a été soumise et attend son exécution.
- RUNNING : la tâche est en cours d'exécution ; la plateforme appelle le modèle et effectue la notation.
- FINISH : l'exécution de la tâche est terminée, toutes les données ont été notées et les résultats sont consultables.
- FAILED : l'exécution de la tâche a échoué, généralement en raison d'une exception d'appel au modèle ou d'un problème de format de données.
- ABORTED : la tâche a été interrompue manuellement.
Consulter les données et statistiques d'évaluation
Une fois l'état de la tâche passé à FINISH, cliquez sur le nom de la tâche pour accéder à la page de détails des résultats, qui comporte les deux onglets Task Overview et Case Analysis :
- Task Overview : présente les informations de base de la tâche (modèle évalué, configuration d'inférence, méthode d'évaluation, dimensions d'évaluation, concurrence, nombre d'inférences par échantillon, dates de création et de mise à jour) ainsi que les résultats globaux de l'évaluation.
- Case Analysis : présente le détail de l'évaluation échantillon par échantillon. La vue Per-run sampling affiche une ligne par inférence (entrée, réponse de référence, sortie du modèle, scores de chaque dimension d'évaluation, résultat de bucketing et état) ; la vue Aggregate by question agrège les résultats des multiples inférences par échantillon et présente la métrique Pass@K de chaque dimension d'évaluation ; cliquez sur View Details pour consulter les résultats de chaque inférence de l'échantillon (cette vue est indisponible lorsque le nombre d'inférences par échantillon est 1 ; si une inférence d'un échantillon n'a pas abouti (échec de notation, notation interrompue ou en cours), le Pass@K de cet échantillon s'affiche sous forme de -). Cliquez sur Details pour afficher dans un panneau latéral l'entrée multi-tours complète et la base de notation (Prompt et sortie du modèle juge).
Téléchargement et analyse des résultats
Seules les tâches dont l'état est FINISH permettent le téléchargement des résultats. Sur la page de détails de la tâche d'évaluation, cliquez sur Download Results pour exporter l'intégralité des données d'évaluation.
La page Case Analysis du détail de l'évaluation prend en charge le bucketing et l'exportation des résultats :
- Bucketing : cliquez sur Bucketing pour configurer les règles de bucketing (uniquement pris en charge pour les tâches dont l'évaluation est terminée). Les buckets sont répartis selon l'intervalle de score de la métrique sélectionnée ; un intervalle inclut sa borne inférieure mais pas sa borne supérieure. Si un échantillon correspond à plusieurs intervalles, le premier bucket de haut en bas s'applique ; les échantillons ne correspondant à aucun bucket sont affectés à « Others (not matching the preceding rules) ». Lors de la configuration, cliquez sur Add Bucket pour ajouter un bucket et sélectionnez la métrique de bucketing (par exemple Pass@K). Dans la vue Aggregate by question, les échantillons dont le Pass@K est - ne participent pas au bucketing.
- Export : la portée d'exportation peut être Export All ou Download by Bucket ; la destination peut être Download to Local (génère un fichier de données contenant le bucketing, les scores et le détail de l'échantillonnage, au format XLSX) ou Backflow to Platform Dataset (crée un nouveau jeu de données de la plateforme à partir des buckets sélectionnés, pour un usage ultérieur d'entraînement ou d'évaluation). Sans bucketing appliqué, seule l'exportation complète est prise en charge.
- Comparez les écarts de scores entre différents modèles sur une même dimension pour identifier les points forts de chacun.
- Filtrez les entrées ayant obtenu de faibles scores et analysez sur quels types de questions le modèle montre des lacunes.
- Concentrez-vous sur la métrique du taux de réussite : elle reflète la proportion de sorties atteignant le niveau de référence sur cette dimension, constituant ainsi un indicateur clé pour la sélection de modèles.
- Si un même modèle est évalué plusieurs fois, comparez l'évolution des scores au fil du temps pour mesurer l'impact du réglage du modèle.
Utiliser les classements pour comparer les modèles
Les classements permettent de comparer les performances de plusieurs modèles selon les mêmes dimensions d'évaluation, et d'afficher visuellement les forces et faiblesses de chacun sous forme de tableau de classement. Chaque classement est lié à un ensemble de dimensions d'évaluation et agrège les résultats de multiples tâches d'évaluation dans un même tableau, facilitant ainsi vos décisions de sélection de modèles.
Créer un classement
- Connectez-vous à la console Alibaba Cloud Model Studio, puis dans le volet de navigation de gauche, choisissez Evaluation > Leaderboard.
- Cliquez sur Create Leaderboard.
- Renseignez le champ Leaderboard Name (50 caractères maximum).
- Dans Dimension, sélectionnez une ou plusieurs dimensions d'évaluation que vous avez créées. Les dimensions d'évaluation liées à un classement ne peuvent pas être modifiées après sa création ; choisissez-les avec soin.
- Cliquez sur OK pour finaliser la création.
Ajouter des tâches d'évaluation à un classement
Une fois un classement créé, vous pouvez y ajouter des tâches d'évaluation de deux manières :
- Créer une nouvelle tâche depuis le classement : sur la page de détails du classement, cliquez sur Create Evaluation Task. Le système verrouille automatiquement les dimensions d'évaluation liées au classement et associe ce dernier. Il vous suffit de sélectionner le modèle à évaluer et le jeu de données.
- Sélectionner parmi les tâches terminées : sur la page de détails du classement, cliquez sur Add Evaluation Task, puis dans la liste contextuelle, cochez les tâches historiques dont l'état est FINISH et qui contiennent les dimensions d'évaluation du classement. Les tâches déjà associées au classement actuel ont leurs cases grisées et ne peuvent pas être décochées.
Description des résultats du classement
Le classement affiche les résultats de toutes les tâches ajoutées sous forme de tableau, comprenant les colonnes suivantes :
- Ranking : classement décroissant selon le score du classement ; les trois premiers sont marqués respectivement en or, argent et bronze.
- Task Name : le nom de la tâche d'évaluation. Cliquez dessus pour accéder aux détails de la tâche.
- to compare : le nom du modèle à évaluer utilisé par la tâche.
- Leaderboard Score : la plage de valeurs est de 0 à 100, obtenue par normalisation des scores de la tâche sur les dimensions liées au classement. Le score d'une tâche en cours d'évaluation s'affiche sous forme de tiret (-) et sera automatiquement mis à jour une fois l'évaluation terminée.
- [Evaluation Dimension Name] : affiche le score brut de la tâche sur les dimensions liées au classement.
- Actions : permet de consulter les détails de la tâche ou de la retirer du classement.
Évaluation par annotation manuelle
L'évaluation par annotation manuelle convient aux scénarios nécessitant un jugement subjectif, tels que l'évaluation de la créativité ou la révision professionnelle de la qualité. Lorsque les méthodes de notation automatique ne permettent pas de mesurer avec précision la qualité des sorties du modèle, vous pouvez créer une tâche d'évaluation comportant une dimension de notation par classification manuelle ; les annotateurs jugeront alors individuellement les sorties du modèle.
Connectez-vous à la console Alibaba Cloud Model Studio, puis dans le volet de navigation de gauche, choisissez Evaluation > Evaluation Task.
Modes d'annotation
L'annotation manuelle propose trois modes adaptés à différents objectifs d'évaluation :
- Single Annotation
- Comparative Annotation
- Application Annotation
Mode d'annotation | Description | Scénarios applicables |
|---|---|---|
Single Annotation (base) | Note chaque sortie du modèle individuellement | Nécessite une notation indépendante de chaque sortie |
Comparative Annotation (PK) | Compare et classe côte à côte deux sorties de modèle | Comparaison directe et sélection entre modèles |
Application Annotation (app) | Évalue les sorties du modèle en contexte applicatif | Évaluation de l'efficacité de bout en bout |
Étapes d'annotation
- Suivez le processus Créer une tâche d'évaluation pour créer une nouvelle tâche et associer une dimension d'évaluation dont la méthode de notation est Manual Classification Scoring (voir Créer une dimension d'évaluation pour plus de détails).
- Une fois la tâche créée, accédez à la page de détails de la tâche et basculez sur l'onglet Case Analysis ; vous pouvez d'abord cliquer sur Manual Dimension Configuration, puis dans la boîte de dialogue cliquer sur Add dans la liste des dimensions d'évaluation manuelles déjà créées, ou cliquer sur Create Manual Dimension pour en créer une (jusqu'à 10 dimensions d'annotation manuelle) et activer le mode Quick annotation pour améliorer l'efficacité de l'annotation.
- Cliquez sur Details d'un échantillon pour ouvrir le panneau de détails de l'évaluation : la partie gauche présente la conversation multi-tours complète sous forme de dialogue, permettant de comparer la réponse de référence et la sortie du modèle ; la zone d'étiquettes en bas affiche les dimensions d'annotation manuelle et leurs étiquettes ; sélectionnez l'étiquette de catégorie de l'échantillon en cours pour compléter l'annotation.
- Utilisez les boutons Previous et Next pour naviguer entre les échantillons et compléter l'annotation un par un. Une fois toutes les données annotées, l'état de la tâche passe automatiquement à FINISH.
Recommandations pour la conception des étiquettes
La qualité de la conception des étiquettes impacte directement la fiabilité des résultats d'annotation. Nous recommandons de respecter les principes suivants :
- Les étiquettes doivent couvrir toutes les situations possibles de sortie du modèle afin d'éviter que les annotateurs ne rencontrent des sorties impossibles à catégoriser.
- Utilisez des termes de catégorie concis et clairs comme noms d'étiquettes pour réduire la charge cognitive des annotateurs.
- Faites appel à plusieurs annotateurs pour annoter croisés le même lot de données afin de vérifier la cohérence des annotations. Si la cohérence est faible, vérifiez si les définitions des étiquettes sont ambiguës et optimisez les critères de jugement.
Gérer les ressources d'évaluation
Une fois les tâches d'évaluation, les dimensions d'évaluation et les classements créés, vous pouvez gérer ces ressources dans la console. Certaines opérations étant irréversibles, procédez avec prudence.
Connectez-vous à la console Alibaba Cloud Model Studio, puis dans le volet de navigation de gauche, choisissez Evaluation.
Gestion des tâches d'évaluation
Sur la page de liste Evaluation > Evaluation Task, vous pouvez effectuer les opérations suivantes sur les tâches d'évaluation :
- Recherche, filtrage et tri : recherchez par nom de tâche, filtrez par état et triez par date de création pour localiser rapidement la tâche cible. Ces opérations n'affectent que l'affichage de la liste et ne modifient pas les données de la tâche.
- Interrompre une tâche : seules les tâches à l'état RUNNING peuvent être interrompues. Après avoir cliqué sur Terminate, l'état de la tâche passe à ABORTED. Cette opération est irréversible.
- Supprimer une tâche : les tâches à l'état FINISH, FAILED ou ABORTED peuvent être supprimées. Après suppression, les données de la tâche et les résultats d'évaluation sont définitivement effacés. Cette opération est irréversible.
- Télécharger les résultats : seules les tâches à l'état FINISH permettent le téléchargement des résultats d'évaluation (voir Consulter les résultats d'évaluation pour plus de détails).
État de la tâche | Opérations disponibles | Avertissement d'irréversibilité |
|---|---|---|
WAITING | Aucune (la tâche est en file d'attente) | - |
RUNNING | Interrompre | Après interruption, l'état passe à ABORTED et ne peut être restauré |
FINISH | Consulter les résultats, Télécharger les résultats, Supprimer | Les données sont définitivement effacées après suppression |
FAILED | Supprimer | Les données sont définitivement effacées après suppression |
ABORTED | Supprimer | Les données sont définitivement effacées après suppression |
Gestion des dimensions d'évaluation
Sur la page de liste Evaluation > Dimension, vous pouvez modifier la description de la dimension ou supprimer une dimension.
Lors de la suppression d'une dimension d'évaluation, si celle-ci est liée à un classement, les données de score basées sur cette dimension dans le classement seront effacées. Veuillez vérifier si un classement utilise la dimension avant de procéder à la suppression.
Gestion des classements
Sur la page de liste Evaluation > Leaderboard, vous pouvez effectuer les opérations suivantes :
- Supprimer un classement : après la suppression d'un classement, ses données sont définitivement effacées, mais les tâches d'évaluation qui y étaient ajoutées ne sont pas affectées.
- Retirer une tâche : sur la page de détails du classement, vous pouvez retirer une tâche d'évaluation du classement. Cette action n'affecte que l'affichage du classement ; la tâche d'évaluation elle-même et ses résultats ne seront pas supprimés.
Facturation
Les frais générés par Model Evaluation se composent de deux parties : les frais d'inférence du modèle à évaluer et les frais de notation du modèle juge. Comprendre les règles de facturation vous aide à planifier l'échelle d'évaluation et à maîtriser les coûts.
Composition des frais
Frais d'inférence du modèle à évaluer : facturés au token. La formule est cost = input_tokens x input_price + output_tokens x output_price. Ici, input_tokens inclut le System Prompt et le Prompt de chaque entrée de données, et output_tokens correspond à la réponse générée par le modèle. Le prix unitaire spécifique de chaque modèle est indiqué dans la console Model Studio. Lorsque le nombre d'inférences par échantillon est défini sur une valeur supérieure à 1, chaque échantillon est inféré le nombre de fois défini et les frais d'inférence augmentent en conséquence avec le nombre d'inférences.
Frais de notation du modèle juge : uniquement encourus lors de l'utilisation de la méthode de notation LLM Numerical Scoring ou LLM Classification Scoring. Les tokens consommés par le modèle juge pour noter chaque entrée de données sont facturés selon la tarification de ce modèle juge. Pour les prix spécifiques, consultez la console Model Studio.
Lors de l'utilisation de la méthode de notation String Matching ou Text Similarity, le processus de notation n'implique aucun appel au modèle juge, donc aucun frais de notation n'est engendré.
Méthode de notation | Frais d'inférence du modèle à évaluer | Frais de notation du modèle juge | Composition des frais |
|---|---|---|---|
LLM Numerical Scoring | Facturé au token | Facturé au token | Inférence + Notation |
LLM Classification Scoring | Facturé au token | Facturé au token | Inférence + Notation |
String Matching | Facturé au token | Aucun | Inférence uniquement |
Text Similarity | Facturé au token | Aucun | Inférence uniquement |
Manual Classification Scoring | Facturé au token | Aucun (le coût manuel est calculé séparément) | Inférence + Manuel |
Exemple d'estimation des frais
L'exemple suivant illustre le processus d'estimation des frais pour l'utilisation du modèle qwen-plus afin d'effectuer une évaluation LLM Numerical Scoring sur 100 entrées de données (le prix unitaire est donné à titre indicatif uniquement ; référez-vous à l'affichage réel dans la console) :
- Supposons que chaque entrée de données ait en moyenne input_tokens = 500 et output_tokens = 200.
- Frais d'inférence du modèle à évaluer = 100 x (500 x input_price + 200 x output_price).
- Frais de notation du modèle juge = 100 x (tokens consommés par notation x prix unitaire du modèle juge).
- Frais totaux = Frais d'inférence du modèle à évaluer + Frais de notation du modèle juge.
Stratégies d'optimisation des coûts
- Évaluation progressive : commencez par utiliser 50 à 100 entrées de données pour une validation à petite échelle. Après avoir confirmé que les dimensions d'évaluation et la qualité des données répondent aux attentes, passez à l'ensemble complet du jeu de données pour l'évaluation formelle.
- Privilégiez l'évaluation basée sur des règles : String Matching et Text Similarity n'engendrent pas de frais de modèle juge et présentent le coût le plus bas. Pour les scénarios avec une réponse standard claire, donnez la priorité aux méthodes d'évaluation basées sur des règles.
- Enregistrez les jeux de résultats d'inférence pour les réutiliser : sauvegardez les résultats d'inférence du modèle sous forme de jeu de résultats d'inférence. Les évaluations ultérieures pourront utiliser directement les résultats existants, évitant ainsi le coût d'appels répétés au modèle pour l'inférence.
FAQ
Que faire si les résultats d'évaluation ne correspondent pas aux attentes ?
Problème : une fois la tâche d'évaluation terminée, le score du modèle présente un écart significatif par rapport à l'expérience réelle, ou le résultat de la notation semble incohérent.
Vérifiez successivement les aspects suivants :
- Vérifiez la représentativité des données de test : assurez-vous que le jeu de données d'évaluation couvre les scénarios typiques et les cas limites du métier. Un volume de données trop faible ou une distribution biaisée rendra les scores non représentatifs.
- Examinez la clarté du Scorer Prompt : vérifiez si le Scorer Prompt décrit clairement les critères de notation et la base de jugement. Un Prompt ambigu entraînera une notation instable par le modèle juge.
- Ajustez la plage de notation et le seuil : une plage de notation trop étroite (par exemple 0-2) peut entraîner une discrimination insuffisante des scores. Élargir la plage (par exemple 0-10) peut améliorer la précision de la notation.
- Changez de modèle juge : différents modèles juges possèdent des capacités de notation variables. Qwen-Max (qwen-max) est recommandé pour obtenir des résultats de notation plus stables.
Que faire si les scores sont trop concentrés ?
Problème : les scores de plusieurs entrées de données se concentrent sur la même note ou la même étiquette de catégorie, manquant ainsi de discrimination.
Des scores trop concentrés résultent généralement des causes suivantes. Examinez-les une par une :
- Affinez les critères de jugement : ajoutez des conditions de jugement claires et des exemples pour chaque niveau de score dans le Scorer Prompt afin que le modèle juge puisse distinguer les sorties de différents niveaux de qualité.
- Augmentez la diversité des données : ajoutez des échantillons limites et des échantillons anormaux au jeu de données d'évaluation pour éviter que tous les Prompts ne soient trop uniformes en difficulté.
- Changez de modèle juge : un modèle juge doté d'une capacité de raisonnement plus forte (tel que Qwen-Max) pourra mieux suivre les critères de jugement granulaires du Scorer Prompt.
Comment interpréter des résultats contradictoires entre différentes dimensions d'évaluation ?
Problème : un même modèle présente de grands écarts de scores entre différentes dimensions d'évaluation, pouvant même exceller sur une dimension et obtenir de mauvais résultats sur une autre.
Ce phénomène est normal. Différentes dimensions d'évaluation mesurent divers aspects des capacités du modèle (tels que la précision, la fluidité et la logique). Les performances du modèle varient intrinsèquement selon les capacités. Il est recommandé de prendre des décisions pondérées sur les scores des dimensions en fonction des priorités métier, plutôt que d'exiger que le modèle soit optimal sur toutes les dimensions.
Que faire si le modèle génère fréquemment du contenu obsolète ou non pertinent ?
Problème : la sortie du modèle est sans rapport avec la réponse de référence, ou contient des informations obsolètes, ce qui entraîne un faible score d'évaluation.
Cela indique généralement que la couverture des connaissances du modèle est insuffisante ou que ses données d'entraînement sont datées. Il est recommandé d'envisager l'intégration d'une base de connaissances pour compléter le modèle avec des connaissances métier, et d'améliorer la qualité des sorties du modèle dans des domaines spécifiques grâce à la génération augmentée par récupération (RAG).
Quels sont les pièges courants lors de l'utilisation de l'évaluation ?
Problème : lors de la première utilisation de Model Evaluation, il est facile de confondre les concepts ou de commettre des erreurs de manipulation, entraînant des résultats d'évaluation anormaux.
Voici les pièges courants et les bonnes pratiques associées :
- Le System Prompt diffère du Scorer Prompt : le System Prompt est configuré dans la tâche d'évaluation et envoyé au modèle à évaluer ; le Scorer Prompt est configuré dans la dimension d'évaluation et envoyé au modèle juge (voir Créer une tâche d'évaluation pour plus de détails). Les deux ciblent des objets différents ; ne les confondez pas.
- Les étiquettes de catégorie telles que Pass/Fail ne doivent pas se chevaucher : dans les dimensions utilisant LLM Classification Scoring ou Manual Classification Scoring, les étiquettes de réussite et d'échec doivent être mutuellement exclusives. Une même étiquette ne peut pas appartenir simultanément aux deux groupes.
- Aucun frais supplémentaire pour les modèles déployés indépendamment : les modèles ayant été fine-tunés et déployés en ligne ne sont pas soumis à des frais d'inférence supplémentaires lors de l'évaluation (voir Facturation pour plus de détails).
- Restriction sur le type de jeu de données : les tâches d'évaluation ne prennent en charge que les jeux de données de type Evaluation Set. Si un jeu de données de type training set est sélectionné, le système refusera de créer la tâche d'évaluation.