Skip to main content

Model Evaluation

Model Evaluation est un outil d'évaluation de la qualité des modèles fourni par la plateforme Alibaba Cloud Model Studio. Il permet d'évaluer quantitativement les performances des grands modèles de langage grâce à des dimensions d'évaluation personnalisées, facilitant ainsi la sélection de modèles, la vérification du réglage et la comparaison des capacités.

Qu'est-ce que Model Evaluation

Model Evaluation est un outil de vérification de la qualité des modèles proposé par la plateforme Alibaba Cloud Model Studio. Grâce à des dimensions d'évaluation et des méthodes de notation personnalisées, vous pouvez évaluer quantitativement les performances des grands modèles de langage dans des scénarios métier spécifiques et obtenir des résultats comparables. Les jeux de données d'évaluation prennent en charge deux formats, mono-tour (Prompt/Completion) et dialogue multi-tours (ChatML) ; les résultats d'évaluation prennent en charge les statistiques Pass@K par échantillonnage multiple et l'exportation classifiée selon des règles de bucketing.

Cas d'utilisation

Model Evaluation s'applique aux scénarios suivants :
  • Sélection de modèles : comparez les scores de plusieurs modèles candidats pour choisir celui qui correspond le mieux à vos besoins métier.
  • Vérification du réglage : après un réglage de prompt ou un fine-tuning d'un modèle, utilisez l'évaluation pour vérifier si les performances se sont améliorées.
  • Évaluation quantitative : convertissez la qualité des sorties du modèle en métriques de score mesurables afin de remplacer le jugement subjectif.
  • Surveillance continue : exécutez régulièrement des tâches d'évaluation pour suivre l'évolution des capacités du modèle au fil des itérations de version.
  • Extraction de cas difficiles : exécutez plusieurs inférences du même échantillon pour calculer Pass@K, filtrez les échantillons difficiles par bucketing des résultats et réinjectez-les en tant que jeux de données de la plateforme pour une optimisation ciblée.

Méthodes de notation

Model Evaluation prend en charge cinq méthodes de notation, couvrant à la fois la notation automatique et la notation manuelle :
  • LLM Numerical Scoring : le modèle juge attribue une note numérique (par exemple de 0 à 5 points) selon le Scorer Prompt. Cette méthode convient aux scénarios nécessitant une quantification fine.
  • LLM Classification Scoring : le modèle juge classe la sortie dans des catégories prédéfinies (telles que Pass/Fail) conformément au Scorer Prompt. Elle est adaptée aux jugements binaires ou multi-étiquettes.
  • String Matching : effectue une comparaison exacte (égalité, inclusion, début ou fin de chaîne, etc.) entre la sortie du modèle et la réponse de référence. Idéale pour les scénarios disposant d'une seule réponse standard.
  • Text Similarity : utilise des algorithmes (ROUGE-L, BLEU, Cosine, Fuzzy, Accuracy) pour calculer la similarité entre la sortie du modèle et la réponse de référence. Recommandée pour l'évaluation de la qualité de la génération de texte.
  • Manual Classification Scoring : des annotateurs humains classent et jugent les sorties du modèle. Conçue pour les scénarios d'évaluation subjective que la notation automatique ne peut pas couvrir.
Les modèles évaluables incluent les modèles commerciaux de la série Qwen, les modèles open-source Qwen, Tongyi Farui, et d'autres. Les modèles disponibles dépendent de la liste déroulante Model to Be Evaluated dans la console. Le tableau suivant présente une vue d'ensemble comparative des cinq méthodes de notation :

Méthode de notation

Source de la notation

Scénarios applicables

Coût

LLM Numerical Scoring

Modèle juge

Compréhension sémantique, évaluation ouverte

Moyen

LLM Classification Scoring

Modèle juge

Jugement binaire (sécurité/correction)

Moyen

String Matching

Règle

Scénarios avec une seule réponse standard

Très faible

Text Similarity

Algorithme

Évaluation de la qualité de traduction et de résumé

Faible

Manual Classification Scoring

Annotateur humain

Évaluation de la créativité, jugement subjectif

Élevé

Prérequis et limites

Le flux de travail complet d'évaluation est le suivant : Créer une dimension d'évaluation → Préparer les données d'évaluation → Créer une tâche d'évaluation → Consulter les résultats d'évaluation. Avant d'utiliser Model Evaluation, assurez-vous de respecter les conditions suivantes :
  • Vous avez créé un compte Alibaba Cloud et terminé la vérification du nom réel.
  • Vous avez activé le service Alibaba Cloud Model Studio. URL d'activation : https://modelstudio.console.alibabacloud.com.
  • Si vous opérez en tant qu'utilisateur RAM, le compte principal doit vous avoir accordé les permissions correspondantes.
Model Evaluation est accessible uniquement via la console ; aucune invocation par API ou SDK n'est disponible.
Les modèles de la série Qwen3 ne prennent actuellement pas en charge l'évaluation en mode Thinking. Pour évaluer un modèle Qwen3, désactivez le mode Thinking avant de créer la tâche d'évaluation.

Préparer les données d'évaluation

Les données d'évaluation constituent l'entrée d'une tâche d'évaluation et déterminent sur quelles questions le modèle sera testé. Alibaba Cloud Model Studio prend en charge deux sources de données : les jeux de données d'évaluation (questions de test préparées à l'avance) et les jeux de résultats d'inférence (résultats d'inférence déjà générés par le modèle).

Description du format des données

Un jeu de données d'évaluation contient les champs suivants :
  • Prompt (obligatoire) : la question d'entrée envoyée au modèle à évaluer. Chaque entrée doit inclure ce champ.
  • Completion (facultatif) : la réponse de référence, utilisée par certaines méthodes de notation (comme String Matching et Text Similarity) pour la comparaison avec la sortie du modèle.
  • Output (uniquement pour les jeux de résultats d'inférence) : le contenu de sortie déjà généré par le modèle. Lors de l'utilisation d'un jeu de résultats d'inférence, la tâche d'évaluation note directement l'Output sans appeler de nouveau le modèle à évaluer.
Le type de jeu de données doit être Evaluation Set. Un jeu de données de type training set ne peut pas être utilisé dans des tâches d'évaluation. Lors de la création d'un jeu de données, sélectionnez Dataset Type et choisissez Evaluation Set. Les jeux de données d'évaluation prennent en charge deux formats d'échantillons : Text generation (prompt&completion) (mono-tour ; le fichier xlsx contient les colonnes Prompt et Completion) et Text generation (ChatML-messages) (dialogue multi-tours ; chaque ligne du fichier jsonl est un échantillon sous forme de tableau messages, dont la réponse de référence est le dernier message assistant). Les données de dialogue multi-tours sont évaluées avec la conversation complète ; par défaut, le dernier message user sert de question actuelle. Pour les spécifications détaillées et des exemples des deux formats, consultez Règles de téléchargement des données de réglage - Format du jeu d'évaluation.
Lors de la création d'un jeu de données, vous devez sélectionner le type evaluation set. Si vous sélectionnez par erreur un training set, le jeu de données ne pourra pas être utilisé dans les tâches d'évaluation. Le type de jeu de données ne peut pas être modifié après la création ; il faudra alors en créer un nouveau.
Les descriptions des champs des données d'évaluation sont les suivantes :

Champ

Obligatoire

Description

Scénarios applicables

Prompt

Obligatoire

Question d'entrée envoyée au modèle à évaluer

Toutes les méthodes d'évaluation

Completion

Facultatif

Réponse de référence, utilisée pour la comparaison avec la sortie du modèle

String Matching, Text Similarity

Output

Jeux de résultats d'inférence uniquement

Contenu de sortie déjà généré par le modèle

Lors de la réutilisation de résultats d'inférence existants

Recommandations sur le volume de données

Le volume de données affecte directement la fiabilité des résultats d'évaluation. Choisissez une échelle de données adaptée à votre objectif d'évaluation :
  • Validation rapide (50 à 100 entrées) : idéale pour confirmer rapidement les résultats après un réglage de prompt. Permet de terminer l'évaluation en peu de temps.
  • Évaluation standard (200 à 500 entrées) : recommandée pour la sélection de modèles et les évaluations formelles. Couvre davantage de scénarios et offre des résultats plus représentatifs.
  • Évaluation approfondie (500 entrées ou plus) : conçue pour les scénarios exigeant une haute précision d'évaluation. Permet de couvrir exhaustivement la distribution des questions métier.
Lors de la rédaction des Prompts, veillez à couvrir les scénarios typiques et les cas limites de votre activité, en évitant de vous concentrer sur un seul type de question. Chaque Prompt doit être clair et spécifique afin d'évaluer fidèlement les performances du modèle en situation réelle.

Créer un jeu de données

Suivez ces étapes pour créer un jeu de données d'évaluation dans la console :
  1. Connectez-vous à la console Alibaba Cloud Model Studio.
  2. Dans le volet de navigation de gauche, choisissez Data Management > Dataset Management.
  3. Cliquez sur Create Dataset.
  4. Renseignez le champ Dataset Name, puis dans Dataset Type, sélectionnez Evaluation Set.
  5. Téléchargez un fichier de données ou ajoutez manuellement des entrées, en vous assurant que chaque entrée contient au moins le champ Prompt.
  6. Cliquez sur OK pour finaliser la création.

Créer une dimension d'évaluation

Une dimension d'évaluation définit les critères de notation des sorties du modèle. Chaque dimension est liée à une méthode de notation unique. Lorsqu'une tâche d'évaluation s'exécute, chaque entrée est notée individuellement selon la configuration de la dimension.
La méthode de notation d'une dimension d'évaluation ne peut pas être modifiée après sa création. Pour utiliser une autre méthode de notation, créez une nouvelle dimension d'évaluation.

Sélectionner une méthode de notation

Alibaba Cloud Model Studio prend en charge les cinq modes de notation suivants (voir Qu'est-ce que Model Evaluation pour plus de détails). Les paramètres clés de chaque méthode sont les suivants : LLM Numerical Scoring : le modèle juge attribue une note numérique selon le Scorer Prompt. La plage de notation par défaut est de 0 à 5 (minimum 0, maximum personnalisable). Le seuil de réussite est fixé par défaut à 3,0 (un score ≥ au seuil est considéré comme réussi). L'utilisation de Qwen-Max (qwen-max) comme modèle juge est recommandée pour sa stabilité et son pouvoir discriminant supérieurs. LLM Classification Scoring : le modèle juge classe la sortie sous des étiquettes de catégorie prédéfinies conformément au Scorer Prompt. Vous devez configurer au moins deux étiquettes de catégorie (par exemple Pass et Fail) et spécifier celles considérées comme « réussites ». Les étiquettes de réussite et d'échec ne doivent pas se chevaucher.
Lors de la configuration des étiquettes de catégorie, les étiquettes de réussite et d'échec doivent être mutuellement exclusives. Par exemple, Pass et Fail ne peuvent pas être tous deux marqués comme étiquettes de réussite, sinon le système rejettera la création.
String Matching : effectue une comparaison de chaînes entre la sortie du modèle et la réponse de référence Completion, sans faire appel à un modèle juge. Les règles de correspondance prises en charge incluent : égal, différent de, contient, commence par, se termine par. Text Similarity : utilise des algorithmes pour calculer le score de similarité entre la sortie du modèle et la réponse de référence Completion, sans impliquer de modèle juge. Les algorithmes pris en charge sont : ROUGE-L (orienté rappel), BLEU (orienté précision), Cosine (similarité sémantique), Fuzzy (correspondance floue) et Accuracy (taux de correspondance exacte). Manual Classification Scoring : la notation est effectuée manuellement par un annotateur plutôt que par un modèle juge. La configuration des paramètres est similaire à celle de LLM Classification Scoring ; vous devez définir les étiquettes de catégorie et les étiquettes de réussite. Les paramètres de configuration de chaque méthode de notation sont détaillés ci-dessous (certains paramètres ne s'affichent que sous des méthodes de notation spécifiques) :

Paramètre

Description

Obligatoire

Description de la valeur

Nom de la dimension

Nom identifiant la dimension d'évaluation

Oui

20 caractères maximum

Description de la dimension

Description textuelle de la dimension

Oui

100 caractères maximum

Méthode de notation

Détermine comment la sortie du modèle est évaluée

Oui

L'une des 5 méthodes de notation ; non modifiable après création

Modèle juge

Le LLM qui note la sortie du modèle

Obligatoire pour la notation LLM

Qwen-Max (qwen-max) recommandé

Scorer Prompt

Instruction guidant le modèle juge dans la notation

Obligatoire pour la notation LLM

Prend en charge les variables ${messages}/${completion}/${output}

Plage de notation

Intervalle de score pour la notation numérique

Obligatoire pour LLM Numerical Scoring

Par défaut 0-5 ; la valeur maximale est personnalisable

Seuil de réussite

Un score supérieur ou égal au seuil est considéré comme réussi

Obligatoire pour LLM Numerical Scoring

Par défaut 3,0, pas de 0,1 pris en charge

Étiquette de catégorie

Étiquettes de catégorie prédéfinies

Obligatoire pour la notation par classification

Au moins deux étiquettes ; réussite et échec ne doivent pas se chevaucher

Algorithme de similarité

Algorithme pour calculer la similarité textuelle

Obligatoire pour Text Similarity

ROUGE-L / BLEU / Cosine / Fuzzy / Accuracy

Seuil de similarité

Note minimale pour réussir le score de similarité

Obligatoire pour Text Similarity

ROUGE-L recommandé 0,4-0,6, BLEU recommandé 0,3-0,5

Guide d'annotation

Instructions guidant les annotateurs dans leur jugement

Facultatif pour Manual Classification Scoring

Description textuelle personnalisée

Configurer un Scorer Prompt

LLM Numerical Scoring et LLM Classification Scoring nécessitent un Scorer Prompt pour guider le modèle juge dans la notation. Vous pouvez choisir un modèle de Prompt prédéfini par la plateforme ou rédiger un Prompt personnalisé. Lors de la sélection d'un modèle prédéfini, vous pouvez filtrer par type (LLM Numerical Scoring, LLM Classification Scoring, évaluation par règles) et par étiquette (qualité générale, correspondance de texte, similarité de texte, sécurité, classification de texte) ; lors de la rédaction d'un Prompt personnalisé, vous pouvez cliquer sur Optimize pour générer une version optimisée par IA, et une fois la configuration terminée, cliquer sur Start Run dans la zone d'exécution d'essai pour vérifier l'effet de la notation. Le Scorer Prompt prend en charge les trois variables suivantes, qui sont automatiquement remplacées par les données réelles lors de l'évaluation :
  • ${messages} : le contenu complet de la conversation. Pour les jeux de données d'évaluation multi-tours (ChatML), il s'agit de l'ensemble des messages ; pour les jeux de données mono-tour (prompt&completion), il s'agit de l'entrée de l'utilisateur.
  • ${completion} : la réponse de référence, c'est-à-dire la réponse de référence prédéfinie dans le jeu de données d'évaluation (pour les jeux de données multi-tours, le dernier message assistant).
  • ${output} : la sortie du modèle à évaluer.
Lors de la personnalisation d'un Prompt, indiquez clairement au modèle juge les critères de jugement, le format de sortie et la plage de notation de la dimension afin d'obtenir des résultats stables. Pour plus de techniques de rédaction de Prompts, consultez les Meilleures pratiques pour les Prompts.

Étapes de création d'une dimension

  1. Connectez-vous à la console Alibaba Cloud Model Studio, puis dans le volet de navigation de gauche, choisissez Evaluation > Dimension.
  2. Cliquez sur Create Evaluation Dimension.
  3. Renseignez le champ Dimension Name (20 caractères maximum) et le champ Dimension Description (100 caractères maximum).
  4. Dans Scoring Method, sélectionnez une méthode de notation et configurez les paramètres correspondants.
  5. Si vous choisissez une méthode de notation LLM, sélectionnez un modèle dans Judge Model (Qwen-Max recommandé) et configurez le Scorer Prompt.
  6. Cliquez sur OK pour finaliser la création. La méthode de notation ne peut pas être modifiée après la création ; pour utiliser une autre méthode, créez une nouvelle dimension.
Pour les paramètres de configuration détaillés et les recommandations d'utilisation de chaque méthode de notation, reportez-vous à la section Sélectionner une méthode de notation.

Créer une tâche d'évaluation

Une tâche d'évaluation combine le modèle à évaluer, les données d'évaluation et les dimensions d'évaluation pour exécution. Lorsque la tâche s'exécute, la plateforme envoie chaque Prompt du jeu de données au modèle à évaluer pour obtenir la sortie, puis note chacune d'elles selon les dimensions d'évaluation associées.

Configurer les paramètres de la tâche d'évaluation

  1. Connectez-vous à la console Alibaba Cloud Model Studio, puis dans le volet de navigation de gauche, choisissez Evaluation > Evaluation Task.
  2. Cliquez sur Create Evaluation Task.
  3. Renseignez le champ Task Name (50 caractères maximum ; le format du nom par défaut est « Evaluation_HeureActuelle »).
  4. Dans Model to Be Evaluated, sélectionnez un ou plusieurs modèles. Les modèles grisés dans la liste déroulante ne sont pas actuellement pris en charge pour l'évaluation et ne peuvent pas être sélectionnés.
  5. Sélectionnez la Data Source : choisissez Evaluation Set ou Inference Result Set, et associez le jeu de données que vous avez créé (voir Préparer les données d'évaluation pour plus de détails).
  6. Définissez la concurrence (8 par défaut, réglable de 1 à 20 ; elle influence la vitesse d'exécution de la tâche d'évaluation sans modifier les résultats d'évaluation) et le nombre d'inférences par échantillon (1 par défaut. Lorsqu'il est défini sur une valeur supérieure à 1, chaque échantillon fait l'objet de plusieurs inférences et des métriques agrégées telles que Pass@K sont calculées à partir des résultats d'échantillonnage multiples, afin d'évaluer la difficulté des échantillons et la stabilité des performances du modèle ; les frais d'inférence et de notation augmentent en conséquence avec le nombre d'inférences).
  7. Dans la zone Dimension, associez une ou plusieurs dimensions d'évaluation que vous avez créées. Si vous désélectionnez les dimensions choisies, les paramètres d'association au classement seront également effacés automatiquement.
  8. Si vous devez définir un System Prompt, renseignez-le dans la zone correspondante. Cliquez sur OK pour soumettre la tâche.
Une fois une tâche d'évaluation soumise, le modèle à évaluer ne peut plus être modifié. Pour évaluer d'autres modèles, créez une nouvelle tâche d'évaluation.

System Prompt vs. Scorer Prompt

Deux types de Prompts interviennent dans une tâche d'évaluation, avec des objets cibles différents :
  • System Prompt : configuré dans la tâche d'évaluation et envoyé au modèle à évaluer en tant qu'instruction système. Il sert à définir le rôle, le format de sortie ou les contraintes comportementales du modèle à évaluer, et influence directement ses sorties.
  • Scorer Prompt : configuré dans la dimension d'évaluation et envoyé au modèle juge comme base de notation. Il guide le modèle juge sur la façon de noter les sorties du modèle à évaluer, et n'est utilisé que par les méthodes de notation LLM.
Les deux n'interfèrent pas : le System Prompt contrôle « ce que le modèle à évaluer produit », tandis que le Scorer Prompt contrôle « comment le modèle juge note ».

Élément de comparaison

System Prompt

Scorer Prompt

Emplacement de configuration

Configuré dans la tâche d'évaluation

Configuré dans la dimension d'évaluation

Objet cible

Modèle à évaluer

Modèle juge

Objectif

Définir le rôle du modèle, le format de sortie ou les contraintes comportementales

Guider le modèle juge sur la notation des sorties

Obligatoire

Facultatif

Obligatoire pour les méthodes de notation LLM

Imputation des frais

Comptabilisé dans les frais d'inférence du modèle à évaluer

Comptabilisé dans les frais de notation du modèle juge

Paramètres de participation au classement

Lors de la création d'une tâche d'évaluation, vous pouvez décider si les résultats de la tâche participent au classement. Une fois cette option activée, les résultats d'évaluation alimenteront automatiquement le classement à la fin de la tâche, et seront comparés et affichés aux côtés des résultats d'autres modèles. Lorsque vous créez une tâche d'évaluation depuis la page Leaderboard, le système remplit automatiquement les dimensions d'évaluation et le jeu de données associés au classement. Il vous suffit de sélectionner le modèle à évaluer pour soumettre la tâche.

Consulter les résultats d'évaluation

Après la soumission d'une tâche, vous pouvez suivre son état et consulter les résultats d'évaluation dans la liste des tâches d'évaluation. Connectez-vous à la console Alibaba Cloud Model Studio, puis dans le volet de navigation de gauche, choisissez Evaluation > Evaluation Task.

État de la tâche

L'état d'une tâche d'évaluation évolue comme suit :
  • WAITING : la tâche a été soumise et attend son exécution.
  • RUNNING : la tâche est en cours d'exécution ; la plateforme appelle le modèle et effectue la notation.
  • FINISH : l'exécution de la tâche est terminée, toutes les données ont été notées et les résultats sont consultables.
  • FAILED : l'exécution de la tâche a échoué, généralement en raison d'une exception d'appel au modèle ou d'un problème de format de données.
  • ABORTED : la tâche a été interrompue manuellement.
Pour connaître les opérations disponibles selon chaque état, reportez-vous à la section Gérer les ressources d'évaluation.

Consulter les données et statistiques d'évaluation

Une fois l'état de la tâche passé à FINISH, cliquez sur le nom de la tâche pour accéder à la page de détails des résultats, qui comporte les deux onglets Task Overview et Case Analysis :
  • Task Overview : présente les informations de base de la tâche (modèle évalué, configuration d'inférence, méthode d'évaluation, dimensions d'évaluation, concurrence, nombre d'inférences par échantillon, dates de création et de mise à jour) ainsi que les résultats globaux de l'évaluation.
  • Case Analysis : présente le détail de l'évaluation échantillon par échantillon. La vue Per-run sampling affiche une ligne par inférence (entrée, réponse de référence, sortie du modèle, scores de chaque dimension d'évaluation, résultat de bucketing et état) ; la vue Aggregate by question agrège les résultats des multiples inférences par échantillon et présente la métrique Pass@K de chaque dimension d'évaluation ; cliquez sur View Details pour consulter les résultats de chaque inférence de l'échantillon (cette vue est indisponible lorsque le nombre d'inférences par échantillon est 1 ; si une inférence d'un échantillon n'a pas abouti (échec de notation, notation interrompue ou en cours), le Pass@K de cet échantillon s'affiche sous forme de -). Cliquez sur Details pour afficher dans un panneau latéral l'entrée multi-tours complète et la base de notation (Prompt et sortie du modèle juge).

Téléchargement et analyse des résultats

Seules les tâches dont l'état est FINISH permettent le téléchargement des résultats. Sur la page de détails de la tâche d'évaluation, cliquez sur Download Results pour exporter l'intégralité des données d'évaluation. La page Case Analysis du détail de l'évaluation prend en charge le bucketing et l'exportation des résultats :
  • Bucketing : cliquez sur Bucketing pour configurer les règles de bucketing (uniquement pris en charge pour les tâches dont l'évaluation est terminée). Les buckets sont répartis selon l'intervalle de score de la métrique sélectionnée ; un intervalle inclut sa borne inférieure mais pas sa borne supérieure. Si un échantillon correspond à plusieurs intervalles, le premier bucket de haut en bas s'applique ; les échantillons ne correspondant à aucun bucket sont affectés à « Others (not matching the preceding rules) ». Lors de la configuration, cliquez sur Add Bucket pour ajouter un bucket et sélectionnez la métrique de bucketing (par exemple Pass@K). Dans la vue Aggregate by question, les échantillons dont le Pass@K est - ne participent pas au bucketing.
  • Export : la portée d'exportation peut être Export All ou Download by Bucket ; la destination peut être Download to Local (génère un fichier de données contenant le bucketing, les scores et le détail de l'échantillonnage, au format XLSX) ou Backflow to Platform Dataset (crée un nouveau jeu de données de la plateforme à partir des buckets sélectionnés, pour un usage ultérieur d'entraînement ou d'évaluation). Sans bucketing appliqué, seule l'exportation complète est prise en charge.
Lors de l'analyse des résultats d'évaluation, portez une attention particulière aux aspects suivants :
  • Comparez les écarts de scores entre différents modèles sur une même dimension pour identifier les points forts de chacun.
  • Filtrez les entrées ayant obtenu de faibles scores et analysez sur quels types de questions le modèle montre des lacunes.
  • Concentrez-vous sur la métrique du taux de réussite : elle reflète la proportion de sorties atteignant le niveau de référence sur cette dimension, constituant ainsi un indicateur clé pour la sélection de modèles.
  • Si un même modèle est évalué plusieurs fois, comparez l'évolution des scores au fil du temps pour mesurer l'impact du réglage du modèle.

Utiliser les classements pour comparer les modèles

Les classements permettent de comparer les performances de plusieurs modèles selon les mêmes dimensions d'évaluation, et d'afficher visuellement les forces et faiblesses de chacun sous forme de tableau de classement. Chaque classement est lié à un ensemble de dimensions d'évaluation et agrège les résultats de multiples tâches d'évaluation dans un même tableau, facilitant ainsi vos décisions de sélection de modèles.

Créer un classement

  1. Connectez-vous à la console Alibaba Cloud Model Studio, puis dans le volet de navigation de gauche, choisissez Evaluation > Leaderboard.
  2. Cliquez sur Create Leaderboard.
  3. Renseignez le champ Leaderboard Name (50 caractères maximum).
  4. Dans Dimension, sélectionnez une ou plusieurs dimensions d'évaluation que vous avez créées. Les dimensions d'évaluation liées à un classement ne peuvent pas être modifiées après sa création ; choisissez-les avec soin.
  5. Cliquez sur OK pour finaliser la création.

Ajouter des tâches d'évaluation à un classement

Une fois un classement créé, vous pouvez y ajouter des tâches d'évaluation de deux manières :
  • Créer une nouvelle tâche depuis le classement : sur la page de détails du classement, cliquez sur Create Evaluation Task. Le système verrouille automatiquement les dimensions d'évaluation liées au classement et associe ce dernier. Il vous suffit de sélectionner le modèle à évaluer et le jeu de données.
  • Sélectionner parmi les tâches terminées : sur la page de détails du classement, cliquez sur Add Evaluation Task, puis dans la liste contextuelle, cochez les tâches historiques dont l'état est FINISH et qui contiennent les dimensions d'évaluation du classement. Les tâches déjà associées au classement actuel ont leurs cases grisées et ne peuvent pas être décochées.
Chaque classement peut contenir jusqu'à 50 tâches d'évaluation.

Description des résultats du classement

Le classement affiche les résultats de toutes les tâches ajoutées sous forme de tableau, comprenant les colonnes suivantes :
  • Ranking : classement décroissant selon le score du classement ; les trois premiers sont marqués respectivement en or, argent et bronze.
  • Task Name : le nom de la tâche d'évaluation. Cliquez dessus pour accéder aux détails de la tâche.
  • to compare : le nom du modèle à évaluer utilisé par la tâche.
  • Leaderboard Score : la plage de valeurs est de 0 à 100, obtenue par normalisation des scores de la tâche sur les dimensions liées au classement. Le score d'une tâche en cours d'évaluation s'affiche sous forme de tiret (-) et sera automatiquement mis à jour une fois l'évaluation terminée.
  • [Evaluation Dimension Name] : affiche le score brut de la tâche sur les dimensions liées au classement.
  • Actions : permet de consulter les détails de la tâche ou de la retirer du classement.
Les scores du classement sont mis à jour en temps réel au fur et à mesure de l'avancement de la tâche d'évaluation. Lorsque l'état de la tâche passe à FINISH, le classement est automatiquement actualisé.

Évaluation par annotation manuelle

L'évaluation par annotation manuelle convient aux scénarios nécessitant un jugement subjectif, tels que l'évaluation de la créativité ou la révision professionnelle de la qualité. Lorsque les méthodes de notation automatique ne permettent pas de mesurer avec précision la qualité des sorties du modèle, vous pouvez créer une tâche d'évaluation comportant une dimension de notation par classification manuelle ; les annotateurs jugeront alors individuellement les sorties du modèle. Connectez-vous à la console Alibaba Cloud Model Studio, puis dans le volet de navigation de gauche, choisissez Evaluation > Evaluation Task.

Modes d'annotation

L'annotation manuelle propose trois modes adaptés à différents objectifs d'évaluation :
  • Single Annotation
  • Comparative Annotation
  • Application Annotation
Le mode Single Annotation (base) note individuellement la sortie du modèle pour chaque entrée de données ; l'annotateur sélectionne une étiquette de catégorie pour chaque sortie. Ce mode convient aux scénarios nécessitant une notation indépendante de chaque sortie, par exemple pour vérifier une à une la précision ou la sécurité des réponses du modèle.
Le tableau suivant compare les trois modes d'annotation :

Mode d'annotation

Description

Scénarios applicables

Single Annotation (base)

Note chaque sortie du modèle individuellement

Nécessite une notation indépendante de chaque sortie

Comparative Annotation (PK)

Compare et classe côte à côte deux sorties de modèle

Comparaison directe et sélection entre modèles

Application Annotation (app)

Évalue les sorties du modèle en contexte applicatif

Évaluation de l'efficacité de bout en bout

Étapes d'annotation

  1. Suivez le processus Créer une tâche d'évaluation pour créer une nouvelle tâche et associer une dimension d'évaluation dont la méthode de notation est Manual Classification Scoring (voir Créer une dimension d'évaluation pour plus de détails).
  2. Une fois la tâche créée, accédez à la page de détails de la tâche et basculez sur l'onglet Case Analysis ; vous pouvez d'abord cliquer sur Manual Dimension Configuration, puis dans la boîte de dialogue cliquer sur Add dans la liste des dimensions d'évaluation manuelles déjà créées, ou cliquer sur Create Manual Dimension pour en créer une (jusqu'à 10 dimensions d'annotation manuelle) et activer le mode Quick annotation pour améliorer l'efficacité de l'annotation.
  3. Cliquez sur Details d'un échantillon pour ouvrir le panneau de détails de l'évaluation : la partie gauche présente la conversation multi-tours complète sous forme de dialogue, permettant de comparer la réponse de référence et la sortie du modèle ; la zone d'étiquettes en bas affiche les dimensions d'annotation manuelle et leurs étiquettes ; sélectionnez l'étiquette de catégorie de l'échantillon en cours pour compléter l'annotation.
  4. Utilisez les boutons Previous et Next pour naviguer entre les échantillons et compléter l'annotation un par un. Une fois toutes les données annotées, l'état de la tâche passe automatiquement à FINISH.

Recommandations pour la conception des étiquettes

La qualité de la conception des étiquettes impacte directement la fiabilité des résultats d'annotation. Nous recommandons de respecter les principes suivants :
  • Les étiquettes doivent couvrir toutes les situations possibles de sortie du modèle afin d'éviter que les annotateurs ne rencontrent des sorties impossibles à catégoriser.
  • Utilisez des termes de catégorie concis et clairs comme noms d'étiquettes pour réduire la charge cognitive des annotateurs.
  • Faites appel à plusieurs annotateurs pour annoter croisés le même lot de données afin de vérifier la cohérence des annotations. Si la cohérence est faible, vérifiez si les définitions des étiquettes sont ambiguës et optimisez les critères de jugement.

Gérer les ressources d'évaluation

Une fois les tâches d'évaluation, les dimensions d'évaluation et les classements créés, vous pouvez gérer ces ressources dans la console. Certaines opérations étant irréversibles, procédez avec prudence. Connectez-vous à la console Alibaba Cloud Model Studio, puis dans le volet de navigation de gauche, choisissez Evaluation.

Gestion des tâches d'évaluation

Sur la page de liste Evaluation > Evaluation Task, vous pouvez effectuer les opérations suivantes sur les tâches d'évaluation :
  • Recherche, filtrage et tri : recherchez par nom de tâche, filtrez par état et triez par date de création pour localiser rapidement la tâche cible. Ces opérations n'affectent que l'affichage de la liste et ne modifient pas les données de la tâche.
  • Interrompre une tâche : seules les tâches à l'état RUNNING peuvent être interrompues. Après avoir cliqué sur Terminate, l'état de la tâche passe à ABORTED. Cette opération est irréversible.
  • Supprimer une tâche : les tâches à l'état FINISH, FAILED ou ABORTED peuvent être supprimées. Après suppression, les données de la tâche et les résultats d'évaluation sont définitivement effacés. Cette opération est irréversible.
  • Télécharger les résultats : seules les tâches à l'état FINISH permettent le téléchargement des résultats d'évaluation (voir Consulter les résultats d'évaluation pour plus de détails).
Les opérations disponibles selon l'état de la tâche sont résumées ci-dessous :

État de la tâche

Opérations disponibles

Avertissement d'irréversibilité

WAITING

Aucune (la tâche est en file d'attente)

-

RUNNING

Interrompre

Après interruption, l'état passe à ABORTED et ne peut être restauré

FINISH

Consulter les résultats, Télécharger les résultats, Supprimer

Les données sont définitivement effacées après suppression

FAILED

Supprimer

Les données sont définitivement effacées après suppression

ABORTED

Supprimer

Les données sont définitivement effacées après suppression

Gestion des dimensions d'évaluation

Sur la page de liste Evaluation > Dimension, vous pouvez modifier la description de la dimension ou supprimer une dimension. Lors de la suppression d'une dimension d'évaluation, si celle-ci est liée à un classement, les données de score basées sur cette dimension dans le classement seront effacées. Veuillez vérifier si un classement utilise la dimension avant de procéder à la suppression.

Gestion des classements

Sur la page de liste Evaluation > Leaderboard, vous pouvez effectuer les opérations suivantes :
  • Supprimer un classement : après la suppression d'un classement, ses données sont définitivement effacées, mais les tâches d'évaluation qui y étaient ajoutées ne sont pas affectées.
  • Retirer une tâche : sur la page de détails du classement, vous pouvez retirer une tâche d'évaluation du classement. Cette action n'affecte que l'affichage du classement ; la tâche d'évaluation elle-même et ses résultats ne seront pas supprimés.
Les opérations suivantes sont irréversibles ; confirmez avant d'exécuter : la suppression d'une tâche d'évaluation efface définitivement les données de la tâche et les résultats d'évaluation ; une tâche interrompue ne peut pas être reprise ; la suppression d'une dimension d'évaluation efface également les données de score basées sur cette dimension dans le classement.

Facturation

Les frais générés par Model Evaluation se composent de deux parties : les frais d'inférence du modèle à évaluer et les frais de notation du modèle juge. Comprendre les règles de facturation vous aide à planifier l'échelle d'évaluation et à maîtriser les coûts.

Composition des frais

Frais d'inférence du modèle à évaluer : facturés au token. La formule est cost = input_tokens x input_price + output_tokens x output_price. Ici, input_tokens inclut le System Prompt et le Prompt de chaque entrée de données, et output_tokens correspond à la réponse générée par le modèle. Le prix unitaire spécifique de chaque modèle est indiqué dans la console Model Studio. Lorsque le nombre d'inférences par échantillon est défini sur une valeur supérieure à 1, chaque échantillon est inféré le nombre de fois défini et les frais d'inférence augmentent en conséquence avec le nombre d'inférences. Frais de notation du modèle juge : uniquement encourus lors de l'utilisation de la méthode de notation LLM Numerical Scoring ou LLM Classification Scoring. Les tokens consommés par le modèle juge pour noter chaque entrée de données sont facturés selon la tarification de ce modèle juge. Pour les prix spécifiques, consultez la console Model Studio. Lors de l'utilisation de la méthode de notation String Matching ou Text Similarity, le processus de notation n'implique aucun appel au modèle juge, donc aucun frais de notation n'est engendré.
Les méthodes de notation String Matching et Text Similarity n'appellent pas de modèle juge et n'engendrent pas de frais de notation ; seuls les frais d'inférence du modèle à évaluer sont facturés. Pour les scénarios d'évaluation disposant d'une réponse standard claire, privilégier ces deux méthodes peut réduire considérablement le coût d'évaluation.
Pour les modèles déployés indépendamment (fine-tunés et déployés en ligne), aucun frais d'inférence supplémentaire n'est facturé lors de l'évaluation ; seuls les frais de déploiement existants s'appliquent. La composition des frais pour chaque méthode de notation est résumée dans le tableau suivant :

Méthode de notation

Frais d'inférence du modèle à évaluer

Frais de notation du modèle juge

Composition des frais

LLM Numerical Scoring

Facturé au token

Facturé au token

Inférence + Notation

LLM Classification Scoring

Facturé au token

Facturé au token

Inférence + Notation

String Matching

Facturé au token

Aucun

Inférence uniquement

Text Similarity

Facturé au token

Aucun

Inférence uniquement

Manual Classification Scoring

Facturé au token

Aucun (le coût manuel est calculé séparément)

Inférence + Manuel

Exemple d'estimation des frais

L'exemple suivant illustre le processus d'estimation des frais pour l'utilisation du modèle qwen-plus afin d'effectuer une évaluation LLM Numerical Scoring sur 100 entrées de données (le prix unitaire est donné à titre indicatif uniquement ; référez-vous à l'affichage réel dans la console) :
  • Supposons que chaque entrée de données ait en moyenne input_tokens = 500 et output_tokens = 200.
  • Frais d'inférence du modèle à évaluer = 100 x (500 x input_price + 200 x output_price).
  • Frais de notation du modèle juge = 100 x (tokens consommés par notation x prix unitaire du modèle juge).
  • Frais totaux = Frais d'inférence du modèle à évaluer + Frais de notation du modèle juge.

Stratégies d'optimisation des coûts

  • Évaluation progressive : commencez par utiliser 50 à 100 entrées de données pour une validation à petite échelle. Après avoir confirmé que les dimensions d'évaluation et la qualité des données répondent aux attentes, passez à l'ensemble complet du jeu de données pour l'évaluation formelle.
  • Privilégiez l'évaluation basée sur des règles : String Matching et Text Similarity n'engendrent pas de frais de modèle juge et présentent le coût le plus bas. Pour les scénarios avec une réponse standard claire, donnez la priorité aux méthodes d'évaluation basées sur des règles.
  • Enregistrez les jeux de résultats d'inférence pour les réutiliser : sauvegardez les résultats d'inférence du modèle sous forme de jeu de résultats d'inférence. Les évaluations ultérieures pourront utiliser directement les résultats existants, évitant ainsi le coût d'appels répétés au modèle pour l'inférence.

FAQ

Que faire si les résultats d'évaluation ne correspondent pas aux attentes ?

Problème : une fois la tâche d'évaluation terminée, le score du modèle présente un écart significatif par rapport à l'expérience réelle, ou le résultat de la notation semble incohérent. Vérifiez successivement les aspects suivants :
  • Vérifiez la représentativité des données de test : assurez-vous que le jeu de données d'évaluation couvre les scénarios typiques et les cas limites du métier. Un volume de données trop faible ou une distribution biaisée rendra les scores non représentatifs.
  • Examinez la clarté du Scorer Prompt : vérifiez si le Scorer Prompt décrit clairement les critères de notation et la base de jugement. Un Prompt ambigu entraînera une notation instable par le modèle juge.
  • Ajustez la plage de notation et le seuil : une plage de notation trop étroite (par exemple 0-2) peut entraîner une discrimination insuffisante des scores. Élargir la plage (par exemple 0-10) peut améliorer la précision de la notation.
  • Changez de modèle juge : différents modèles juges possèdent des capacités de notation variables. Qwen-Max (qwen-max) est recommandé pour obtenir des résultats de notation plus stables.

Que faire si les scores sont trop concentrés ?

Problème : les scores de plusieurs entrées de données se concentrent sur la même note ou la même étiquette de catégorie, manquant ainsi de discrimination. Des scores trop concentrés résultent généralement des causes suivantes. Examinez-les une par une :
  • Affinez les critères de jugement : ajoutez des conditions de jugement claires et des exemples pour chaque niveau de score dans le Scorer Prompt afin que le modèle juge puisse distinguer les sorties de différents niveaux de qualité.
  • Augmentez la diversité des données : ajoutez des échantillons limites et des échantillons anormaux au jeu de données d'évaluation pour éviter que tous les Prompts ne soient trop uniformes en difficulté.
  • Changez de modèle juge : un modèle juge doté d'une capacité de raisonnement plus forte (tel que Qwen-Max) pourra mieux suivre les critères de jugement granulaires du Scorer Prompt.

Comment interpréter des résultats contradictoires entre différentes dimensions d'évaluation ?

Problème : un même modèle présente de grands écarts de scores entre différentes dimensions d'évaluation, pouvant même exceller sur une dimension et obtenir de mauvais résultats sur une autre. Ce phénomène est normal. Différentes dimensions d'évaluation mesurent divers aspects des capacités du modèle (tels que la précision, la fluidité et la logique). Les performances du modèle varient intrinsèquement selon les capacités. Il est recommandé de prendre des décisions pondérées sur les scores des dimensions en fonction des priorités métier, plutôt que d'exiger que le modèle soit optimal sur toutes les dimensions.

Que faire si le modèle génère fréquemment du contenu obsolète ou non pertinent ?

Problème : la sortie du modèle est sans rapport avec la réponse de référence, ou contient des informations obsolètes, ce qui entraîne un faible score d'évaluation. Cela indique généralement que la couverture des connaissances du modèle est insuffisante ou que ses données d'entraînement sont datées. Il est recommandé d'envisager l'intégration d'une base de connaissances pour compléter le modèle avec des connaissances métier, et d'améliorer la qualité des sorties du modèle dans des domaines spécifiques grâce à la génération augmentée par récupération (RAG).

Quels sont les pièges courants lors de l'utilisation de l'évaluation ?

Problème : lors de la première utilisation de Model Evaluation, il est facile de confondre les concepts ou de commettre des erreurs de manipulation, entraînant des résultats d'évaluation anormaux. Voici les pièges courants et les bonnes pratiques associées :
  • Le System Prompt diffère du Scorer Prompt : le System Prompt est configuré dans la tâche d'évaluation et envoyé au modèle à évaluer ; le Scorer Prompt est configuré dans la dimension d'évaluation et envoyé au modèle juge (voir Créer une tâche d'évaluation pour plus de détails). Les deux ciblent des objets différents ; ne les confondez pas.
  • Les étiquettes de catégorie telles que Pass/Fail ne doivent pas se chevaucher : dans les dimensions utilisant LLM Classification Scoring ou Manual Classification Scoring, les étiquettes de réussite et d'échec doivent être mutuellement exclusives. Une même étiquette ne peut pas appartenir simultanément aux deux groupes.
  • Aucun frais supplémentaire pour les modèles déployés indépendamment : les modèles ayant été fine-tunés et déployés en ligne ne sont pas soumis à des frais d'inférence supplémentaires lors de l'évaluation (voir Facturation pour plus de détails).
  • Restriction sur le type de jeu de données : les tâches d'évaluation ne prennent en charge que les jeux de données de type Evaluation Set. Si un jeu de données de type training set est sélectionné, le système refusera de créer la tâche d'évaluation.

Pourquoi le Pass@K de certains échantillons s'affiche sous forme de - dans la vue Aggregate by question ?

Problème : dans la vue Aggregate by question de la page Case Analysis, le Pass@K de certains échantillons s'affiche sous forme de -. Parmi les multiples inférences de cet échantillon, certaines n'ont pas abouti (échec de notation, notation interrompue ou en cours) ; le Pass@K ne peut donc pas être calculé et s'affiche sous forme de -. Cliquez sur « View Details » pour consulter l'état de chaque inférence et localiser la cause de l'échec.

Pourquoi un message indique-t-il que seules les tâches d'évaluation terminées prennent en charge le bucketing ?

Problème : lorsque vous cliquez sur le bouton de bucketing dans la page Case Analysis, le système indique que seules les tâches d'évaluation terminées prennent en charge le bucketing. Le bucketing est calculé à partir des résultats d'évaluation complets et n'est pris en charge que pour les tâches à l'état FINISH. Attendez la fin de l'évaluation de la tâche avant de configurer les règles de bucketing.