Skip to main content

Ensemble d'entraînement et ensemble d'évaluation

Les jeux de données constituent la base de l'entraînement et de l'évaluation des modèles. La fonctionnalité Data Management d'Alibaba Cloud Model Studio vous aide à créer et gérer efficacement vos jeux de données.

Aperçu des jeux de données

La fonctionnalité Data Management d'Alibaba Cloud Model Studio gère de manière centralisée tous les jeux de données liés aux grands modèles dans votre espace de travail professionnel. Les jeux de données se divisent en Training Set (utilisé pour réglage fin du modèle, prenant en charge SFT/DPO/CPT) et Evaluation Set (utilisé pour évaluation du modèle). Les ensembles d'entraînement prennent en charge quatre scénarios : génération de texte, compréhension multimodale, image vers vidéo (première image) et image vers vidéo (première et dernière image). Les ensembles d'évaluation ne prennent en charge que le scénario de génération de texte. Le type de jeu de données est immuable après sa création ; choisissez-le avec soin en fonction de votre utilisation ultérieure. Les noms des jeux de données peuvent comporter jusqu'à 50 caractères (les caractères chinois, anglais, les chiffres, les traits de soulignement, les tirets et les points sont pris en charge) et les descriptions jusqu'à 200 caractères. Il est impossible de créer ou de publier des jeux de données vides. Le nombre de jeux de données créables et la quantité de données importables sont illimités. Les méthodes d'entraînement DPO/CPT et le montage du stockage cloud sont disponibles uniquement dans la région de Pékin.

Méthodes d'entraînement et scénarios

Les ensembles d'entraînement prennent en charge trois méthodes d'entraînement, chacune ayant des scénarios applicables et des exigences minimales en matière de données différentes :
  • SFT (Supervised Fine-Tuning) : réglage fin par instruction qui permet au modèle de résoudre des tâches spécifiques. Nous recommandons au moins mille entrées. Disponible sur tous les sites.
  • DPO (Direct Preference Optimization) : entraînement d'alignement des préférences. Nous recommandons au moins cent entrées.
  • CPT (Continual Pre-Training) : injection de connaissances spécifiques à un domaine. Nous recommandons au moins 50 millions de tokens de données.
Tous les ensembles d'entraînement sont publiés immédiatement après leur création et leur soumission ; l'enregistrement sous forme de brouillons n'est plus pris en charge. Vous pouvez toujours modifier en ligne ou supprimer les versions brouillons historiques.

Méthode d'entraînement

Objectif

Volume de données recommandé

Disponibilité du site

SFT

Réglage fin supervisé (réglage fin par instruction)

Plus de 1 000 entrées

Tous les sites

DPO

Optimisation directe des préférences (alignement des préférences)

Plus de 100 entrées

Région de Pékin

CPT

Pré-entraînement continu (connaissances du domaine)

50 millions de tokens

Région de Pékin

Méthodes d'importation

Les jeux de données prennent en charge trois méthodes d'importation, chacune ayant des scénarios applicables et des prérequis différents :
  • Upload Local File : aucun prérequis ; téléchargez directement des fichiers locaux, adapté aux petits lots de données.
  • OSS Import : ajoutez le tag bailian-datahub-access=read au bucket cible ; adapté aux grands lots de données. Non pris en charge pour les ensembles d'évaluation.
  • Log Backflow : extrait automatiquement les données d'entraînement des journaux d'inférence SLS ; nécessite l'autorisation d'un rôle lié au service, formant une boucle d'amélioration inférence → données → réglage fin.
Le Log Backflow ne prend en charge que les journaux des 30 derniers jours, avec une limite d'importation unique de 100 000 entrées, et nécessite la spécification d'une clé API ainsi que des conditions de filtrage du modèle. Les données importées sont automatiquement chiffrées avec le chiffrement côté serveur OSS (SSE-OSS, AES256). Le Log Backflow est disponible. Pour la liste complète des restrictions, consultez la section Aperçu des jeux de données.

Méthode d'importation

Prérequis

Scénario applicable

Ensemble d'évaluation pris en charge

Téléchargement local

Aucun

Petits lots de données

Pris en charge

Importation OSS

Tag de bucket bailian-datahub-access=read

Grands lots de données

Non pris en charge

Log Backflow

Autorisation + Clé API/filtre de modèle

Construire des données d'entraînement à partir des journaux d'inférence

Pris en charge

Le Log Backflow nécessite d'abord l'autorisation d'un rôle lié au service, ne prend en charge que les journaux des 30 derniers jours et impose une limite d'importation unique de 100 000 entrées.

Data Preparation

La préparation de données de haute qualité est essentielle pour obtenir de bons résultats lors du réglage fin du modèle. Pour les volumes de données recommandés pour chaque méthode d'entraînement (génération de texte SFT/DPO/CPT), consultez les Règles de téléchargement des données de réglage. Il n'existe pas de volumes de données recommandés officiels pour les ensembles d'entraînement de compréhension multimodale et d'image vers vidéo ; préparez suffisamment d'échantillons en fonction de votre scénario réel.

Format des données et modèles

Pour les spécifications de format des fichiers de données de chaque scénario d'entraînement (texte SFT/compréhension multimodale (image/vidéo → texte), DPO, CPT, ensembles d'évaluation), consultez les Règles de téléchargement des données de réglage. Sur la page de création de jeu de données Data Management, téléchargez le modèle de données correspondant au scénario ; préparer les données selon la structure du modèle permet d'éviter les échecs d'importation. Les ensembles d'évaluation prennent en charge le format mono-tour Text generation (prompt&completion) et le format de dialogue multi-tours Text generation (ChatML-messages) ; pour les spécifications détaillées des champs et des exemples, consultez Règles de téléchargement des données de réglage - Format du jeu d'évaluation. Pour les stratégies de diversité et d'augmentation des données, consultez la documentation sur le réglage fin du modèle. Pour les ensembles d'évaluation, préparez un ensemble indépendant de données non chevauchantes afin d'évaluer objectivement la généralisation du modèle.

Créer un jeu de données

Avant de créer un jeu de données, assurez-vous que les prérequis suivants sont remplis : le service Model Studio est activé ; pour l'importation OSS, ajoutez le tag bailian-datahub-access=read au bucket cible ; pour le Log Backflow, autorisez un rôle lié au service. Sur la page de liste Data ManagementData Management > Dataset, cliquez sur Add Dataset, puis suivez ces étapes :
  1. Saisissez un nom de jeu de données (jusqu'à 50 caractères) et une description (jusqu'à 200 caractères, facultative).
  2. Sélectionnez un type de jeu de données : Training Set ou Evaluation Set (ne peut pas être modifié après la création).
  3. Sélectionnez un scénario d'entraînement : les ensembles d'entraînement prennent en charge la génération de texte, la compréhension multimodale, l'image vers vidéo (première image) et l'image vers vidéo (première et dernière image) ; pour les ensembles d'évaluation, sélectionnez ici le format d'échantillon : Text generation (ChatML-messages) (dialogue multi-tours ; prend en charge jsonl, xls et xlsx, 200 Mo maximum par fichier) ou Text generation (prompt&completion) (mono-tour ; xls et xlsx uniquement, 20 Mo maximum par fichier). La page de création fournit le téléchargement de modèles d'exemple pour les formats correspondants.
  4. Sélectionnez une méthode d'entraînement : SFT, DPO ou CPT (uniquement requis pour les ensembles d'entraînement ; les ensembles d'évaluation n'ont pas cette configuration).
  5. Sélectionnez un emplacement de stockage : Platform OSS storage (gratuit, sans limite de volume de données) ou Mount Cloud Storage (non disponible pour les ensembles d'évaluation).
  6. Sélectionnez une méthode d'importation et téléchargez les données : téléchargement local, importation OSS ou Log Backflow (voir les descriptions des onglets ci-dessous).
  7. Cliquez sur Submit ; le jeu de données est publié immédiatement, ce qui achève la création.
Les trois méthodes d'importation s'utilisent dans des onglets différents, chacun présentant des champs et des opérations distincts. Les ensembles d'entraînement de génération de texte SFT et DPO prennent en charge le téléchargement simultané de plusieurs fichiers.

Paramètre

Description

Obligatoire

Description de la valeur

Nom du jeu de données

Identifiant du jeu de données

true

Jusqu'à 50 caractères ; chinois/anglais/chiffres/trait de soulignement/tiret/point

Description du jeu de données

Description du jeu de données

Jusqu'à 200 caractères

Type de jeu de données

Ensemble d'entraînement ou ensemble d'évaluation ; ne peut pas être modifié après la création

true

Training Set/Evaluation Set

Scénario d'entraînement

Scénario d'entraînement auquel les données s'appliquent

true

Génération de texte/Compréhension multimodale/Image vers vidéo (première image)/Image vers vidéo (première et dernière image)

Méthode d'entraînement

Type d'algorithme d'entraînement

true

SFT/DPO/CPT

Emplacement de stockage

Méthode de stockage du jeu de données

true

Platform OSS storage/Montage du stockage cloud

Méthode d'importation

Source d'importation des données

true

Téléchargement local/Importation OSS/Log Backflow

image
  • Téléchargement local
  • Importation OSS
  • Log Backflow
Cliquez sur Upload File pour sélectionner les fichiers de données locaux. La génération de texte SFT et DPO prend en charge le téléchargement de plusieurs fichiers. Le format du fichier doit respecter les exigences du scénario (voir la section Data preparation), et les données importées sont automatiquement chiffrées avec SSE-OSS.

Gestion des versions

Un jeu de données peut comporter plusieurs versions indépendantes, dont les numéros de version s'incrémentent automatiquement. Sur la page de détail du jeu de données, cliquez sur Add Version pour créer une nouvelle version. Lors de l'ajout d'une version, le mode de création nouvelle est utilisé ; toutes les données doivent être réimportées. Le mode d'héritage qui modifie incrémentiellement les données de la version précédente n'est plus pris en charge.
  • Create Mode : réimportez toutes les données ; adapté aux mises à jour à grande échelle.
Les versions brouillons historiques des jeux de données peuvent être utilisées pour le Data Processing (nettoyage et augmentation des données) afin d'améliorer la qualité des données avant la publication.

Gestion des jeux de données

Sur la page de liste Data ManagementData Management > Dataset, vous pouvez consulter tous les jeux de données, filtrer par type (ensemble d'entraînement/ensemble d'évaluation) et rechercher par nom. Les jeux de données en cours d'importation actualisent automatiquement leur statut toutes les 5 secondes ; aucune actualisation manuelle n'est nécessaire.

Publication et suppression

La commande Publish est irréversible ; les versions publiées ne peuvent pas être modifiées. La commande Delete sur une version publiée est également irréversible ; seules les versions brouillons historiques peuvent être supprimées. La suppression d'un jeu de données entier entraîne la suppression de toutes ses versions. Toutes ces opérations sont irréversibles ; procédez avec prudence.

Modification et exportation

Seules les versions brouillons historiques peuvent être modifiées en ligne (le contenu Prompt/Completion est modifiable) ; les nouveaux jeux de données sont publiés immédiatement après soumission et ne génèrent plus de versions brouillons ; la modification n'est pas disponible pour les versions publiées. Lors de l'exportation des jeux de données, chaque type possède un format différent : les ensembles d'entraînement SFT sont exportés au format .jsonl, les ensembles d'entraînement multimodaux au format .zip et les ensembles d'évaluation au format .xlsx. L'exportation de jeux de données vides n'est pas prise en charge.
image
Les opérations de publication et de suppression sont irréversibles. Les versions publiées ne peuvent pas être modifiées ; seules les versions brouillons historiques peuvent être supprimées. Procédez avec prudence.

Facturation

La fonctionnalité Data Management est gratuite, mais le stockage des jeux de données et les ressources en aval engendrent des frais ; consultez la page de facturation de Model Studio pour plus de détails.
  • Platform OSS storage : les frais sont basés sur la page de facturation de Model Studio.
  • Mount Cloud Storage : les frais sont facturés sur le compte OSS de l'utilisateur.
  • Log Backflow : les frais SLS encourus sont facturés sur le compte du produit SLS.
Consultez la documentation de facturation de Model Studio pour connaître les derniers tarifs avant utilisation.

Étapes suivantes

Une fois un jeu de données créé et publié, il peut être utilisé dans les scénarios en aval suivants :
  • Une fois un ensemble d'entraînement publié, il est utilisé pour réglage fin du modèle (SFT/DPO/CPT).
  • Une fois un ensemble d'évaluation publié, il est utilisé pour évaluation du modèle.
Pour connaître tous les détails opérationnels du Log Backflow (flux d'autorisation, logique de filtrage), consultez la rubrique dédiée au Log Backflow. Les opérations CRUD sur les jeux de données sont actuellement prises en charge uniquement dans la console ; l'API de réglage fin du modèle peut référencer les ID des ensembles d'entraînement publiés via le paramètre training_file_ids.