Skip to main content

Règles de chargement des données d'ajustement fin

Décrit les spécifications de format, les exigences d'emballage, les limites de taille et de quantité, ainsi que les quotas de chargement via API pour les données d'ajustement fin des modèles de génération de texte. Ce document aide les utilisateurs à construire et charger des données d'entraînement SFT/DPO/CPT conformes, en fonction de la méthode d'entraînement.

Vue d'ensemble

Ce document décrit les spécifications de format, les exigences d'emballage, les limites de taille et de quantité, ainsi que les quotas de chargement via API pour les données d'ajustement fin des modèles de génération de texte. Le périmètre couvre l'ajustement fin des modèles de génération de texte (texte/image/vidéo → texte), incluant le texte brut SFT/DPO/CPT, la compréhension d'images et de vidéos Qwen VL, l'extraction de trames vidéo, l'appel de fonctions et la réflexion profonde. L'ajustement fin des modèles de génération vidéo (image → vidéo) n'est pas couvert. Le type de jeu de données (jeu d'entraînement ou jeu d'évaluation) ne peut pas être modifié après sa création. La prise en charge de chaque méthode d'entraînement et élément est détaillée dans la matrice Matrice de prise en charge des méthodes d'entraînement et des éléments. Les règles de construction de format pour chaque combinaison sont décrites dans les chapitres correspondants ci-dessous.
Les opérations suivantes sont irréversibles ; procédez avec prudence :
  • Les versions publiées ne peuvent plus être modifiées ; seules les versions brouillon créées précédemment peuvent être supprimées ou modifiées en ligne.
  • Le type de jeu de données ne peut pas être modifié après sa création.
  • Le changement de type, de scénario ou de méthode d'entraînement efface les fichiers chargés.
Les opérations de gestion (paramètres de création, gestion des versions, règles de gestion du jeu d'évaluation, sélection de la méthode d'importation, nettoyage des données, sécurité et conformité) sont traitées dans les documents connexes ; consultez les rubriques Jeu d'entraînement et jeu d'évaluation, Présentation de l'ajustement fin de modèle, etc. Nous vous recommandons de télécharger le modèle de données correspondant au scénario sur la page de création du jeu de données et de préparer les données selon la structure du modèle afin d'éviter les échecs d'importation. Pour des recommandations sur la construction de jeux de données (échelle de données recommandée, diversité et équilibre, stratégies d'augmentation des données), consultez la section Présentation de l'ajustement fin de modèle - Conseils pour la construction de jeux de données.

Matrice de prise en charge des méthodes d'entraînement et des éléments

Le jeu d'entraînement prend en charge trois méthodes d'entraînement : SFT, DPO et CPT. L'état de prise en charge de chaque méthode et élément est indiqué dans le tableau matriciel ci-dessous. L'ordre d'ajustement fin recommandé est CPT (optionnel) → SFT → DPO (optionnel) ; ces trois méthodes sont progressives et non mutuellement exclusives. Disponibilité par région :
  • SFT, le chargement local, la rétroaction des journaux, le chargement via API et les formats de données multimodaux sont pris en charge dans toutes les régions.
  • DPO, CPT, l'importation depuis OSS et le montage du stockage cloud sont uniquement pris en charge dans la région de Pékin.
La matrice de prise en charge des méthodes d'entraînement et des éléments est la suivante :

Méthode d'entraînement

Génération de texte

Compréhension visuelle - Entrée image

Compréhension visuelle - Entrée vidéo (qwen3.5+)

Compréhension visuelle - Appel d'outil (qwen3.5+)

Réflexion profonde

SFT

✓

✓

✓

✓

✓

DPO

✓

✗

✗

✗

✓

CPT

✓

✗

✗

✗

✗

Jeu d'évaluation

✓

✗

✗

✗

✗

Chaque méthode d'entraînement crée de nouvelles versions en mode création de nouvelles données, ce qui nécessite la réimportation de toutes les données. Pour les définitions des champs des méthodes d'entraînement SFT/DPO/CPT, consultez la rubrique Présentation de l'ajustement fin de modèle.

Génération de texte - Format SFT

Les données d'entraînement SFT pour la génération de texte utilisent le format de fichier jsonl, basé sur la structure multi-tours ChatML messages.
  • Prend en charge trois rôles : system, user et assistant. Le champ content est une chaîne (pour la structure de tableau content dans les scénarios multimodaux, voir le chapitre correspondant au format multimodal).
  • La taille maximale d'un fichier unique est de 200 Mo.
  • Un jeu de données peut mélanger des lignes de différents formats — chaque enregistrement sélectionne indépendamment un format, sans nécessité d'uniformiser vers un seul format.
  • Formats disponibles : dialogue standard, réflexion profonde, appel de fonction et appel de fonction combiné avec réflexion (voir les onglets d'exemples ci-dessous).
La génération de texte SFT prend en charge les formats d'exemple suivants. La structure JSON complète de chaque exemple est affichée dans l'onglet correspondant :
  • ChatML standard
  • Réflexion profonde (thinking)
  • Appel de fonction
Exemple de format ChatML standard (dialogue multi-tours system/user/assistant) :
{
  "messages": [
    {"role": "system", "content": "系统输入1"},
    {"role": "user", "content": "用户输入1"},
    {"role": "assistant", "content": "期望的模型输出1"},
    {"role": "user", "content": "用户输入2"},
    {"role": "assistant", "content": "期望的模型输出2"}
  ]
}

Utilisation avancée

  1. Le paramètre loss_weight est pris en charge, avec une plage de valeurs de (0.0, 1.0] ; plus la valeur est élevée, plus l'importance de cet enregistrement lors de l'entraînement est grande.
    Pris en charge par défaut sur les modèles Qwen3.5 et ultérieurs ; pour activer la prise en charge pour les modèles des séries Qwen3 et Qwen2.5, contactez votre gestionnaire de compte.
{"role": "assistant", "content": "期望的模型输出", "loss_weight": "1.0"}

Règles des balises de réflexion

Le contenu de réflexion est encapsulé dans les balises <think>\n…\n</think>\n\n et placé à l'intérieur du texte de sortie de l'assistant (partageant le même dernier contenu assistant que la réponse finale). Règles :
  • Il ne peut être placé que dans la dernière sortie de l'assistant ; les sorties intermédiaires de l'assistant ne doivent pas inclure de balises de réflexion.
  • Les sauts de ligne avant et après la balise de réflexion doivent être conservés.
  • Si un échantillon d'entraînement est configuré pour que le modèle ne produise pas de balises de réflexion, il n'est pas recommandé de réactiver le mode de réflexion lors de l'appel au modèle après l'entraînement.

Format du jeu d'évaluation

Le jeu d'évaluation ne sert que les scénarios de génération de texte et est indépendant de la méthode d'entraînement SFT/DPO/CPT — les modèles entraînés avec DPO/CPT utilisent également le jeu d'évaluation de génération de texte pour l'évaluation, sans distinction selon la méthode d'entraînement. Le jeu d'évaluation prend en charge deux formats d'échantillons, sélectionnés via le scénario d'entraînement du format de données lors de la création du jeu de données :
  • Text generation (prompt&completion) : format mono-tour. Chaque échantillon se compose d'un Prompt (question de l'utilisateur) et d'un Completion (réponse de référence). Le chargement local ne prend en charge que les fichiers xls et xlsx (20 Mo maximum par fichier) ; la structure des colonnes est disponible dans le modèle de données fourni par la console.
  • Text generation (ChatML-messages) : format de dialogue multi-tours. Chaque échantillon est un tableau messages composé de messages des rôles system, user et assistant, la réponse de référence étant le dernier message assistant de messages. Le chargement local prend en charge les fichiers jsonl, xls et xlsx (200 Mo maximum par fichier) ; un fichier d'exemple peut être téléchargé lors de la création du jeu de données.
Dans le format ChatML, chaque ligne est un échantillon jsonl ; le mono-tour et le multi-tours peuvent être mélangés, comme indiqué ci-dessous :
{"messages": [{"role": "system", "content": "You are a helpful assistant"}, {"role": "user", "content": "谁在文艺复兴时期绘制人体?"}, {"role": "assistant", "content": "文艺复兴时期是一个关于艺术、文化和学术的复兴运动,在这个时期,许多艺术家都绘制了人体。"}]}
{"messages": [{"role": "system", "content": "You are a helpful assistant"}, {"role": "user", "content": "谁在文艺复兴时期绘制人体?"}, {"role": "assistant", "content": "文艺复兴时期是一个关于艺术、文化和学术的复兴运动,在这个时期,许多艺术家都绘制了人体。"},{"role": "user", "content": "那雕塑方面如何呢?"}, {"role": "assistant", "content": "文艺复兴时期的雕塑也非常有名,几位世界级的雕塑大师都出自于这个时期"}]}
Description des champs du format ChatML :
  • messages : le tableau de messages. Le message system est facultatif et placé en premier ; les messages user et assistant alternent ; pour un dialogue multi-tours, continuez d'ajouter des paires de messages user/assistant, le dernier message assistant étant la réponse de référence de l'échantillon.
  • Le content d'un message assistant peut contenir le contenu de réflexion du modèle : le texte de réflexion est placé avant la réponse et séparé par le marqueur </think> (utilisé lors de l'évaluation de modèles de raisonnement).
  • extra : champ d'extension personnalisé facultatif, prenant en charge les types objet, tableau et numérique, permettant d'attacher des données personnalisées aux échantillons selon les besoins métier.
Spécifications du jeu d'évaluation :
  • Méthodes d'ingestion : chargement local et rétroaction des journaux ; l'importation depuis Object Storage Service (OSS) et le montage du stockage cloud ne sont pas pris en charge.
  • Seules les versions brouillon créées précédemment prennent en charge l'édition en ligne (Prompt/Completion) ; les versions publiées ne peuvent pas être modifiées.
  • Pour les jeux de données au format ChatML, l'aperçu du fichier dans le détail du jeu de données présente le contenu messages complet de chaque échantillon jsonl.
Limites d'ingestion par rétroaction des journaux :
  • La plage de journaux prise en charge s'étend sur les 30 derniers jours.
  • Maximum de 100 000 enregistrements par importation.
  • Vous devez autoriser le rôle lié au service et spécifier la clé API ainsi que les conditions de filtrage du modèle.
  • Le jeu d'entraînement est uniquement disponible pour les scénarios SFT de génération de texte (le jeu d'évaluation de génération de texte est également pris en charge).
Pour plus de détails sur la méthode d'ingestion par rétroaction des journaux, consultez la rubrique Rétroaction des journaux. Le jeu d'évaluation doit être une collection indépendante de données non chevauchantes, utilisée pour évaluer objectivement la capacité de généralisation du modèle. Pour les règles de gestion du jeu d'évaluation, consultez la rubrique Jeu d'entraînement et jeu d'évaluation.

Génération de texte - Format DPO

Les données d'entraînement DPO pour la génération de texte utilisent le format jsonl. Basé sur la structure multi-tours ChatML messages, il contient en outre deux sorties assistant contrastées, chosen et rejected, pour l'entraînement à l'alignement des préférences. Tout le contenu dans messages est utilisé comme entrée, et DPO est utilisé pour entraîner le modèle sur les retours positifs/négatifs concernant la dernière entrée utilisateur. Pour les règles de la structure multi-tours messages, consultez la section Génération de texte - Format SFT. Pour le contenu de réflexion profonde, la sortie assistant chosen ou rejected peut être encapsulée avec des balises de réflexion. La balise de réflexion ne peut être placée que dans la dernière ligne assistant. Pour les règles, consultez la section Génération de texte - Format SFT. Le paramètre loss_weight (sur invitation uniquement) prend en charge le module chosen. La plage de valeurs va de 0.0 à 1.0 ; plus la valeur est élevée, plus l'importance de l'entraînement est grande. Pour plus de détails, consultez la section Génération de texte - Format SFT. La limite de taille de fichier unique pour les données d'entraînement DPO est de 200 Mo, cohérente avec la génération de texte SFT. Pour la définition de DPO, consultez la rubrique Présentation de l'ajustement fin de modèle. Pour les opérations de gestion des versions et de publication, consultez la rubrique Jeu d'entraînement et jeu d'évaluation. Consultez le bloc de code ci-dessous pour un exemple de données d'entraînement DPO pour la génération de texte :
  • ChatML standard
  • Réflexion profonde (thinking)
Exemple de format de comparaison chosen/rejected standard (deux sorties assistant contrastées) :
{
  "messages": [
    {"role": "system", "content": "系统输入"},
    {"role": "user", "content": "用户输入1"},
    {"role": "assistant", "content": "模型输出1"},
    {"role": "user", "content": "用户输入2"},
    {"role": "assistant", "content": "模型输出2"},
    {"role": "user", "content": "用户输入3"}
  ],
  "chosen": {"role": "assistant", "content": "赞同的模型期望输出3"},
  "rejected": {"role": "assistant", "content": "反对的模型期望输出3"}
}

Génération de texte - Format CPT

Les données d'entraînement CPT pour la génération de texte utilisent le format de texte brut jsonl, avec un objet jsonl par ligne, structuré comme {text}, où le champ text est un contenu en texte brut. Pour les règles de la structure multi-tours messages, consultez la section Génération de texte - Format SFT. Contraintes des données d'entraînement CPT :
  • Un minimum de 50 millions de Tokens est recommandé, et la limite de taille de fichier unique est de 300 Mo.
Pour la définition de CPT, consultez la rubrique Présentation de l'ajustement fin de modèle ; pour les opérations de gestion des versions et de publication, consultez la rubrique Jeu d'entraînement et jeu d'évaluation. La structure JSON complète d'un exemple de texte brut CPT est présentée dans le bloc de code ci-dessous. Exemple de format de texte brut {text} (un objet de texte brut jsonl par ligne) :
{
  "text": "文本内容"
}

Compréhension visuelle - Format SFT

Les données d'entraînement SFT pour images sont utilisées pour la compréhension multimodale Qwen VL (l'option d'interface utilisateur de la console est « Image Understanding »). Elles utilisent un format de package zip contenant un fichier de données textuelles d'entraînement data.jsonl et des fichiers image. data.jsonl doit être placé à la racine du package. Les messages de chaque enregistrement d'entraînement dans data.jsonl adoptent une structure de tableau content, dont les éléments contiennent un champ image (image) et un champ texte (text). Une structure de répertoire à niveau unique est recommandée. Pour les règles d'emballage, consultez la section Règles d'emballage des packages zip multimodaux.
  • Limites d'entrée d'image
  • Limites d'entrée vidéo
Les limites d'admission des images sont les suivantes :
  • La largeur et la hauteur d'une image unique ne doivent pas dépasser 1024 px.
  • Une image unique ne doit pas dépasser 10 Mo.
  • Formats pris en charge : bmp, jpeg, jpg, png, tif, tiff, webp.
resized_width et resized_height sont des paramètres optionnels de contrôle de mise à l'échelle cible utilisés pour spécifier les dimensions cibles de mise à l'échelle de l'image ; ils ne constituent pas la limite supérieure d'admission de l'image. La limite supérieure d'admission de l'image est que la largeur et la hauteur ne dépassent pas 1024 px et qu'une image unique ne dépasse pas 10 Mo. Les valeurs spécifiques pour l'admission des images sont soumises à l'affichage réel dans la console.Pour le calcul de la consommation de tokens pour les images, consultez la rubrique Compréhension d'images et de vidéos - Facturation et limites de débit.
Les exemples d'entraînement SFT pour images sont présentés dans les onglets ci-dessous :
  • ChatML standard
  • Réflexion (thinking)
  • Appel de fonction (function calling)
  • Entrée d'image
  • Mode chemin d'accès au fichier vidéo
  • Mode liste d'images
Exemple de format ChatML standard (dialogue multi-tours system/user/assistant) :
{
  "messages": [
    {"role": "system", "content": [{"text": "系统输入1"}]},
    {"role": "user", "content": [{"text": "用户输入1"}]},
    {"role": "assistant", "content": [{"text": "期望的模型输出1"}]},
    {"role": "user", "content": [{"text": "用户输入2"}]},
    {"role": "assistant", "content": [{"text": "期望的模型输出2"}]}
  ]
}
Pour la définition de la compréhension multimodale, consultez la rubrique Présentation de l'ajustement fin de modèle.

Règles de format de l'appel de fonction

Le mode d'appel de fonction ajoute des définitions d'outils et le mécanisme tool_calls/role:tool à la structure de messages multi-tours. Les contraintes de champ sont les suivantes :
  • tools : tableau de définition d'outils ; chaque élément contient type:"function" et function{name, description, parameters} ; parameters est un schéma JSON (contenant type/properties/required).
  • messages : tableau de dialogue multi-tours ; les rôles incluent user, assistant et tool.
  • content : tableau de contenu multimodal ; peut contenir des éléments image, text, video, etc. (cohérent avec le format de compréhension multimodale).
  • assistant.tool_calls : tableau d'appels d'outils générés par le modèle ; contient id, type:"function", function{name, arguments} ; arguments est une chaîne JSON.
  • role:"tool" : retour d'outil ; tool_call_id doit correspondre un-à-un avec le tool_calls[].id correspondant ; content contient le résultat du retour d'outil.
Le dernier message d'un dialogue multi-tours est généralement la réponse finale de l'assistant basée sur le retour d'outil. Bailian ne prend pas en charge les paramètres name et weight d'OpenAI ; toutes les sorties assistant seront entraînées. Les données d'entraînement migrées depuis OpenAI/Azure ne doivent pas contenir de champs name/weight. Recommandations sur la diversité et l'équilibre des données : la quantité de données dans chaque scénario doit être relativement équilibrée, et le ratio de données doit correspondre au ratio du scénario réel. Évitez d'avoir trop d'un type de données, ce qui amènerait le modèle à privilégier l'apprentissage des caractéristiques de ce type et affecterait sa capacité de généralisation.

Règles des balises de réflexion

Le contenu de réflexion est encapsulé dans les balises <think>\n…\n</think>\n\n et placé au sein du texte de sortie de l'assistant (appartenant au même dernier contenu de l'assistant que la réponse finale). Règles :
  • Elles doivent être placées uniquement dans la dernière sortie de l'assistant ; les sorties intermédiaires de l'assistant n'ajoutent pas de balises de réflexion.
  • Les sauts de ligne avant et après les balises de réflexion doivent être conservés.
  • Si les échantillons d'entraînement configurent le modèle pour qu'il n'émette pas de balises de réflexion, il n'est pas recommandé d'activer le mode de réflexion lors des appels une fois l'entraînement terminé.

Règles d'emballage des packages zip multimodaux

Les données d'entraînement pour la compréhension multimodale sont téléchargées sous forme de package zip via la page Add Dataset. L'emballage doit respecter les contraintes suivantes :
  • Le package zip prend en charge une taille maximale de 2 Go.
  • Le jeu de caractères autorisé pour les noms de dossiers et de fichiers à l'intérieur du package comprend les lettres ASCII (a-z, A-Z), les chiffres (0-9), les traits de soulignement (_) et les traits d'union (-).
  • Le fichier de données textuelles d'entraînement est fixé comme data.jsonl et doit se trouver dans le répertoire racine du package zip — assurez-vous qu'après extraction, l'ouverture directe du fichier zip affiche data.jsonl, sans dossier externe supplémentaire.
Les noms de fichiers image ou vidéo doivent être globalement uniques dans le package zip, même s'ils sont répartis dans différents dossiers. Dans data.jsonl, seul le nom du fichier doit être déclaré, et non le chemin d'accès — exemple correct : image1.jpg ; exemple incorrect : jpg_folder/image1.jpg. Le montage du stockage cloud ne prend pas en charge les packages zip. Lors du chargement d'un jeu de données via le montage du stockage cloud, vous devez télécharger le dossier du jeu de données non compressé dans son intégralité vers le Bucket OSS, et spécifier le chemin du fichier data.jsonl via file_path de MountStorage ; lorsque plusieurs fichiers sont inclus, seul le chemin de data.jsonl doit être spécifié, les autres fichiers du même répertoire étant montés automatiquement. Pour plus de détails sur le montage du stockage cloud, consultez Fine-tune with the API or CLI. Des exemples de nommage et la structure des répertoires sont présentés dans le bloc de code ci-dessous. Pour les opérations d'autorisation du montage du stockage cloud, consultez Fine-tune models in the console ; pour les opérations d'étiquetage d'importation depuis un Bucket OSS, consultez Jeu d'entraînement et jeu d'évaluation.
# 单层目录(推荐)
Trainingdata_vl.zip
  |--- data.jsonl        # 必须在根目录,外层不再包裹文件夹
  |--- image1.png
  |--- video1.mp4

# data.jsonl 内声明文件名(非路径)
# 正确:image1.jpg
# 错误:jpg_folder/image1.jpg
Accédez à la page Create dataset de la console pour télécharger le package zip multimodal et effectuer la validation de l'emballage.

Limites de taille et de quantité des fichiers

Les limites supérieures de taille et de quantité des fichiers chargés localement sont définies par la méthode d'entraînement et le scénario, comme détaillé dans le tableau spécifique au scénario ci-dessous. Pour les limites d'admission des images, consultez Compréhension visuelle - Format SFT ; pour les limites de format du jeu d'évaluation, consultez Format du jeu d'évaluation ; pour les limites d'ingestion par rétroaction des journaux, consultez Format du jeu d'évaluation. max_length prend des valeurs dans la plage de 500 à 131072 en tant que paramètre de configuration de la longueur de séquence d'entraînement, et non comme limite supérieure d'admission au téléchargement. La limite supérieure de la taille d'admission d'un seul enregistrement de données d'entraînement est soumise à l'affichage sur la page de la console. Les limites supérieures de taille et de quantité des fichiers chargés localement sont définies par la méthode d'entraînement et le scénario. Le volume de données recommandé correspond à la valeur minimale suggérée :

Méthode/scénario d'entraînement

Taille maximale d'un fichier unique

Nombre maximal de fichiers (maxCount)

Volume de données recommandé

Génération de texte - Format SFT

200 Mo

10 (par défaut)

Au moins plusieurs milliers d'échantillons

Génération de texte - Format DPO

200 Mo

10 (par défaut)

Au moins plusieurs centaines d'échantillons

Génération de texte - Format CPT

300 Mo

1

Au moins 50 millions de Tokens

Multimodal (zip)

2 Go

1

Préparez un nombre suffisant d'échantillons en fonction des scénarios réels

Nom de fichier (sans extension)

≤120 caractères et unique

—

—

Extension

Doit figurer dans la liste Create dataset

—

—

Quota de téléchargement via l'API

Le quota de téléchargement des fichiers d'ajustement fin via l'API DashScope (avec purpose étiqueté comme ajustement fin de modèle) est indiqué dans le tableau des quotas ci-dessous. Lors de la création d'un jeu de données dans la console, la liste File API permet de fusionner et d'enregistrer jusqu'à 10 fichiers ; les fichiers d'ajustement fin téléchargés via l'API sont visibles et utilisables à la fois sur la page d'ajustement fin de modèle de la console et lors des appels API. Contraintes pour le chargement des jeux de données via le montage du stockage cloud :
  • Spécifiez le chemin du manifeste du répertoire racine de data.jsonl via file_path de MountStorage ; les archives zip ne sont pas prises en charge.
  • Avant le montage, vous devez autoriser le service Bailian à accéder aux données OSS.
Gestion des dépassements et chiffrement :
  • Fichier unique dépassant 300 Mo : téléchargez via le montage du stockage cloud ou via le canal ZIP multimodal de 2 Go.
  • Dépassement du quota total : supprimez les fichiers historiques pour libérer de l'espace.
  • Les données importées activent automatiquement le chiffrement côté serveur OSS (SSE-OSS, AES256).
Pour plus de détails sur les appels API, l'authentification, le SDK, les codes d'erreur et les champs MountStorage, consultez Fine-tune with the API or CLI. Le quota de téléchargement des fichiers d'ajustement fin via l'API est le suivant :

Élément de quota

Limite

Description

Taille d'un fichier unique

Jusqu'à 300 Mo

Fichiers d'ajustement fin (à des fins d'ajustement fin de modèle)

Espace total des fichiers valides

100 Go

Cumul des fichiers non supprimés

Nombre total de fichiers valides

10000

Cumul des fichiers non supprimés

Durée de stockage des fichiers

Aucune limite de temps

N'expire pas automatiquement

Limite supérieure de la liste File API

10

Enregistrement fusionné lors de la création d'un jeu de données dans la console

Les différences entre l'importation OSS et le montage du stockage cloud sont comparées ci-dessous :

Dimension

Importation OSS

Montage du stockage cloud

Prérequis

Étiquette d'autorisation d'accès aux données Bailian

Autoriser le service Bailian à accéder aux données OSS

Forme des données

Fichiers uniques ou par lots

Dossier complet du jeu de données non compressé (zip non pris en charge)

Point d'entrée

Data Management > New Dataset > OSS Import

Model Fine-tuning > Create Training Task > Data Configuration > Dataset Mount

Jeu d'évaluation

✗

✗

Validation du téléchargement et erreurs courantes

Lors du téléchargement local de fichiers sur la page Add Dataset, la validation frontale rejette les fichiers qui ne respectent pas les règles d'admission et affiche une invite. Les rejets de validation courants et les scénarios d'erreur de téléchargement sont présentés dans les éléments repliables ci-dessous :
Cause : maxCount est défini par la méthode d'entraînement — SFT/DPO texte par défaut à 10, zip multimodal et CPT par défaut à 1. Le téléchargement de fichiers dépassant la limite supérieure correspondant à la méthode d'entraînement sera rejeté par l'interface frontale.Action : Procédez aux ajustements suivants et retéléchargez :
  1. Vérifiez la limite supérieure maxCount correspondant à la méthode d'entraînement actuelle ; pour plus de détails, consultez Limites de taille et de quantité des fichiers.
  2. Réduisez le nombre de fichiers pour rester dans la limite supérieure ; fusionnez les données multimodales en un seul zip, et les données CPT en un seul jsonl.
  3. Si le nombre de fichiers dépasse toujours la limite, divisez-les en plusieurs jeux de données et téléchargez-les par lots.
Cause : Le nom de fichier hors extension a une limite supérieure de 120 caractères et ne doit contenir que des lettres ASCII, des chiffres, des traits de soulignement et des traits d'union.Action : Procédez aux ajustements suivants et retéléchargez :
  1. Renommez le fichier afin que le nom de fichier (hors extension) soit réduit à moins de 120 caractères.
  2. Utilisez uniquement les caractères a-z/A-Z/0-9/_/- ; supprimez les caractères chinois et autres caractères non ASCII.
  3. Les noms de fichiers à l'intérieur d'une archive multimodale doivent également être globalement uniques.
Cause : Les noms de fichiers au sein d'un même jeu de données doivent être uniques hors extension ; la comparaison ignore l'extension.Action : Procédez aux ajustements suivants et retéléchargez :
  1. Vérifiez la présence de fichiers portant des noms identiques et renommez-les afin que la partie hors extension soit unique.
  2. Les fichiers portant le même nom mais avec des extensions différentes (par exemple, image.jpg et image.png) sont également considérés comme des doublons et doivent être différenciés simultanément.
  3. Les noms de fichiers à l'intérieur d'un zip multimodal doivent être globalement uniques, même s'ils sont répartis dans différents dossiers.
Cause : La limite supérieure de taille d'un fichier unique varie selon le scénario de la méthode d'entraînement — SFT/DPO texte 200 Mo, zip multimodal 2 Go, CPT 300 Mo.Action : Procédez aux ajustements suivants et retéléchargez :
  1. Vérifiez si la taille du fichier dépasse la limite supérieure de la méthode d'entraînement correspondante.
  2. Divisez le fichier jsonl en plusieurs fichiers pour un téléchargement par lots (SFT/DPO) ; la division des données CPT nécessite la création de plusieurs nouveaux jeux de données.
  3. Pour la méthode de gestion des dépassements lorsqu'un fichier unique dépasse 300 Mo, consultez Quota de téléchargement via l'API.
Cause : L'extension doit figurer dans la liste prise en charge — l'entraînement textuel utilise jsonl, les jeux d'évaluation se distinguent selon le format d'échantillon (prompt&completion utilise xls/xlsx, et ChatML-messages prend en charge jsonl/xls/xlsx), les images multimodales prennent en charge bmp/jpeg/jpg/png/tif/tiff/webp, et les vidéos multimodales prennent en charge mp4 et d'autres formats.Action : Procédez aux ajustements suivants et retéléchargez :
  1. Vérifiez si l'extension du fichier figure dans la liste prise en charge pour le scénario correspondant.
  2. Convertissez le fichier vers une extension prise en charge et repackagez-le pour le téléchargement.
  3. Les extensions d'image et de vidéo à l'intérieur d'un zip multimodal doivent chacune être conformes, sinon l'importation complète du package échoue.
Cause : Les causes courantes incluent l'absence d'étiquette Bucket, une anomalie dans l'autorisation d'accès OSS du service Bailian ou un format de fichier non conforme.Action : Effectuez le dépannage suivant et réessayez :
  1. Vérifiez que le Bucket OSS possède l'étiquette d'autorisation d'accès aux données Bailian ajoutée.
  2. Confirmez que le service Bailian a été autorisé à accéder aux données OSS.
  3. Vérifiez que data.jsonl et le format du fichier sont conformes aux règles d'emballage et retentez le téléchargement ; pour plus de détails, consultez Règles d'emballage des packages zip multimodaux.
Avis de risque lié aux opérations irréversibles :
  • Les opérations de publication et de suppression sont toutes deux irréversibles ; les versions publiées ne peuvent plus être modifiées, et seules les versions brouillon peuvent être supprimées ou modifiées en ligne.
  • Le type de jeu de données (jeu d'entraînement/jeu d'évaluation) ne peut pas être modifié ou interchangé après la création ; une sélection erronée nécessite la création d'un nouveau jeu de données et la réimportation de toutes les données.
  • Le changement de type de jeu de données, de scénario d'entraînement ou de méthode d'entraînement efface les fichiers téléchargés et réinitialise l'emplacement de stockage et la méthode d'importation.
La division automatique du jeu de validation extrait aléatoirement 10 % des données du jeu d'entraînement pour constituer le jeu de validation, réduisant ainsi le volume réel de données d'entraînement. Pour les petits jeux de données, un jeu de validation indépendant est recommandé ; pour les opérations de configuration du jeu de validation, consultez Fine-tune models in the console. Il est recommandé de télécharger d'abord le modèle de données correspondant au scénario ; la préparation des données selon la structure du modèle permet d'éviter les échecs d'importation. Pour les recommandations de téléchargement des modèles de données, consultez Vue d'ensemble. Le dépannage des problèmes courants est détaillé dans les éléments repliables ci-dessous. Pour les opérations de nettoyage et d'augmentation des données brouillon, consultez , et pour les domaines de données relatifs à la sécurité et à la conformité, consultez . En cas d'échec de la validation du téléchargement, accédez à la page New Dataset de la console pour vérifier le format des fichiers et les règles d'admission.