Décrit les spécifications de format, les exigences d'emballage, les limites de taille et de quantité, ainsi que les quotas de chargement via API pour les données d'ajustement fin des modèles de génération de texte. Ce document aide les utilisateurs à construire et charger des données d'entraînement SFT/DPO/CPT conformes, en fonction de la méthode d'entraînement.
Vue d'ensemble
Ce document décrit les spécifications de format, les exigences d'emballage, les limites de taille et de quantité, ainsi que les quotas de chargement via API pour les données d'ajustement fin des modèles de génération de texte. Le périmètre couvre l'ajustement fin des modèles de génération de texte (texte/image/vidéo → texte), incluant le texte brut SFT/DPO/CPT, la compréhension d'images et de vidéos Qwen VL, l'extraction de trames vidéo, l'appel de fonctions et la réflexion profonde. L'ajustement fin des modèles de génération vidéo (image → vidéo) n'est pas couvert.
Le type de jeu de données (jeu d'entraînement ou jeu d'évaluation) ne peut pas être modifié après sa création. La prise en charge de chaque méthode d'entraînement et élément est détaillée dans la matrice Matrice de prise en charge des méthodes d'entraînement et des éléments. Les règles de construction de format pour chaque combinaison sont décrites dans les chapitres correspondants ci-dessous.
Les opérations de gestion (paramètres de création, gestion des versions, règles de gestion du jeu d'évaluation, sélection de la méthode d'importation, nettoyage des données, sécurité et conformité) sont traitées dans les documents connexes ; consultez les rubriques Jeu d'entraînement et jeu d'évaluation, Présentation de l'ajustement fin de modèle, etc. Nous vous recommandons de télécharger le modèle de données correspondant au scénario sur la page de création du jeu de données et de préparer les données selon la structure du modèle afin d'éviter les échecs d'importation.
Pour des recommandations sur la construction de jeux de données (échelle de données recommandée, diversité et équilibre, stratégies d'augmentation des données), consultez la section Présentation de l'ajustement fin de modèle - Conseils pour la construction de jeux de données.
Matrice de prise en charge des méthodes d'entraînement et des éléments
Le jeu d'entraînement prend en charge trois méthodes d'entraînement : SFT, DPO et CPT. L'état de prise en charge de chaque méthode et élément est indiqué dans le tableau matriciel ci-dessous. L'ordre d'ajustement fin recommandé est CPT (optionnel) → SFT → DPO (optionnel) ; ces trois méthodes sont progressives et non mutuellement exclusives.
Disponibilité par région :
- SFT, le chargement local, la rétroaction des journaux, le chargement via API et les formats de données multimodaux sont pris en charge dans toutes les régions.
- DPO, CPT, l'importation depuis OSS et le montage du stockage cloud sont uniquement pris en charge dans la région de Pékin.
Méthode d'entraînement | Génération de texte | Compréhension visuelle - Entrée image | Compréhension visuelle - Entrée vidéo (qwen3.5+) | Compréhension visuelle - Appel d'outil (qwen3.5+) | Réflexion profonde |
|---|---|---|---|---|---|
✓ | ✓ | ✓ | ✓ | ✓ | |
✓ | ✗ | ✗ | ✗ | ✓ | |
✓ | ✗ | ✗ | ✗ | ✗ | |
✓ | ✗ | ✗ | ✗ | ✗ |
Génération de texte - Format SFT
Les données d'entraînement SFT pour la génération de texte utilisent le format de fichier jsonl, basé sur la structure multi-tours ChatML messages.
- Prend en charge trois rôles : system, user et assistant. Le champ content est une chaîne (pour la structure de tableau content dans les scénarios multimodaux, voir le chapitre correspondant au format multimodal).
- La taille maximale d'un fichier unique est de 200 Mo.
- Un jeu de données peut mélanger des lignes de différents formats — chaque enregistrement sélectionne indépendamment un format, sans nécessité d'uniformiser vers un seul format.
- Formats disponibles : dialogue standard, réflexion profonde, appel de fonction et appel de fonction combiné avec réflexion (voir les onglets d'exemples ci-dessous).
- ChatML standard
- Réflexion profonde (thinking)
- Appel de fonction
Utilisation avancée
-
Le paramètre
loss_weightest pris en charge, avec une plage de valeurs de(0.0, 1.0]; plus la valeur est élevée, plus l'importance de cet enregistrement lors de l'entraînement est grande.Pris en charge par défaut sur les modèles Qwen3.5 et ultérieurs ; pour activer la prise en charge pour les modèles des séries Qwen3 et Qwen2.5, contactez votre gestionnaire de compte.
Règles des balises de réflexion
Le contenu de réflexion est encapsulé dans les balises <think>\n…\n</think>\n\n et placé à l'intérieur du texte de sortie de l'assistant (partageant le même dernier contenu assistant que la réponse finale). Règles :
- Il ne peut être placé que dans la dernière sortie de l'assistant ; les sorties intermédiaires de l'assistant ne doivent pas inclure de balises de réflexion.
- Les sauts de ligne avant et après la balise de réflexion doivent être conservés.
- Si un échantillon d'entraînement est configuré pour que le modèle ne produise pas de balises de réflexion, il n'est pas recommandé de réactiver le mode de réflexion lors de l'appel au modèle après l'entraînement.
Format du jeu d'évaluation
Le jeu d'évaluation ne sert que les scénarios de génération de texte et est indépendant de la méthode d'entraînement SFT/DPO/CPT — les modèles entraînés avec DPO/CPT utilisent également le jeu d'évaluation de génération de texte pour l'évaluation, sans distinction selon la méthode d'entraînement.
Le jeu d'évaluation prend en charge deux formats d'échantillons, sélectionnés via le scénario d'entraînement du format de données lors de la création du jeu de données :
- Text generation (prompt&completion) : format mono-tour. Chaque échantillon se compose d'un Prompt (question de l'utilisateur) et d'un Completion (réponse de référence). Le chargement local ne prend en charge que les fichiers xls et xlsx (20 Mo maximum par fichier) ; la structure des colonnes est disponible dans le modèle de données fourni par la console.
- Text generation (ChatML-messages) : format de dialogue multi-tours. Chaque échantillon est un tableau messages composé de messages des rôles system, user et assistant, la réponse de référence étant le dernier message assistant de messages. Le chargement local prend en charge les fichiers jsonl, xls et xlsx (200 Mo maximum par fichier) ; un fichier d'exemple peut être téléchargé lors de la création du jeu de données.
- messages : le tableau de messages. Le message system est facultatif et placé en premier ; les messages user et assistant alternent ; pour un dialogue multi-tours, continuez d'ajouter des paires de messages user/assistant, le dernier message assistant étant la réponse de référence de l'échantillon.
- Le content d'un message assistant peut contenir le contenu de réflexion du modèle : le texte de réflexion est placé avant la réponse et séparé par le marqueur
</think>(utilisé lors de l'évaluation de modèles de raisonnement). - extra : champ d'extension personnalisé facultatif, prenant en charge les types objet, tableau et numérique, permettant d'attacher des données personnalisées aux échantillons selon les besoins métier.
- Méthodes d'ingestion : chargement local et rétroaction des journaux ; l'importation depuis Object Storage Service (OSS) et le montage du stockage cloud ne sont pas pris en charge.
- Seules les versions brouillon créées précédemment prennent en charge l'édition en ligne (Prompt/Completion) ; les versions publiées ne peuvent pas être modifiées.
- Pour les jeux de données au format ChatML, l'aperçu du fichier dans le détail du jeu de données présente le contenu messages complet de chaque échantillon jsonl.
- La plage de journaux prise en charge s'étend sur les 30 derniers jours.
- Maximum de 100 000 enregistrements par importation.
- Vous devez autoriser le rôle lié au service et spécifier la clé API ainsi que les conditions de filtrage du modèle.
- Le jeu d'entraînement est uniquement disponible pour les scénarios SFT de génération de texte (le jeu d'évaluation de génération de texte est également pris en charge).
Génération de texte - Format DPO
Les données d'entraînement DPO pour la génération de texte utilisent le format jsonl. Basé sur la structure multi-tours ChatML messages, il contient en outre deux sorties assistant contrastées, chosen et rejected, pour l'entraînement à l'alignement des préférences. Tout le contenu dans messages est utilisé comme entrée, et DPO est utilisé pour entraîner le modèle sur les retours positifs/négatifs concernant la dernière entrée utilisateur. Pour les règles de la structure multi-tours messages, consultez la section Génération de texte - Format SFT.
Pour le contenu de réflexion profonde, la sortie assistant chosen ou rejected peut être encapsulée avec des balises de réflexion. La balise de réflexion ne peut être placée que dans la dernière ligne assistant. Pour les règles, consultez la section Génération de texte - Format SFT.
Le paramètre loss_weight (sur invitation uniquement) prend en charge le module chosen. La plage de valeurs va de 0.0 à 1.0 ; plus la valeur est élevée, plus l'importance de l'entraînement est grande. Pour plus de détails, consultez la section Génération de texte - Format SFT.
La limite de taille de fichier unique pour les données d'entraînement DPO est de 200 Mo, cohérente avec la génération de texte SFT. Pour la définition de DPO, consultez la rubrique Présentation de l'ajustement fin de modèle. Pour les opérations de gestion des versions et de publication, consultez la rubrique Jeu d'entraînement et jeu d'évaluation.
Consultez le bloc de code ci-dessous pour un exemple de données d'entraînement DPO pour la génération de texte :
- ChatML standard
- Réflexion profonde (thinking)
Génération de texte - Format CPT
Les données d'entraînement CPT pour la génération de texte utilisent le format de texte brut jsonl, avec un objet jsonl par ligne, structuré comme {text}, où le champ text est un contenu en texte brut. Pour les règles de la structure multi-tours messages, consultez la section Génération de texte - Format SFT.
Contraintes des données d'entraînement CPT :
- Un minimum de 50 millions de Tokens est recommandé, et la limite de taille de fichier unique est de 300 Mo.
Compréhension visuelle - Format SFT
Les données d'entraînement SFT pour images sont utilisées pour la compréhension multimodale Qwen VL (l'option d'interface utilisateur de la console est « Image Understanding »). Elles utilisent un format de package zip contenant un fichier de données textuelles d'entraînement data.jsonl et des fichiers image. data.jsonl doit être placé à la racine du package. Les messages de chaque enregistrement d'entraînement dans data.jsonl adoptent une structure de tableau content, dont les éléments contiennent un champ image (image) et un champ texte (text). Une structure de répertoire à niveau unique est recommandée. Pour les règles d'emballage, consultez la section Règles d'emballage des packages zip multimodaux.
- Limites d'entrée d'image
- Limites d'entrée vidéo
- La largeur et la hauteur d'une image unique ne doivent pas dépasser 1024 px.
- Une image unique ne doit pas dépasser 10 Mo.
- Formats pris en charge : bmp, jpeg, jpg, png, tif, tiff, webp.
- ChatML standard
- Réflexion (thinking)
- Appel de fonction (function calling)
- Entrée d'image
- Mode chemin d'accès au fichier vidéo
- Mode liste d'images
Règles de format de l'appel de fonction
Le mode d'appel de fonction ajoute des définitions d'outils et le mécanisme tool_calls/role:tool à la structure de messages multi-tours. Les contraintes de champ sont les suivantes :
- tools : tableau de définition d'outils ; chaque élément contient type:"function" et function{name, description, parameters} ; parameters est un schéma JSON (contenant type/properties/required).
- messages : tableau de dialogue multi-tours ; les rôles incluent user, assistant et tool.
- content : tableau de contenu multimodal ; peut contenir des éléments image, text, video, etc. (cohérent avec le format de compréhension multimodale).
- assistant.tool_calls : tableau d'appels d'outils générés par le modèle ; contient id, type:"function", function{name, arguments} ; arguments est une chaîne JSON.
- role:"tool" : retour d'outil ; tool_call_id doit correspondre un-à-un avec le tool_calls[].id correspondant ; content contient le résultat du retour d'outil.
Règles des balises de réflexion
Le contenu de réflexion est encapsulé dans les balises <think>\n…\n</think>\n\n et placé au sein du texte de sortie de l'assistant (appartenant au même dernier contenu de l'assistant que la réponse finale). Règles :
- Elles doivent être placées uniquement dans la dernière sortie de l'assistant ; les sorties intermédiaires de l'assistant n'ajoutent pas de balises de réflexion.
- Les sauts de ligne avant et après les balises de réflexion doivent être conservés.
- Si les échantillons d'entraînement configurent le modèle pour qu'il n'émette pas de balises de réflexion, il n'est pas recommandé d'activer le mode de réflexion lors des appels une fois l'entraînement terminé.
Règles d'emballage des packages zip multimodaux
Les données d'entraînement pour la compréhension multimodale sont téléchargées sous forme de package zip via la page Add Dataset. L'emballage doit respecter les contraintes suivantes :
- Le package zip prend en charge une taille maximale de 2 Go.
- Le jeu de caractères autorisé pour les noms de dossiers et de fichiers à l'intérieur du package comprend les lettres ASCII (a-z, A-Z), les chiffres (0-9), les traits de soulignement (_) et les traits d'union (-).
- Le fichier de données textuelles d'entraînement est fixé comme data.jsonl et doit se trouver dans le répertoire racine du package zip — assurez-vous qu'après extraction, l'ouverture directe du fichier zip affiche data.jsonl, sans dossier externe supplémentaire.
Limites de taille et de quantité des fichiers
Les limites supérieures de taille et de quantité des fichiers chargés localement sont définies par la méthode d'entraînement et le scénario, comme détaillé dans le tableau spécifique au scénario ci-dessous. Pour les limites d'admission des images, consultez Compréhension visuelle - Format SFT ; pour les limites de format du jeu d'évaluation, consultez Format du jeu d'évaluation ; pour les limites d'ingestion par rétroaction des journaux, consultez Format du jeu d'évaluation.
max_length prend des valeurs dans la plage de 500 à 131072 en tant que paramètre de configuration de la longueur de séquence d'entraînement, et non comme limite supérieure d'admission au téléchargement. La limite supérieure de la taille d'admission d'un seul enregistrement de données d'entraînement est soumise à l'affichage sur la page de la console.
Les limites supérieures de taille et de quantité des fichiers chargés localement sont définies par la méthode d'entraînement et le scénario. Le volume de données recommandé correspond à la valeur minimale suggérée :
Méthode/scénario d'entraînement | Taille maximale d'un fichier unique | Nombre maximal de fichiers (maxCount) | Volume de données recommandé |
|---|---|---|---|
Génération de texte - Format SFT | 200 Mo | 10 (par défaut) | Au moins plusieurs milliers d'échantillons |
Génération de texte - Format DPO | 200 Mo | 10 (par défaut) | Au moins plusieurs centaines d'échantillons |
Génération de texte - Format CPT | 300 Mo | 1 | Au moins 50 millions de Tokens |
Multimodal (zip) | 2 Go | 1 | Préparez un nombre suffisant d'échantillons en fonction des scénarios réels |
Nom de fichier (sans extension) | ≤120 caractères et unique | — | — |
Extension | Doit figurer dans la liste Create dataset | — | — |
Quota de téléchargement via l'API
Le quota de téléchargement des fichiers d'ajustement fin via l'API DashScope (avec purpose étiqueté comme ajustement fin de modèle) est indiqué dans le tableau des quotas ci-dessous. Lors de la création d'un jeu de données dans la console, la liste File API permet de fusionner et d'enregistrer jusqu'à 10 fichiers ; les fichiers d'ajustement fin téléchargés via l'API sont visibles et utilisables à la fois sur la page d'ajustement fin de modèle de la console et lors des appels API.
Contraintes pour le chargement des jeux de données via le montage du stockage cloud :
- Spécifiez le chemin du manifeste du répertoire racine de data.jsonl via file_path de MountStorage ; les archives zip ne sont pas prises en charge.
- Avant le montage, vous devez autoriser le service Bailian à accéder aux données OSS.
- Fichier unique dépassant 300 Mo : téléchargez via le montage du stockage cloud ou via le canal ZIP multimodal de 2 Go.
- Dépassement du quota total : supprimez les fichiers historiques pour libérer de l'espace.
- Les données importées activent automatiquement le chiffrement côté serveur OSS (SSE-OSS, AES256).
Élément de quota | Limite | Description |
|---|---|---|
Taille d'un fichier unique | Jusqu'à 300 Mo | Fichiers d'ajustement fin (à des fins d'ajustement fin de modèle) |
Espace total des fichiers valides | 100 Go | Cumul des fichiers non supprimés |
Nombre total de fichiers valides | 10000 | Cumul des fichiers non supprimés |
Durée de stockage des fichiers | Aucune limite de temps | N'expire pas automatiquement |
Limite supérieure de la liste File API | 10 | Enregistrement fusionné lors de la création d'un jeu de données dans la console |
Dimension | Importation OSS | Montage du stockage cloud |
|---|---|---|
Prérequis | Étiquette d'autorisation d'accès aux données Bailian | Autoriser le service Bailian à accéder aux données OSS |
Forme des données | Fichiers uniques ou par lots | Dossier complet du jeu de données non compressé (zip non pris en charge) |
Point d'entrée | Data Management > New Dataset > OSS Import | Model Fine-tuning > Create Training Task > Data Configuration > Dataset Mount |
Jeu d'évaluation | ✗ | ✗ |
Validation du téléchargement et erreurs courantes
Lors du téléchargement local de fichiers sur la page Add Dataset, la validation frontale rejette les fichiers qui ne respectent pas les règles d'admission et affiche une invite. Les rejets de validation courants et les scénarios d'erreur de téléchargement sont présentés dans les éléments repliables ci-dessous :
Problème : lors du téléchargement de fichiers, l'interface frontale indique que le nombre de fichiers dépasse la limite supérieure et les fichiers sont rejetés.
Problème : lors du téléchargement de fichiers, l'interface frontale indique que le nombre de fichiers dépasse la limite supérieure et les fichiers sont rejetés.
- Vérifiez la limite supérieure maxCount correspondant à la méthode d'entraînement actuelle ; pour plus de détails, consultez Limites de taille et de quantité des fichiers.
- Réduisez le nombre de fichiers pour rester dans la limite supérieure ; fusionnez les données multimodales en un seul zip, et les données CPT en un seul jsonl.
- Si le nombre de fichiers dépasse toujours la limite, divisez-les en plusieurs jeux de données et téléchargez-les par lots.
Problème : la longueur du nom de fichier (hors extension) dépasse 120 caractères et l'interface frontale rejette le téléchargement.
Problème : la longueur du nom de fichier (hors extension) dépasse 120 caractères et l'interface frontale rejette le téléchargement.
- Renommez le fichier afin que le nom de fichier (hors extension) soit réduit à moins de 120 caractères.
- Utilisez uniquement les caractères a-z/A-Z/0-9/_/- ; supprimez les caractères chinois et autres caractères non ASCII.
- Les noms de fichiers à l'intérieur d'une archive multimodale doivent également être globalement uniques.
Problème : des noms de fichiers sont dupliqués (comparaison hors extension) et l'interface frontale rejette le téléchargement.
Problème : des noms de fichiers sont dupliqués (comparaison hors extension) et l'interface frontale rejette le téléchargement.
- Vérifiez la présence de fichiers portant des noms identiques et renommez-les afin que la partie hors extension soit unique.
- Les fichiers portant le même nom mais avec des extensions différentes (par exemple, image.jpg et image.png) sont également considérés comme des doublons et doivent être différenciés simultanément.
- Les noms de fichiers à l'intérieur d'un zip multimodal doivent être globalement uniques, même s'ils sont répartis dans différents dossiers.
Problème : la taille d'un fichier unique dépasse la limite supérieure de la méthode d'entraînement correspondante et l'interface frontale rejette le téléchargement.
Problème : la taille d'un fichier unique dépasse la limite supérieure de la méthode d'entraînement correspondante et l'interface frontale rejette le téléchargement.
- Vérifiez si la taille du fichier dépasse la limite supérieure de la méthode d'entraînement correspondante.
- Divisez le fichier jsonl en plusieurs fichiers pour un téléchargement par lots (SFT/DPO) ; la division des données CPT nécessite la création de plusieurs nouveaux jeux de données.
- Pour la méthode de gestion des dépassements lorsqu'un fichier unique dépasse 300 Mo, consultez Quota de téléchargement via l'API.
Problème : l'extension du fichier ne figure pas dans la liste supportedExtension et l'interface frontale affiche un avertissement et rejette le téléchargement.
Problème : l'extension du fichier ne figure pas dans la liste supportedExtension et l'interface frontale affiche un avertissement et rejette le téléchargement.
- Vérifiez si l'extension du fichier figure dans la liste prise en charge pour le scénario correspondant.
- Convertissez le fichier vers une extension prise en charge et repackagez-le pour le téléchargement.
- Les extensions d'image et de vidéo à l'intérieur d'un zip multimodal doivent chacune être conformes, sinon l'importation complète du package échoue.
Problème : lors du téléchargement OSS, le fichier passe au statut d'erreur et le téléchargement n'est pas terminé.
Problème : lors du téléchargement OSS, le fichier passe au statut d'erreur et le téléchargement n'est pas terminé.
- Vérifiez que le Bucket OSS possède l'étiquette d'autorisation d'accès aux données Bailian ajoutée.
- Confirmez que le service Bailian a été autorisé à accéder aux données OSS.
- Vérifiez que data.jsonl et le format du fichier sont conformes aux règles d'emballage et retentez le téléchargement ; pour plus de détails, consultez Règles d'emballage des packages zip multimodaux.
- Les opérations de publication et de suppression sont toutes deux irréversibles ; les versions publiées ne peuvent plus être modifiées, et seules les versions brouillon peuvent être supprimées ou modifiées en ligne.
- Le type de jeu de données (jeu d'entraînement/jeu d'évaluation) ne peut pas être modifié ou interchangé après la création ; une sélection erronée nécessite la création d'un nouveau jeu de données et la réimportation de toutes les données.
- Le changement de type de jeu de données, de scénario d'entraînement ou de méthode d'entraînement efface les fichiers téléchargés et réinitialise l'emplacement de stockage et la méthode d'importation.