Le reflux des journaux convertit les journaux d'inférence SLS (Simple Log Service) en jeux de données structurés exploitables pour le fine-tuning ou l'évaluation de modèles.
Présentation de la fonctionnalité
La fonctionnalité de reflux des journaux récupère les données de journaux d'inférence depuis SLS (Simple Log Service) vers la plateforme Bailian, les formate et génère des jeux de données structurés (au format JSONL). Ces jeux de données servent ensuite au fine-tuning ou à l'évaluation des modèles. Le reflux produit des données structurées et non une simple copie brute des journaux d'origine.
Périmètre
Le reflux des journaux permet de créer deux types de jeux de données :
- Training set : Conçu pour le scénario de génération de texte, ce jeu de données prend en charge les méthodes d'entraînement SFT (Supervised Fine-Tuning).
- Evaluation set : Destiné au scénario de génération de texte.
Activer et autoriser les services associés
Avant d'utiliser le reflux des journaux, assurez-vous que la région actuelle est China (Beijing) ou Singapore (l'option de reflux des journaux n'est pas affichée dans les autres régions), puis effectuez l'activation du service et l'autorisation des permissions sur la page Model monitoring. Une fois toutes les étapes terminées, le tiroir de configuration d'autorisation se ferme automatiquement et vous accédez au formulaire de reflux des journaux.

Activer les journaux d'audit et les journaux d'inférence
L'activation des journaux d'audit et des journaux d'inférence nécessite chacune trois étapes. Le reflux des journaux n'est disponible que lorsque ces six conditions sont remplies. Les journaux d'audit étant un prérequis aux journaux d'inférence, vous devez impérativement terminer toutes les étapes relatives aux journaux d'audit en premier.
Journaux d'audit
- Autorisez le rôle lié au service SLS : cliquez sur Authorize Now pour autoriser le rôle AliyunServiceRoleForSFMAccessSLS. En l'absence d'autorisation, un libellé rouge Not Authorized s'affiche.
- Activez SLS Log Service : si le service n'est pas activé, un statut Not Activated ainsi qu'un lien de redirection apparaissent. Cliquez sur ce lien pour accéder à la console SLS et finaliser l'activation.
- Activez les journaux d'audit : cliquez sur Create and Enable Audit Logs. Le système crée alors une instance LogStore et interroge son état jusqu'à ce qu'elle soit opérationnelle (délai maximal de 60 secondes).
- Autorisez le rôle lié au service SLS pour les journaux d'inférence.
- Vérifiez que SLS Log Service est bien activé.
- Activez les journaux d'inférence : si les journaux d'audit ne sont pas activés, ce bouton est grisé. Vous devez d'abord activer les journaux d'audit.
Nom du rôle | Objectif | Moment de l'autorisation |
|---|---|---|
AliyunServiceRoleForSFMAccessSLS | Accès de Bailian aux données de journaux SLS | Autorisé une fois pour les journaux d'audit et une fois pour les journaux d'inférence |
Créer un jeu de données de reflux des journaux
Trois points d'entrée permettent d'accéder au reflux des journaux, chacun menant au formulaire de configuration pour créer un jeu de données :
- Page de liste de surveillance des modèles
- Page de détails de surveillance des modèles
- Page de gestion des données

Configurer les paramètres de reflux
Une fois dans le formulaire de reflux des journaux, configurez les paramètres suivants de haut en bas. Certains paramètres ont des prérequis : le filtrage par clé API nécessite d'avoir d'abord sélectionné une plage horaire, et la sélection du modèle requiert à la fois une plage horaire et une clé API. Toute modification de la plage horaire, du type de données, du scénario d'entraînement ou de la méthode d'entraînement entraîne la réinitialisation en cascade d'autres paramètres. Il est donc recommandé de remplir le formulaire strictement dans l'ordre. Les valeurs des paramètres sont décrites dans le tableau ci-dessous.
Data management : le système affiche le nombre estimé d'entrées de données de reflux en fonction des conditions de filtrage. Si ce nombre dépasse 100 000, un avertissement rouge s'affiche et le surplus ne sera pas inclus dans le reflux. Lorsque les résultats de la requête sont trop nombreux, le bouton Log Backflow est désactivé ; vous devez alors restreindre la plage de filtrage.
Paramètre | Description | Obligatoire | Description des valeurs |
|---|---|---|---|
Emplacement du reflux | Mode de stockage du jeu de données | Oui | Stockage sur la plateforme (par défaut). Non modifiable après la création |
Nom du jeu de données | Nom d'affichage du jeu de données dans la liste | Oui | Caractères chinois, anglais, chiffres, traits de soulignement, barres obliques et tirets, jusqu'à 50 caractères. Format de nommage recommandé : fonction_scénario_nom_modèle_date. Non modifiable après la création |
Description du jeu de données | Description complémentaire de l'objectif du jeu de données | Non | Jusqu'à 200 caractères |
Type et format | Type d'usage du jeu de données | Oui | Jeu d'entraînement ou jeu d'évaluation. Lorsque le jeu d'évaluation est sélectionné, le scénario d'entraînement et la méthode d'entraînement sont masqués. Non modifiable après la création |
Scénario d'entraînement | Type de scénario d'entraînement (affiché uniquement pour les jeux d'entraînement) | Oui | Actuellement, seule la génération de texte est prise en charge |
Méthode d'entraînement | Méthode de fine-tuning (affichée uniquement pour les jeux d'entraînement) | Oui | SFT ; les options sont affichées dynamiquement par le système. Verrouillé après la création |
Plage horaire | Période des journaux à refluer | Oui | 30 derniers jours (aujourd'hui inclus), précision à l'heure, la minute et la seconde. Toute modification réinitialise la clé API et la sélection du modèle |
Filtre de clé API | Filtrer les données de journal par clé API | Oui | All (aucun filtre), Other (exclut les clés listées) ou sélection de clés spécifiques (sélection multiple) |
Sélection du modèle | Modèles cibles pour le reflux | Oui | Jusqu'à 10. Les modèles ne correspondant pas au filtre de type de capacité sont grisés |
Consulter les résultats du reflux
Après avoir soumis une tâche de reflux des journaux, consultez le jeu de données et la progression de l'importation sur la page de liste de gestion des données.

Affichage sur la page de liste
Pour les jeux de données créés par reflux des journaux, la méthode d'importation apparaît sous le libellé OK sur la page de liste. L'emplacement de stockage s'affiche comme All selon le choix effectué lors de la création.
La page de liste permet de suivre l'état d'importation de la tâche. En cas d'échec, le motif spécifique retourné par le système est consultable.
En mode de stockage sur la plateforme, le système publie automatiquement la version du jeu de données une fois l'importation terminée, sans aucune intervention manuelle.
Informations de la page de détails
Les informations affichées sur la page de détails du jeu de données varient selon le mode de stockage :
- Log Ingestion : affiche l'état de publication, le volume de données, la date de création, le FileID, le type de données, l'état d'importation et l'adresse d'importation OSS.
- Autres cas : affiche l'état de publication, le volume de données, la date de création, le FileID, le type de données et l'état d'importation.
Ajouter des données de reflux des journaux
Sur la page Data management, vous pouvez ajouter un nouveau lot de données de reflux des journaux à un jeu de données existant selon deux méthodes :
- Page d'importation des données
- Boîte de dialogue d'ajout de version
Bonnes pratiques pour le reflux incrémentiel
Il est recommandé de procéder par lots, en ciblant séparément différentes périodes ou différents modèles, afin de constituer progressivement des jeux d'entraînement de haute qualité. Chaque lot peut sélectionner avec précision les modèles performants et les données issues des heures de pointe métier, garantissant ainsi une qualité supérieure à celle d'un reflux unique massif.
FAQ
Quelles requêtes sont incluses dans « Other » du filtre de clé API ?
Quelles requêtes sont incluses dans « Other » du filtre de clé API ?
La limite de 100 000 entrées s'applique-t-elle au volume total du jeu de données ?
La limite de 100 000 entrées s'applique-t-elle au volume total du jeu de données ?
Les journaux d'audit et les journaux d'inférence correspondent-ils à la même opération ?
Les journaux d'audit et les journaux d'inférence correspondent-ils à la même opération ?
Pourquoi le volume de données estimé ne correspond-il pas aux résultats réels du reflux ?
Pourquoi le volume de données estimé ne correspond-il pas aux résultats réels du reflux ?