Pour les scénarios d'inférence ne nécessitant pas de réponse en temps réel, l'inférence par lot traite de manière asynchrone de grands volumes de requêtes à 50 % du coût de l'inférence en temps réel, via une API compatible OpenAI. Elle est idéale pour les traitements par lot tels que l'évaluation de modèles et l'étiquetage des données.
Fonctionnement
- Soumission de la tâche : téléchargez un fichier JSONL contenant plusieurs requêtes pour créer une tâche d'inférence par lot.
- Traitement asynchrone : le système traite la tâche dans une file d'attente en arrière-plan. Vous pouvez consulter la progression et l'état de la tâche via la console ou l'API.
- Téléchargement des résultats : une fois la tâche terminée, le système génère un fichier de résultats (consignant les réponses réussies) et un fichier d'erreurs (consignant, le cas échéant, les détails des échecs).
Périmètre d'application
- Singapour
- Chine (Pékin)
-
Modèles de génération de texte
- Qwen Max : qwen3.8-max, qwen-max
- Qwen Plus : qwen3.7-plus, qwen-plus
- Qwen Flash : qwen-flash
-
Modèles multimodaux
- Compréhension d'images et de vidéos : qwen3.8-max, qwen3.7-plus
Utiliser l'inférence par lot
Étape 1 : Préparer le fichier d'entrée
Avant de créer une tâche, préparez un fichier JSONL conforme aux spécifications suivantes :
- Format : JSONL encodé en UTF-8 (un objet JSON indépendant par ligne).
-
Limites de taille : jusqu'à 50 000 requêtes et 500 Mo par fichier.
Si votre volume de données dépasse ces limites, divisez-le en plusieurs tâches et soumettez-les séparément.
- Limite par ligne : chaque objet JSON doit faire au maximum 1 Mo et ne doit pas dépasser la longueur de contexte du modèle.
- Exigence de cohérence : toutes les requêtes d'un même fichier doivent utiliser le même modèle.
-
Identifiant unique : chaque requête doit inclure un champ custom_id unique au sein du fichier, utilisé pour la correspondance des résultats.
custom_idaccepte jusqu'à 256 caractères ; au-delà de cette limite, la validation de la tâche échoue. Pour transmettre des informations d'identifiant plus longues, utilisez un champ personnalisé demetadatalors de la création de la tâche. Pour plus d'informations, consultez Utiliser metadata pour renvoyer des identifiants personnalisés. -
Adresses des fichiers multimédias : les fichiers multimédias référencés via des champs tels que
image_urletvideo_urldans lebodydes requêtes multimodales doivent utiliser des URL accessibles publiquement. Les chemins de fichiers locaux (tels quefile:///home/user/test.mp4) et les adresses intranet ne sont pas pris en charge. Les tâches créées avec de telles adresses peuvent être envoyées avec succès mais ne seront jamais traitées jusqu'à leur terme. Téléchargez d'abord les fichiers vers un stockage accessible publiquement, puis référencez leurs URL.
Champ | Type | Obligatoire | Description |
|---|---|---|---|
| string | Oui | Identifiant unique de la requête |
| string | Oui | Méthode HTTP ; seul |
| string | Oui | Endpoint de la requête. Saisissez |
| object | Oui | Corps de la requête, dont le format est identique à celui de l'API correspondant à l' |
Fichier d'exemple
Vous pouvez télécharger le fichier d'exemple test_model.jsonl, qui contient :
Utilisation
- Enregistrez le code suivant sous
generate_batch_jsonl.py - Modifiez le contenu des requêtes dans la liste
TASKSdu script - Exécutez
python generate_batch_jsonl.py - Le fichier
batch_input.jsonlgénéré peut être utilisé directement pour les tâches d'inférence par lot
Script de génération JSONL pour les modèles de génération de texte
Format de requête des modèles multimodaux
Le champcontent des modèles multimodaux est au format tableau et contient des objets multimédias ainsi que des questions textuelles. Les URL de médias de chaque ligne de requête doivent être du même type (image, vidéo ou audio). Remplacez TASKS dans le script ci-dessus par le format suivant :
Format de requête des modèles d'embedding de texte
Les modèles d'embedding de texte utilisent l'API/v1/embeddings et leur format de requête diffère de celui des modèles de génération de texte. Vous pouvez utiliser le script autonome suivant pour le générer :
Configurer le mode de réflexion dans l'inférence par lot
Certains modèles (tels que qwen3.7-plus, qwen3.7-max ainsi que les séries qwen3.6 et qwen3.5) ont le mode réflexion activé par défaut, ce qui génère des tokens de réflexion supplémentaires. Pour configurer le mode réflexion dans l'inférence par lot, définissez le paramètre enable_thinking dans le body de chaque ligne de requête du fichier JSONL, en le plaçant au même niveau que model. Le paramètre facultatif thinking_budget permet de limiter le nombre maximal de tokens de réflexion.
Exemple : désactiver le mode de réflexion
Étape 2 : Créer une tâche d'inférence par lot
- Sur la page **Inférence par lot**, cliquez sur Create Batch.
-
Dans la boîte de dialogue qui s'affiche : saisissez le Task Name et la Task Description, définissez le Maximum Waiting Time (1 à 14 jours), puis chargez un fichier JSONL.
Vous pouvez cliquer sur Download Sample File pour obtenir un modèle.
- Une fois le formulaire rempli, cliquez sur Confirm.
Étape 3 : Surveiller et gérer les tâches
-
Consultation :
- Sur la page des tâches, consultez la progression (nombre de requêtes traitées / nombre total de requêtes) et le statut d'une tâche.
- Recherchez par nom ou ID de tâche, ou filtrez par espace de travail pour localiser rapidement la tâche souhaitée.
-
Gestion :
- Annulation : les tâches à l'état « Running » peuvent être annulées depuis la colonne Actions.
Étape 4 : Télécharger les résultats
Une fois la tâche terminée, cliquez sur View Results pour télécharger les fichiers de sortie :
- Fichier de résultats : consigne toutes les requêtes réussies ainsi que leurs résultats
response. - Fichier d'erreurs (le cas échéant) : consigne toutes les requêtes ayant échoué ainsi que leurs détails
error.
custom_id, utilisé pour faire correspondre les données d'entrée d'origine, associer les résultats ou localiser les erreurs.
Étape 5 : Consulter les statistiques d'utilisation (facultatif)
Sur la page Monitoring, filtrez et consultez les statistiques d'utilisation de l'inférence par lot.
-
Consulter la vue d'ensemble des données : sélectionnez une période (jusqu'à 30 jours), définissez Inference Type sur Batch Inference, et vous pourrez consulter :
- Données de surveillance : statistiques récapitulatives de tous les modèles sur la période sélectionnée, telles que le nombre total d'appels et le nombre total d'échecs.
- Modèles : données détaillées de chaque modèle, telles que le nombre total d'appels, le taux d'échec et la durée moyenne d'appel.
Pour consulter des données d'inférence de plus de 30 jours, accédez à la page Bill.
-
Consulter les détails d'un modèle : dans la liste Modèles, cliquez sur Monitoring dans la colonne Actions du modèle souhaité pour afficher les détails des statistiques d'appels (telles que le nombre d'appels et le volume d'appels).

Utiliser metadata pour renvoyer des identifiants personnalisés
custom_id accepte jusqu'à 256 caractères. Pour renvoyer des informations d'identifiant plus longues dans le fichier de résultats, vous pouvez utiliser les champs personnalisés de metadata.
Champs de metadata
metadata est un paramètre facultatif lors de la création d'une tâche Batch et prend en charge les champs suivants :
ds_name: nom de la tâche. Une fois défini, il s'affiche dans la colonne Task Name de la console.ds_description: description de la tâche. Une fois définie, elle s'affiche dans la colonne Task Description de la console.- Champs personnalisés : en plus des champs officiels ci-dessus,
metadataprend également en charge des champs personnalisés arbitraires, dont les valeurs ne sont pas soumises à la limite de 256 caractères. Lors de la consultation des détails d'une tâche, tous les champs personnalisés sont renvoyés intégralement.
Exemple de code
L'exemple suivant montre comment renvoyer des informations d'identifiant de plus de 256 caractères via les champs personnalisés de metadata :
GET /v1/batches/{batch_id}) pour obtenir les informations metadata complètes, y compris tous les champs personnalisés et leur contenu intégral.
Référence API
En environnement de production, utilisez les API compatibles OpenAI pour créer et gérer automatiquement des tâches Batch. Le flux de travail principal est le suivant :
Exemple :
-
Charger le fichier
Appelez
POST /v1/filespour charger le fichier et notez l'ID de fichier renvoyé. -
Créer la tâche Transmettez l'ID du fichier et appelez
POST /v1/batchespour créer une tâche, puis notez lebatch_idrenvoyé. -
Interroger l'état Utilisez
batch_idpour interrogerGET /v1/batches/{batch_id}. Lorsquestatuspasse àcompleted, notezoutput_file_idet arrêtez l'interrogation. -
Télécharger les résultats Utilisez
output_file_idpour appelerGET /v1/files/{output_file_id}/contentet télécharger le fichier de résultats.
Cycle de vie d'une tâche
Statut | Description |
|---|---|
validating (Vérification) | Le système valide le format du fichier (spécification JSONL) ainsi que la validité du format API de chaque ligne de requête. |
in_progress (En cours) | Le fichier a passé la validation et le système a commencé à traiter les requêtes d'inférence ligne par ligne. |
finalizing (En cours) | Toutes les requêtes ont été traitées et les résultats sont en cours d'écriture dans le fichier de résultats et le fichier d'erreurs. Dans la liste des tâches de la console, cette étape partage le libellé d'état Running avec in_progress et ne dispose d'aucun texte d'affichage distinct. |
completed (Terminé) | Le fichier de résultats et le fichier d'erreurs ont été écrits et sont prêts à être téléchargés. |
failed | La tâche a échoué pendant l'étape validating, généralement en raison d'erreurs au niveau du fichier (format JSONL invalide ou fichier trop volumineux). Dans cet état, aucune requête d'inférence n'est exécutée et aucun fichier de résultats n'est généré. |
expired | La durée d'exécution de la tâche a dépassé le temps d'attente maximal défini lors de la création et la tâche a été interrompue par le système. Lors de la création d'une nouvelle tâche, il est recommandé de définir un temps d'attente plus long. |
cancelled | L'utilisateur annule la tâche et les requêtes dont le traitement n'a pas commencé sont interrompues. |
Détails de facturation
- Prix unitaire de facturation : pour toutes les requêtes réussies, le prix unitaire des tokens d'entrée et de sortie est de 50 % du prix de l'inférence en temps réel du modèle correspondant. Pour plus d'informations, consultez Modèles.
-
Périmètre de facturation :
- Seules les requêtes exécutées avec succès dans la tâche sont facturées.
- Les échecs d'analyse de fichier, les échecs d'exécution de tâche ou les requêtes erronées au niveau de la ligne n'entraînent aucun frais.
- Pour les tâches annulées, les requêtes achevées avec succès avant l'annulation sont toujours facturées normalement.
- L'inférence par lot est un poste de facturation indépendant. Elle prend en charge le Plan d'économies universel IA, mais ne prend pas en charge les remises telles que le paiement anticipé (savings plan) et le quota gratuit pour nouveaux utilisateurs, ni les fonctionnalités telles que le cache de contexte.
- Certains modèles (tels que qwen3.7-plus, qwen3.7-max ainsi que les séries qwen3.6 et qwen3.5) ont le mode réflexion activé par défaut, ce qui génère des tokens de réflexion supplémentaires facturés au prix des tokens de sortie, augmentant ainsi les coûts. Il est recommandé de définir le paramètre enable_thinking en fonction de la complexité de la tâche pour maîtriser les coûts. Pour plus d'informations, consultez Réflexion approfondie.
FAQ
- Dois-je effectuer un achat ou une activation supplémentaire pour utiliser l'inférence par lot ? Non. Vous pouvez l'utiliser dès l'activation d'Alibaba Cloud Model Studio, et les frais sont déduits du solde de votre compte selon le modèle du paiement à l'utilisation.
-
Pourquoi une tâche échoue-t-elle immédiatement après sa soumission (le statut passe à failed) ?
Cela est généralement dû à des erreurs au niveau du fichier, et la tâche n'a exécuté aucune requête d'inférence. Dépannez dans l'ordre suivant :
- Format du fichier : est-ce un format JSONL strict, avec un objet JSON complet par ligne ?
- Taille du fichier : la taille du fichier, le nombre de lignes, etc. dépassent-ils les limites ? Pour plus d'informations, consultez Préparer le fichier d'entrée.
- Cohérence du modèle : vérifiez que le champ
body.modelde toutes les requêtes du fichier est strictement identique et que les modèles utilisés sont pris en charge dans la région actuelle.
- Combien de temps prend le traitement d'une tâche ? Le temps de traitement dépend principalement de la charge du système au moment de la soumission. Lorsque le système est occupé, les tâches peuvent devoir être mises en file d'attente, mais les résultats, qu'ils soient un succès ou un échec, seront renvoyés dans le temps d'attente maximal défini.