Skip to main content

Inférence par lot

Référence des commandes de la CLI Model Studio pour créer, suivre et télécharger des tâches d'inférence par lot asynchrones.

bl batch convertit un CSV en Batch JSONL, crée des tâches par lot Chat ou Embedding asynchrones, suit leur progression, annule des tâches et télécharge les fichiers de résultats et d'erreurs. Les tâches par lot asynchrones basées sur des fichiers sont distinctes de la requête unique synchrone bl text chat --batch.
batch convert s'exécute localement et ne nécessite aucune authentification. La création, l'interrogation, l'annulation et le téléchargement de tâches nécessitent une clé d'API de modèle. La disponibilité et les limites du Batch dépendent du modèle et du service.
Ajoutez --help à n'importe quelle commande pour obtenir le détail complet des paramètres, par exemple bl batch create --help. Les détails des commandes de cette page sont vérifiés avec bl 2.8.0.

Démarrage rapide

bl batch convert --file input.csv --model qwen-plus --output-file input.jsonl
bl batch create --file input.jsonl
bl batch get --batch-id <batch-id> --follow
bl batch download --batch-id <batch-id> --csv

Gestion des tâches

bl batch convert

Crée localement un Batch JSONL à partir d'un CSV UTF-8. Aucune authentification requise. Utilisation
bl batch convert --file <csv> --model <model> --output-file <jsonl> [flags]
ParamètreTypeRequisDescription
--file <csv>stringOuiCSV UTF-8 avec en-têtes
--output-file <jsonl>stringOuiChemin de sortie JSONL local
--model <model>stringOuiModèle pour chaque enregistrement
--id-column <name>stringNonColonne d'ID (par défaut : custom_id)
--input-column <name>stringNonColonne d'entrée (par défaut : content)
--system <text>stringNonPrompt système partagé (Chat uniquement)
--body-file <json>stringNonParamètres de corps partagés, hors model, messages ou input
--endpoint </v1/chat/completions|/v1/embeddings|/v1/chat/ds-test>stringNonEndpoint Batch, déduit du JSONL local
--forceswitchNonRemplacer les fichiers de sortie existants (atomique par fichier)
Exemple : Convertir un CSV en Chat JSONL
bl batch convert --file input.csv --model qwen-plus --output-file input.jsonl
Exemple : Convertir un CSV en Embedding JSONL
bl batch convert --file input.csv --model text-embedding-v4 --endpoint /v1/embeddings --output-file vectors.jsonl
  • Seul le mappage des champs texte et Embedding est pris en charge. Écrivez directement le JSONL pour les entrées multimodales ou multi-tours.
  • Les ID restent des chaînes. Importez les ID CSV en texte dans le tableur pour conserver les zéros initiaux.
  • Le dry-run n'effectue aucune requête métier et n'écrit aucun fichier métier.

bl batch create

Envoie ou référence une entrée et crée une tâche Batch asynchrone. Nécessite une authentification par clé d'API. Utilisation
bl batch create (--file <jsonl> | --input-file-id <source> --endpoint <path>) [flags]
ParamètreTypeRequisDescription
--file <jsonl>stringNonBatch JSONL local (exclusif avec --input-file-id)
--input-file-id <source>stringNonID de fichier, URL HTTPS OSS ou oss:region:bucket/path
--completion-window <24h|7d>stringNonFenêtre de fin : 24 à 336 heures (par défaut : 24h)
--name <text>stringNonNom de la tâche (100 caractères maximum)
--description <text>stringNonDescription de la tâche (200 caractères maximum)
--callback-url <url>stringNonCallback de fin ; actuellement documenté pour la région Chine (Pékin) uniquement
--metadata <KEY=VALUE>arrayNonMétadonnées personnalisées de la tâche (répétable)
--endpoint </v1/chat/completions|/v1/embeddings|/v1/chat/ds-test>stringNonEndpoint Batch, déduit du JSONL local
Exemple : Prévisualiser la création d'une tâche
bl batch create --file input.jsonl --name eval-1 --dry-run
Exemple : Créer une tâche à partir d'un ID de fichier
bl batch create --input-file-id file-batch-xxx --endpoint /v1/chat/completions
Exemple : Référencer un chemin OSS avec une fenêtre de fin de 7 jours
bl batch create --input-file-id oss:ap-southeast-1:my-bucket/input.jsonl --endpoint /v1/chat/completions --completion-window 7d
Exemple de Chat JSONL :
{"custom_id":"req-001","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-plus","messages":[{"role":"user","content":"Introduce yourself"}]}}
Exemple d'Embedding JSONL :
{"custom_id":"req-001","method":"POST","url":"/v1/embeddings","body":{"model":"text-embedding-v4","input":"Introduce yourself","encoding_format":"float"}}
  • Limites d'entrée locale : 50 000 requêtes, 500 MiB et 6 MiB par ligne. Les lignes dépassant 1 MiB génèrent un avertissement.
  • batch-test-model est limité à 100 requêtes et 1 MiB.
  • Les références distantes nécessitent une autorisation et une URL valide ; la CLI ne les télécharge pas pour validation.
  • Une création réussie renvoie un ID de tâche sans attendre la fin. Aucun renvoi POST ni nettoyage des fichiers envoyés n'a lieu en cas d'échec.

bl batch get

Obtient les détails d'une tâche Batch et, éventuellement, suit sa progression. Nécessite une authentification par clé d'API. Utilisation
bl batch get --batch-id <id> [--follow] [--interval <seconds>] [--poll-timeout <seconds>]
ParamètreTypeRequisDescription
--batch-id <id>stringOuiID de la tâche Batch
--followswitchNonInterroger jusqu'à un état terminal (Ctrl-C arrête uniquement l'interrogation locale)
--interval <seconds>numberNonIntervalle d'interrogation, 60 s minimum (par défaut : 65 s ; --follow uniquement)
--poll-timeout <seconds>numberNonBudget total d'interrogation (par défaut : illimité ; --follow uniquement)
Exemple : Suivre une tâche jusqu'à sa fin
bl batch get --batch-id batch_xxx --follow
  • Un get unique se termine avec le code 0 après une interrogation réussie, quel que soit l'état de la tâche.
  • Avec --follow, le code 0 signifie terminée (peut contenir des lignes en échec), 1 signifie échec, expirée ou annulée, 5 signifie expiration côté client et 130 signifie Ctrl-C.
  • finalizing et cancelling ne sont pas des états terminaux.
  • La progression est écrite sur stderr ; le résultat final sur stdout.
  • Seules les erreurs de transport, les expirations ou les HTTP 429/5xx sont réessayées, jusqu'à trois fois.
  • La rétention côté serveur est limitée ; téléchargez les résultats rapidement.

bl batch list

Liste une page de tâches Batch. Nécessite une authentification par clé d'API. Utilisation
bl batch list [filters] [--after <id>] [--limit <n>]
ParamètreTypeRequisDescription
--limit <n>numberNonTaille de page : 1 à 100 (par défaut : 20)
--after <id>stringNonlast_id de la page précédente
--name <text>stringNonFiltre sur le nom de la tâche
--input-file-id <id>arrayNonFiltre sur le fichier d'entrée (répétable, 20 maximum)
--status <status>arrayNonFiltre sur l'état de la tâche (répétable) : validating, in_progress, finalizing, completed, failed, expired, cancelling, cancelled
--created-after <yyyyMMddHHmmss>stringNonCréée après cet horodatage API
--created-before <yyyyMMddHHmmss>stringNonCréée avant cet horodatage API
Exemple : Lister les tâches terminées et en échec
bl batch list --status completed --status failed --limit 20
  • Renvoie data, last_id et has_more. Transmettez last_id à --after pour la page suivante.
  • Les horodatages de l'API ne sont pas convertis en fonction du fuseau horaire.

bl batch cancel

Demande l'annulation d'une tâche Batch. Nécessite une authentification par clé d'API. Utilisation
bl batch cancel --batch-id <id>
ParamètreTypeRequisDescription
--batch-id <id>stringOuiID de la tâche Batch
Exemple : Demander l'annulation d'une tâche
bl batch cancel --batch-id batch_xxx
  • Une annulation acceptée peut renvoyer cancelling, et non cancelled. Utilisez batch get --follow pour confirmer.
  • Les requêtes déjà exécutées restent facturées ; les fichiers ne sont pas supprimés.

bl batch download

Télécharge les résultats d'origine ou les fichiers d'erreurs, avec export CSV facultatif. Nécessite une authentification par clé d'API. Utilisation
bl batch download --batch-id <id> [--out-dir <path>] [--csv] [--force]
ParamètreTypeRequisDescription
--batch-id <id>stringOuiID de la tâche Batch
--out-dir <path>stringNonRépertoire de sortie (par défaut : ./batch-results/<batch-id>/)
--csvswitchNonGénérer aussi result.csv (projection d'affichage avec pertes)
--forceswitchNonRemplacer les fichiers de sortie existants (atomique par fichier)
Exemple : Télécharger les résultats et exporter un CSV
bl batch download --batch-id batch_xxx --out-dir ./out --csv
  • Le JSONL fait foi. Le CSV ne lit que choices[0].message.content, les données Embedding, response.request_id, status_code, l'utilisation et error.code / error.message.
  • Le CSV omet les appels d'outils et les choix supplémentaires, et traite comme du texte les textes ressemblant à des formules. Importez les ID en texte pour conserver les zéros initiaux.
  • L'ordre d'entrée d'origine n'est pas garanti.
  • Les fichiers sont publiés atomiquement par fichier, et non par répertoire. Si la génération du CSV échoue, le JSONL téléchargé est conservé ; relancez avec --force pour récupérer.

Commandes associées

Pour une requête unique synchrone, utilisez bl text chat --batch. Elle ne crée pas de tâche asynchrone. Voir Chat textuel et Omni.