Skip to main content

Compatible OpenAI - Batch Chat

Pour les scénarios ne nécessitant pas de réponses en temps réel, comme l'annotation de données et la génération de contenu, les API d'inférence en temps réel souffrent de coûts élevés et d'une concurrence limitée. L'API Batch Chat d'Alibaba Cloud Model Studio conserve le même style d'appel synchrone que l'API en temps réel : vous envoyez simplement une requête et attendez le retour du résultat final. Cette fonctionnalité bénéficie actuellement d'une remise limitée de 50 % sur le site officiel, réduisant directement vos coûts d'inférence de 50 %.

Cette interface ne prend en charge que la soumission d'une requête unique. Pour soumettre plusieurs requêtes à la fois, vous pouvez les soumettre via un fichier. Pour plus de détails, consultez OpenAI-compatible-Batch (entrée par fichier).

Fonctionnement

  1. Soumission de la requête : le client envoie une requête et établit une connexion.
  2. Maintien de la connexion : la requête entre dans une file d'attente et le client maintient la connexion ouverte en attendant.
  3. Retour synchrone : une fois la requête traitée, le serveur renvoie le résultat complet au client en une seule fois via la connexion précédemment maintenue ouverte.
    Si le temps d'attente maximal est dépassé, la connexion est automatiquement fermée et une erreur de délai d'expiration est renvoyée.

Disponibilité

  • Chine (Pékin)
  • Modèles de génération de texte : qwen4-max, qwen3.8-max, qwen3.8-flash, qwen3.7-max, qwen3.7-plus, qwen3.6-plus, qwen3.7-flash, qwen3.6-flash, qwen3.5-plus, qwen3.5-flash, qwen-plus, qwen-flash
  • Modèles de compréhension d'images et de vidéos : qwen4-max, qwen3.8-max, qwen3.8-flash, qwen3.7-plus, qwen3.6-plus, qwen3.7-flash, qwen3.6-flash, qwen3.5-plus, qwen3.5-flash, qwen3.5-omni-plus, qwen3.5-omni-flash, qwen3-vl-plus
  • Dans les scénarios Batch, qwen3.8-max, qwen3.8-flash, qwen3.7-max, qwen3.7-plus, qwen3.6-plus, qwen3.7-flash, qwen3.6-flash, qwen3.5-plus, qwen3.5-flash, qwen3.5-omni-flash et qwen3.5-omni-plus prennent en charge un maximum de 256K jetons de contexte par requête ; qwen3.5-omni-plus et qwen3.5-omni-flash ne prennent pas en charge la sortie audio.
  • Certains modèles prennent en charge le mode de réflexion ; lorsqu'il est activé, il produit des tokens de réflexion, ce qui augmente les coûts.
  • Les modèles des séries qwen3.8, qwen3.7, qwen3.6 et qwen3.5 ont le mode de réflexion activé par défaut. Lorsque vous utilisez des modèles à réflexion hybride, nous vous recommandons de définir explicitement le paramètre enable_thinking (true pour activer / false pour désactiver).
  • Dans le corps de requête JSONL, enable_thinking est un paramètre de premier niveau de body et doit être passé au même niveau que model ; il ne peut pas être placé à l'intérieur de extra_body.

Utilisation

Prérequis

pip3 install -U openai

Étape 1 : Configurez le point de terminaison de l'API

Changez simplement le point de terminaison de l'API (base_url) pour basculer facilement vos requêtes d'inférence en temps réel existantes vers l'inférence par lots. Configurez le point de terminaison d'API correct selon votre méthode d'appel. Configuration du SDK : définissez base_url sur https://batch.dashscope.aliyuncs.com/compatible-mode/v1 Appel HTTP : le point de terminaison de requête est POST https://batch.dashscope.aliyuncs.com/compatible-mode/v1/chat/completions

Étape 2 : Effectuez l'appel

Cette section prend une conversation textuelle comme exemple pour montrer comment appeler l'API Batch Chat. Le délai d'attente par défaut d'une requête est de 3600 secondes (1 heure) ; dans la plupart des cas, aucune configuration supplémentaire n'est nécessaire.
L'exemple suivant montre comment définir de manière proactive un délai d'attente personnalisé (60-3600 secondes), à titre de référence.
  • Python
  • Java
  • Node.js
  • Go
  • C#(HTTP)
  • PHP(HTTP)
  • curl
Exemple de requête
import os
from openai import OpenAI

client = OpenAI(
   # 若没有配置环境变量,可用阿里云百炼API Key将下行替换为:api_key="sk-xxx",但不建议在生产环境中直接将API Key硬编码到代码中,以减少API Key泄露风险.
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    base_url="https://batch.dashscope.aliyuncs.com/compatible-mode/v1",  # 阿里云百炼Batch chat API 的 URL
).with_options(timeout=1800.0) # 设置1800秒(30分钟)的等待时间,最长3600秒

completion = client.chat.completions.create(
    model="qwen-plus",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "你是谁?"},
    ]
)
print(completion.choices[0].message.content)
Exemple de réponse
我是千问,阿里巴巴集团旗下的超大规模语言模型。我能够回答问题、创作文字,比如写故事、写公文、写邮件、写剧本、逻辑推理、编程等等,还能表达观点,玩游戏等。如果你有任何问题或需要帮助,欢迎随时告诉我!

Limites

  • Temps d'attente : après la soumission d'une requête, le résultat est attendu de manière synchrone et le serveur maintient la connexion ouverte pendant une durée maximale de 3600 secondes (1 heure). Vous pouvez définir un délai d'expiration personnalisé selon vos besoins réels, avec une plage valide de 60 à 3600 secondes.
  • Limite de concurrence : un même compte peut maintenir jusqu'à 10 000 requêtes en attente par modèle. Les nouvelles requêtes dépassant cette limite sont rejetées avec un code d'erreur correspondant jusqu'à ce que les requêtes en attente soient traitées et libèrent des emplacements disponibles.
  • Taux de requêtes : un même compte peut soumettre des requêtes à un débit maximal de 1000 QPS (10 000 requêtes / 10 secondes).
    Cette limite est un maximum théorique défini par le système. En usage réel, les ressources disponibles de l'API sont affectées de manière dynamique par la charge globale du système. Nous vous recommandons d'implémenter une logique de nouvelle tentative dans votre code.

Détails de facturation

  • Prix unitaire de facturation : vous êtes facturé pour les jetons d'entrée et de sortie des requêtes réussies, aux mêmes tarifs que les appels de modèle en temps réel. Pendant une période limitée, le site officiel offre une remise de 50 % sur les appels Batch Chat, le montant final étant 50 % du prix de l'appel en temps réel. Pour plus d'informations, consultez Modèles.
  • Périmètre de facturation : seules les requêtes exécutées avec succès dans une tâche sont facturées. Les requêtes échouées (y compris les erreurs système ou les délais d'expiration) ne sont pas facturées.
L'inférence par lots constitue un poste de facturation distinct et ne prend pas en charge le paiement anticipé (plans d'économies), le quota gratuit pour les nouveaux utilisateurs, ni des fonctionnalités telles que le cache de contexte.

Codes d'erreur

Si l'appel au modèle échoue et renvoie un message d'erreur, consultez Codes d'erreur pour résoudre le problème.

FAQ

  1. Y a-t-il une différence de temps de traitement entre les requêtes Batch Chat et les API en temps réel ? Oui. Les requêtes Batch Chat doivent être mises en file d'attente pour la planification, le temps de traitement de bout en bout est donc généralement plus long que celui des API en temps réel. Le temps d'attente maximal côté serveur est d'une heure. Si une requête n'est pas exécutée dans ce délai, la connexion est automatiquement fermée et une erreur est renvoyée.
  2. Comment choisir entre Batch Chat et Batch File ? Choisissez Batch Chat lorsque votre logique métier nécessite la soumission d'un grand nombre de requêtes de conversation indépendantes avec une forte concurrence via des appels d'API synchrones. Choisissez Batch File lorsque vous devez traiter un seul fichier volumineux contenant de nombreuses requêtes et pouvez accepter la récupération asynchrone du fichier de résultats.
  3. Batch Chat garantit-il que toutes les requêtes sont terminées ? Non. Batch Chat utilise des ressources Batch et l'achèvement dépend de l'allocation des ressources système. Si les ressources système sont occupées, les requêtes peuvent attendre dans la file. Si une requête n'est toujours pas planifiée pour exécution après le temps d'attente maximal, la connexion expire et se ferme. Dans ce cas, la requête n'est pas facturée et vous pouvez réessayer ultérieurement.

Documentation connexe