Skip to main content

Créer un déploiement

Créez une tâche de déploiement de modèle.

Prérequis

Déployer un modèle

  • Singapour
POST https://dashscope-intl.aliyuncs.com/api/v1/deployments
Sous Windows CMD, remplacez $DASHSCOPE_API_KEY par %DASHSCOPE_API_KEY% ; sous PowerShell, remplacez-le par $env:DASHSCOPE_API_KEY.

Paramètres de requête

En-têtes
Content-Type string (Requis)Valeur fixe : application/jsonAuthorization string (Requis)Authentification par clé API. Le format est Bearer sk-xxxx.
Corps de la requête
model_name string (Requis)Nom du modèle à déployer. Il correspond à l’ID du modèle dans My Models. Vous pouvez également l’obtenir dans la sortie de l’opération Créer une tâche de réglage.plan string (Requis)Le plan de déploiement. Valeurs valides :
  • mu : facturation par unité de modèle.
  • lora : déploiement partagé LoRA (facturé selon l’utilisation des tokens).
  • ptu : facturation par débit provisionné.
deploy_spec string (Requis sous condition)Le modèle de déploiement. Requis lorsque plan vaut mu. Exemple : "deploy_spec": "MU1".Vous pouvez l’obtenir à partir du champ template_id renvoyé par l’opération Get Deployable Model List.capacity integer (Requis sous condition)Nombre d’unités de ressources utilisées par le déploiement. La valeur doit être un multiple entier de base_capacity. Les contraintes varient selon deploy_spec : par exemple, MU2 exige un multiple de 8 et MU5 accepte 1.billing_method string (Requis sous condition)La méthode de facturation. Requise lorsque plan vaut mu. Actuellement, "POST_PAY" (paiement à terme échu) est pris en charge.enable_thinking boolean (Facultatif)Disponible uniquement lorsque plan vaut mu. Pris en charge par certains modèles. Vous pouvez la définir sur true ou false.max_context_length number (Facultatif)Disponible uniquement lorsque plan vaut mu. Pris en charge par certains modèles. Exemple : "max_context_length": 131072.rpm_limit number (Facultatif)Disponible uniquement lorsque plan vaut mu. Pris en charge par certains modèles. Spécifie le nombre de requêtes par minute (RPM).tpm_limit number (Facultatif)Disponible uniquement lorsque plan vaut mu. Pris en charge par certains modèles. Spécifie le nombre de tokens utilisés par minute (TPM).ptu_capacity object (Facultatif)Prend effet uniquement lorsque plan vaut ptu. Si vous ne spécifiez pas ce paramètre, les valeurs par défaut sont 10,000 input_tpm et 1,000 output_tpm.

Propriétés de ptu_capacity

input_tpm numberNombre maximal de tokens d’entrée par minute pris en charge par le modèle déployé.output_tpm numberNombre maximal de tokens de sortie par minute pris en charge par le modèle déployé.thinking_output_tpm numberPris en charge par certains modèles. Nombre maximal de tokens de sortie de réflexion provisionnés par minute pris en charge par le modèle déployé.
name string (Facultatif)Nom d’affichage du modèle dans la console. Si vous ne spécifiez pas ce paramètre, la valeur de model_name est automatiquement utilisée comme nom du déploiement.suffix string (Facultatif)Après le déploiement d’un modèle, un nouveau nom de modèle est généré. suffix spécifie le suffixe de ce nouveau nom de modèle, avec une longueur maximale de 8 caractères, et il doit être globalement unique. Vous pouvez omettre le suffixe lors du premier déploiement d’un modèle. Pour déployer le même modèle plusieurs fois, vous devez spécifier un suffixe afin de distinguer les déploiements.
  • Facturation par unité de modèle
  • Facturation selon l’utilisation des tokens
  • Facturation par débit provisionné
Avec la facturation par unité de modèle, vous êtes facturé en fonction de la durée d’utilisation des unités de modèle. Ce mode convient aux charges de travail d’inférence à grande échelle après le réglage du modèle, avec des ressources dédiées et des performances et coûts flexibles.
Après l’exécution de la commande de déploiement ci-dessous, le service de déploiement de modèles commence à facturer immédiatement dès que le déploiement aboutit, même si vous n’avez pas encore appelé le modèle. Nous vous recommandons de vérifier les règles de facturation du service avant d’exécuter la commande de déploiement.
curl "https://dashscope-intl.aliyuncs.com/api/v1/deployments" \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "name": "my_qwen_plus",
    "model_name": "qwen-plus-2025-12-01",
    "plan": "mu",
    "deploy_spec": "MU1",
    "enable_thinking": true,
    "capacity": 4,
    "billing_method": "POST_PAY",
    "max_context_length": 10000,
    "rpm_limit": 500,
    "tpm_limit": 1000
}'

Dépannage du déploiement et optimisation des performances

Le paramètre max-num-seqs n’est pas configurable

Pour le déploiement de modèles Model Studio avec les méthodes de facturation par débit provisionné et de facturation par unité de modèle, le débit, la concurrence et la vitesse de génération sont prédéfinis par la plateforme. Les paramètres du moteur d’inférence tels que max-num-seqs dans vLLM ne peuvent pas être ajustés directement, et aucun paramètre de ce type n’existe dans les paramètres de requête de cette API. Avec la méthode de facturation par unité de modèle, vous pouvez contrôler indirectement le débit en sélectionnant le type d’unité de modèle (le paramètre de requête deploy_spec) et en ajustant le nombre de réplicas du déploiement (le paramètre de requête capacity).

Modèles de déploiement et isolation des ressources

Les modèles de déploiement actuels ne prennent en charge que le déploiement mononœud (déploiement mononœud - inférence générale améliorée) et ne prennent pas en charge l’isolation d’instances multi-cartes. Si vous avez besoin d’une isolation des ressources, utilisez la méthode de facturation par unité de modèle, dans laquelle les ressources de calcul sont dédiées à votre activité.

Gestion des erreurs de limitation

Lorsque les requêtes simultanées dépassent le seuil de limite de débit, l’API renvoie le code HTTP 429 avec le code d’erreur Throttling.RateQuota et le message d’erreur Requests rate limit exceeded, please try again later. Solutions :
  • Facturation par débit provisionné : ajustez input_tpm et output_tpm dans ptu_capacity (correspondant à Input kTPM et Output kTPM dans la console), ou réduisez la fréquence des requêtes. La politique de débordement peut être auto-overflow (bascule vers le paiement à l’usage) ou PTU capacity only (les requêtes dépassant la capacité renvoient directement 429).
  • Facturation par unité de modèle : ajustez rpm_limit et tpm_limit, ou réduisez la fréquence des requêtes.

Réglage de la longueur du contexte

Avec la méthode de facturation par unité de modèle, vous pouvez configurer la longueur maximale du contexte à l’aide du paramètre de requête max_context_length. La valeur est comprise entre 1 et 262144 (la limite supérieure réelle dépend des capacités du modèle déployé). Ce paramètre limite la taille du contexte de chaque requête, et donc la mémoire utilisée par requête, ce qui aide à réduire le risque d’erreur OOM. Lorsque vous traitez des charges de travail comportant un grand nombre d’images, définissez ce paramètre en fonction de la taille des images et du nombre d’images par requête.

Paramètres de réponse

request_id stringIdentifiant unique de la requête.output objectDétails de la tâche.

Propriétés

deployed_model stringIdentifiant unique du modèle déployé. Il est utilisé pour interroger l’état du déploiement et appeler le modèle.model_name stringNom du modèle.status stringÉtat du déploiement :
  • PENDING : la tâche de déploiement est en cours de création.
  • UPDATING : la tâche de déploiement est en cours de mise à jour.
  • RUNNING : la tâche de déploiement est en cours d’exécution et le modèle déployé peut traiter les requêtes normalement.
  • STOPPED : la tâche de déploiement est arrêtée et n’est pas facturée à ce moment-là.
  • DELETING : la tâche de déploiement est en cours de suppression.
  • FAILED : la création ou la mise à jour de la tâche de déploiement a échoué.
base_model stringModèle de base utilisé.gmt_create stringHeure de création de la tâche de déploiement.gmt_modified stringHeure de mise à jour de la tâche de déploiement.workspace_id stringID de l’espace de travail auquel appartient la clé API Model Studio. Pour plus d’informations, consultez Obtenir l’ID de l’espace de travail.charge_type stringLe modèle de paiement. post_paid indique un paiement à terme échu.creator stringID du compte Alibaba Cloud du créateur.modifier stringID du compte Alibaba Cloud de l’utilisateur qui a modifié la tâche de déploiement en dernier.plan stringLa méthode de déploiement.base_capacity numberNombre minimal d’unités de ressources requis pour exécuter le modèle de base.ready_capacity numberNombre d’unités de ressources prêtes et capables de traiter immédiatement les requêtes.model_unit_spec stringSpécification de l’unité de modèle. Renvoyé uniquement lorsque plan vaut mu.enable_thinking booleanIndique si le mode de réflexion est activé. Renvoyé uniquement lorsque plan vaut mu.max_context_length numberLimite de longueur maximale du contexte. Renvoyé uniquement lorsque plan vaut mu.rpm_limit numberNombre de requêtes par minute. Renvoyé uniquement lorsque plan vaut mu.tpm_limit numberNombre de tokens utilisés par minute. Renvoyé uniquement lorsque plan vaut mu.ptu_capacity objectConfiguration du débit provisionné. Renvoyé uniquement lorsque plan vaut ptu.

Propriétés de ptu_capacity

input_tpm numberNombre maximal de tokens d’entrée par minute pris en charge par le modèle déployé.output_tpm numberNombre maximal de tokens de sortie par minute pris en charge par le modèle déployé.thinking_output_tpm numberPris en charge par certains modèles. Nombre maximal de tokens de sortie de réflexion provisionnés par minute pris en charge par le modèle déployé.
code stringCode d’erreur. Renvoyé en cas d’échec de l’appel.message stringDescription détaillée de l’erreur. Renvoyé en cas d’échec de l’appel.
  • Exemple de réponse en cas de succès
  • Exemple de réponse en cas d’erreur
Champs clés à examiner : output.deployed_model (l’identifiant unique du modèle déployé) et output.status (l’état du déploiement).
{
    "request_id": "f2ae64f7-83cc-410c-bc0b-840443f7eb86",
    "output": {
        "deployed_model": "qwen-plus-2025-12-01-mu-xxxx",
        "gmt_create": "2025-06-17T11:00:38.68",
        "gmt_modified": "2025-06-17T11:00:38.68",
        "status": "PENDING",
        "model_name": "qwen-plus-2025-12-01",
        "base_model": "qwen-plus",
        "model_unit_spec": "MU1",
        "enable_thinking": true,
        "max_context_length": 10000,
        "rpm_limit": 500,
        "tpm_limit": 1000,
        "base_capacity": 1,
        "ready_capacity": 0,
        "workspace_id": "llm-v71tlv3d***",
        "charge_type": "post_paid",
        "creator": "175805416***",
        "modifier": "175805416***",
        "plan": "mu"
    }
}

Étapes suivantes

Le déploiement est une opération asynchrone. Après avoir appelé cette API, vous pouvez interroger l’état du déploiement à l’aide de l’opération Interroger et gérer les déploiements.