Créez une tâche de déploiement de modèle.
Prérequis
- Régions : l’API de déploiement de modèles est actuellement disponible uniquement dans la région Singapour. Si vous utilisez une autre région, effectuez le déploiement des modèles dans la console Model Studio de cette région.
- Autorisations du compte : si vous utilisez un sous-compte Alibaba Cloud (utilisateur RAM), vous devez accorder au sous-compte les autorisations d’appel de modèle, d’entraînement et de déploiement.
- Configurer les variables d’environnement : vous avez obtenu une clé API et l’avez configurée en tant que variable d’environnement.
- Lire la documentation de déploiement : nous vous recommandons de lire d’abord Présentation du déploiement dédié et Créer des tâches de déploiement de modèle via l’API afin de comprendre le fonctionnement du déploiement de modèles et les étapes de base.
Déployer un modèle
- Singapour
POST https://dashscope-intl.aliyuncs.com/api/v1/deploymentsSous Windows CMD, remplacez$DASHSCOPE_API_KEYpar%DASHSCOPE_API_KEY%; sous PowerShell, remplacez-le par$env:DASHSCOPE_API_KEY.
Paramètres de requêteEn-têtesContent-Typestring (Requis)Valeur fixe : application/jsonAuthorization string (Requis)Authentification par clé API. Le format est Bearer sk-xxxx.Corps de la requêtemodel_namestring (Requis)Nom du modèle à déployer. Il correspond à l’ID du modèle dans My Models. Vous pouvez également l’obtenir dans la sortie de l’opération Créer une tâche de réglage.plan string (Requis)Le plan de déploiement. Valeurs valides :
string (Requis sous condition)Le modèle de déploiement. Requis lorsque plan vaut mu. Exemple : "deploy_spec": "MU1".Vous pouvez l’obtenir à partir du champ template_id renvoyé par l’opération Get Deployable Model List.capacity integer (Requis sous condition)Nombre d’unités de ressources utilisées par le déploiement. La valeur doit être un multiple entier de base_capacity. Les contraintes varient selon deploy_spec : par exemple, MU2 exige un multiple de 8 et MU5 accepte 1.billing_method string (Requis sous condition)La méthode de facturation. Requise lorsque plan vaut mu. Actuellement, "POST_PAY" (paiement à terme échu) est pris en charge.enable_thinking boolean (Facultatif)Disponible uniquement lorsque plan vaut mu. Pris en charge par certains modèles. Vous pouvez la définir sur true ou false.max_context_length number (Facultatif)Disponible uniquement lorsque plan vaut mu. Pris en charge par certains modèles. Exemple : "max_context_length": 131072.rpm_limit number (Facultatif)Disponible uniquement lorsque plan vaut mu. Pris en charge par certains modèles. Spécifie le nombre de requêtes par minute (RPM).tpm_limit number (Facultatif)Disponible uniquement lorsque plan vaut mu. Pris en charge par certains modèles. Spécifie le nombre de tokens utilisés par minute (TPM).ptu_capacity object (Facultatif)Prend effet uniquement lorsque plan vaut ptu. Si vous ne spécifiez pas ce paramètre, les valeurs par défaut sont 10,000 input_tpm et 1,000 output_tpm.
Propriétés de ptu_capacity input_tpm numberNombre maximal de tokens d’entrée par minute pris en charge par le modèle déployé.output_tpm numberNombre maximal de tokens de sortie par minute pris en charge par le modèle déployé.thinking_output_tpm numberPris en charge par certains modèles. Nombre maximal de tokens de sortie de réflexion provisionnés par minute pris en charge par le modèle déployé.string (Facultatif)Nom d’affichage du modèle dans la console. Si vous ne spécifiez pas ce paramètre, la valeur de model_name est automatiquement utilisée comme nom du déploiement.suffix string (Facultatif)Après le déploiement d’un modèle, un nouveau nom de modèle est généré. suffix spécifie le suffixe de ce nouveau nom de modèle, avec une longueur maximale de 8 caractères, et il doit être globalement unique. Vous pouvez omettre le suffixe lors du premier déploiement d’un modèle. Pour déployer le même modèle plusieurs fois, vous devez spécifier un suffixe afin de distinguer les déploiements. |
Avec la facturation par unité de modèle, vous êtes facturé en fonction de la durée d’utilisation des unités de modèle. Ce mode convient aux charges de travail d’inférence à grande échelle après le réglage du modèle, avec des ressources dédiées et des performances et coûts flexibles. Après l’exécution de la commande de déploiement ci-dessous, le service de déploiement de modèles commence à facturer immédiatement dès que le déploiement aboutit, même si vous n’avez pas encore appelé le modèle. Nous vous recommandons de vérifier les règles de facturation du service avant d’exécuter la commande de déploiement. |
Dépannage du déploiement et optimisation des performances
Le paramètre max-num-seqs n’est pas configurable
Pour le déploiement de modèles Model Studio avec les méthodes de facturation par débit provisionné et de facturation par unité de modèle, le débit, la concurrence et la vitesse de génération sont prédéfinis par la plateforme. Les paramètres du moteur d’inférence tels que max-num-seqs dans vLLM ne peuvent pas être ajustés directement, et aucun paramètre de ce type n’existe dans les paramètres de requête de cette API.
Avec la méthode de facturation par unité de modèle, vous pouvez contrôler indirectement le débit en sélectionnant le type d’unité de modèle (le paramètre de requête deploy_spec) et en ajustant le nombre de réplicas du déploiement (le paramètre de requête capacity).
Modèles de déploiement et isolation des ressources
Les modèles de déploiement actuels ne prennent en charge que le déploiement mononœud (déploiement mononœud - inférence générale améliorée) et ne prennent pas en charge l’isolation d’instances multi-cartes. Si vous avez besoin d’une isolation des ressources, utilisez la méthode de facturation par unité de modèle, dans laquelle les ressources de calcul sont dédiées à votre activité.
Gestion des erreurs de limitation
Lorsque les requêtes simultanées dépassent le seuil de limite de débit, l’API renvoie le code HTTP 429 avec le code d’erreur Throttling.RateQuota et le message d’erreur Requests rate limit exceeded, please try again later. Solutions :
- Facturation par débit provisionné : ajustez
input_tpmetoutput_tpmdansptu_capacity(correspondant à Input kTPM et Output kTPM dans la console), ou réduisez la fréquence des requêtes. La politique de débordement peut être auto-overflow (bascule vers le paiement à l’usage) ou PTU capacity only (les requêtes dépassant la capacité renvoient directement429). - Facturation par unité de modèle : ajustez
rpm_limitettpm_limit, ou réduisez la fréquence des requêtes.
Réglage de la longueur du contexte
Avec la méthode de facturation par unité de modèle, vous pouvez configurer la longueur maximale du contexte à l’aide du paramètre de requête max_context_length. La valeur est comprise entre 1 et 262144 (la limite supérieure réelle dépend des capacités du modèle déployé). Ce paramètre limite la taille du contexte de chaque requête, et donc la mémoire utilisée par requête, ce qui aide à réduire le risque d’erreur OOM.
Lorsque vous traitez des charges de travail comportant un grand nombre d’images, définissez ce paramètre en fonction de la taille des images et du nombre d’images par requête.
Paramètres de réponserequest_idstringIdentifiant unique de la requête.output objectDétails de la tâche.
Propriétés deployed_model stringIdentifiant unique du modèle déployé. Il est utilisé pour interroger l’état du déploiement et appeler le modèle.model_name stringNom du modèle.status stringÉtat du déploiement :
stringModèle de base utilisé.gmt_create stringHeure de création de la tâche de déploiement.gmt_modified stringHeure de mise à jour de la tâche de déploiement.workspace_id stringID de l’espace de travail auquel appartient la clé API Model Studio. Pour plus d’informations, consultez Obtenir l’ID de l’espace de travail.charge_type stringLe modèle de paiement. post_paid indique un paiement à terme échu.creator stringID du compte Alibaba Cloud du créateur.modifier stringID du compte Alibaba Cloud de l’utilisateur qui a modifié la tâche de déploiement en dernier.plan stringLa méthode de déploiement.base_capacity numberNombre minimal d’unités de ressources requis pour exécuter le modèle de base.ready_capacity numberNombre d’unités de ressources prêtes et capables de traiter immédiatement les requêtes.model_unit_spec stringSpécification de l’unité de modèle. Renvoyé uniquement lorsque plan vaut mu.enable_thinking booleanIndique si le mode de réflexion est activé. Renvoyé uniquement lorsque plan vaut mu.max_context_length numberLimite de longueur maximale du contexte. Renvoyé uniquement lorsque plan vaut mu.rpm_limit numberNombre de requêtes par minute. Renvoyé uniquement lorsque plan vaut mu.tpm_limit numberNombre de tokens utilisés par minute. Renvoyé uniquement lorsque plan vaut mu.ptu_capacity objectConfiguration du débit provisionné. Renvoyé uniquement lorsque plan vaut ptu.
Propriétés de ptu_capacity input_tpm numberNombre maximal de tokens d’entrée par minute pris en charge par le modèle déployé.output_tpm numberNombre maximal de tokens de sortie par minute pris en charge par le modèle déployé.thinking_output_tpm numberPris en charge par certains modèles. Nombre maximal de tokens de sortie de réflexion provisionnés par minute pris en charge par le modèle déployé.stringCode d’erreur. Renvoyé en cas d’échec de l’appel.message stringDescription détaillée de l’erreur. Renvoyé en cas d’échec de l’appel. |
Champs clés à examiner : output.deployed_model (l’identifiant unique du modèle déployé) et output.status (l’état du déploiement). |