Skip to main content

Déploiement de calcul dédié DTU

Le déploiement de calcul dédié propose deux formules : Dedicated Throughput Unit (DTU) et Model Unit (MU), fournissant des ressources GPU dédiées pour des modèles spécifiés. La formule DTU cible les modèles nouvellement publiés (facturés par TPM d'entrée/sortie x durée) ; la formule MU est utilisée pour les modèles existants (facturée par nombre d'unités de modèle x durée). Ce document présente les fonctionnalités, la facturation, le flux d'utilisation et les modèles pris en charge pour ces deux formules.

Vue d'ensemble

Le déploiement de calcul dédié fournit des ressources GPU dédiées et des garanties de performance pour des modèles spécifiés, prenant en charge le déploiement de modèles de base et personnalisés. Bailian propose deux plans de calcul dédié :
  • DTU (Dedicated Throughput Unit) : Vendu par TPM d'entrée/sortie, offrant des garanties de débit plus directes. Service d'inférence entièrement géré avec des ressources GPU sous-jacentes dédiées maintenues par la plateforme.
  • Model Unit (MU) : Configure la puissance de calcul par durée d'utilisation et nombre d'unités de modèle, avec des ressources dédiées. Prend en charge les métriques de performance personnalisées et le mode de désagrégation PD. La granularité de facturation est le nombre d'unités de modèle x la durée.
Le DTU et le MU se distinguent par l'applicabilité des modèles : les modèles nouvellement publiés utilisent le DTU (mesuré par TPM d'entrée/sortie), tandis que les modèles existants continuent d'utiliser le MU (mesuré par nombre d'unités de modèle). Tous deux fournissent un calcul dédié, une isolation des ressources et le déploiement de modèles affinés. Pour les nouveaux déploiements, choisissez le DTU si le modèle le prend en charge. Capacités communes aux deux plans :
  • Ressources GPU dédiées ; l'environnement d'inférence est physiquement isolé des autres utilisateurs.
  • Prend en charge les modèles de base et les modèles personnalisés (modèles affinés Bailian ou modèles téléchargés par l'utilisateur).
  • La plateforme assure la maintenance des opérations sous-jacentes, il n'est pas nécessaire de gérer les GPU.
  • Aucune limite proactive de RPM/TPM ; le trafic est limité par la capacité réelle.
Pour le flux de travail général de déploiement de modèle, voir Présentation du déploiement dédié et Débit provisionné.

Sélection de la solution

Bailian propose plusieurs plans de capacité et de facturation pour les appels d'inférence. Le DTU convient aux scénarios nécessitant un déploiement dédié, le déploiement de modèles affinés, une faible latence avec une concurrence élevée, ou l'isolation des données. Les plans sont comparés dans le tableau ci-dessous. Pour une comparaison complète de toutes les méthodes de facturation, y compris Token à l'usage et PTU, consultez le tableau principal de la Présentation du déploiement dédié.

Dimension de comparaison

DTU

PTU

Token à la demande

PAI/Lingjun

Fonctionnalité

Calcul dédié + modèles affinés

Garantie de débit + faible latence

Élastique et sans seuil

Runtime personnalisé

Isolation des ressources

Isolation physique

Isolation logique

Pool partagé

Isolation physique

Modèles affinés

Paramètres complets + LoRA

Non pris en charge

LoRA

Pris en charge

Framework personnalisé

Non pris en charge

Non pris en charge

Non pris en charge

Pris en charge

Mode de facturation

Quota TPM × durée

Quota TPM × durée

Utilisation des tokens

GPU × durée

Règles de facturation

  • Facturation DTU
  • Facturation MU
Le DTU est facturé séparément par TPM d'entrée et TPM de sortie, selon un modèle prépayé (mensuel). Chaque modèle dispose de TPM d'entrée/sortie de base fixes (voir tableau ci-dessous), et vous devez acheter par multiples entiers du TPM de base. Achetez au moins 1× le TPM de base pour l'entrée et la sortie ; pour la production, 2× ou plus est recommandé pour chacun.Les frais sont calculés par le backend en fonction du modèle, des TPM d'entrée/sortie, de la région de service et de la durée d'achat. Les prix unitaires d'entrée/sortie et le prix mensuel de chaque modèle sont indiqués dans le tableau ci-dessous. Les prix unitaires sont facturés par kTPM·mois, et le prix mensuel correspond au total pour 1× le TPM de base pour l'entrée et la sortie. Les prix des modèles affinés sont identiques à ceux du modèle de base correspondant, sous réserve de l'affichage réel dans la console.

Modèles pris en charge et tarification

  • Tarification DTU et benchmarks de performance
  • Tarification MU
  • Singapore

Modèle

Entrée de base (TPM)

Sortie de base (TPM)

Prix unitaire d'entrée (USD/kTPM·mois)

Prix unitaire de sortie (USD/kTPM·mois)

Prix mensuel (USD)

qwen3.7-plus-2026-05-26

1,192,000

148,000

37

295

87,764

1,372,000

170,000

32

257

87,594

660,000

124,000

66

352

87,208

704,000

132,000

62

331

87,340

Les données de référence de performance pour chaque modèle sous charge de travail standard sont présentées dans le tableau ci-dessous, sous réserve de l'affichage réel de la console.
Les données de référence de performance suivantes ont été mesurées avec un taux de réussite du cache de 0%. Dans l'utilisation réelle, à mesure que le taux de réussite du cache augmente, les performances du modèle s'améliorent en conséquence.

Modèle

Longueur d'entrée

Longueur de sortie

Taux de réussite du cache

Latence du premier token (ms)

Latence par token (ms)

qwen3.7-plus-2026-05-26

16,000

2,000

0

888

10

16,000

2,000

0

2,418

15

2,600

500

0

819

14

2,600

500

0

970

13

Parmi ceux-ci, qwen3.8-27b nécessite actuellement un accès sur liste blanche, tandis que les autres modèles sont disponibles sur le site officiel de Singapore.

Création du déploiement

  • Création de déploiement DTU
  • Configuration de déploiement MU
Avant d'utiliser le DTU, activez la fonctionnalité DTU dans la console et demandez un quota de ressources. Une fois activée, sélectionnez le modèle cible sur la page Dedicated Deployment de la console Bailian et choisissez DTU comme méthode de facturation pour créer un déploiement.
Le déploiement DTU ne prend actuellement pas en charge la création et la gestion via API. Veuillez effectuer l'activation, la création, la mise à l'échelle et le renouvellement dans la console Bailian.
Pour le flux de travail de base du déploiement de modèle général, voir Présentation du Dedicated Deployment dédié.Les champs du formulaire pour créer un déploiement sont présentés dans le tableau ci-dessous.

Paramètre

Description

Obligatoire

Description de la valeur

Service Name

Nom du service de déploiement

Oui

Personnalisé

Model

Modèle cible à déployer

Oui

Sélection dans la liste déroulante

Deployment Template

Architecture de déploiement

Non

Sélection dans la liste déroulante, premier élément par défaut

Payment Type

Mode de facturation

Oui

Prépayé (mensuel)

Input Throughput Quota

Capacité TPM d'entrée achetée

Oui

Multiple entier du TPM d'entrée de base (kTPM)

Output Throughput Quota

Capacité TPM de sortie achetée

Oui

Multiple entier du TPM de sortie de base (kTPM)

Purchase Duration

Durée d'achat

Oui

1-12 (entier, mois)

Auto Renewal

Renouvellement automatique à l'échéance

Non

Activé/Désactivé

Single Renewal Duration

Obligatoire lorsque le renouvellement automatique est activé

Oui

1-12 (entier, mois)

Planification de la capacité

Le DTU est vendu par TPM d'entrée/sortie ; le TPM acheté définit le nombre maximum de tokens traitables par minute. La planification de la capacité vise à déterminer le multiple d'achat à partir de la demande de tokens de pointe de votre activité, puis à vérifier par des tests de charge que la concurrence réellement soutenable et la latence répondent aux exigences. Les références de TPM d'entrée/sortie de base et de performance sous charge de travail standard pour chaque modèle figurent dans les tableaux ci-dessus. Utiliser un outil de test de charge tel qu'evalscope pour tester votre scénario métier réel (longueur d'entrée/sortie, concurrence, exigences de latence), puis déterminer le multiple d'achat en fonction du tableau tarifaire.

Méthode de planification de la capacité

  1. Profiler les métriques de pointe de l'activité : longueur typique des tokens d'entrée/sortie des requêtes, concurrence cible, et exigences pour la latence du premier token (TTFT) et la latence de génération par token (TPOT).
  2. Estimer la demande de débit de pointe : TPM d'entrée de pointe ≈ concurrence × longueur d'entrée par requête ÷ temps de traitement par requête (minutes) ; TPM de sortie de pointe ≈ concurrence × longueur de sortie par requête ÷ temps de génération par requête (minutes).
  3. Calculer le multiple d'achat : multiple d'entrée = ⌈TPM d'entrée de pointe ÷ TPM d'entrée de base⌉, multiple de sortie = ⌈TPM de sortie de pointe ÷ TPM de sortie de base⌉. Le DTU exige que l'entrée et la sortie soient mises à l'échelle ensemble, prenez donc le plus grand des deux comme multiple final.
  4. Vérifier avec des tests de charge : après avoir acheté le multiple calculé, re-tester avec evalscope sous la charge de travail cible pour confirmer que le débit réel et la latence répondent aux exigences métier. Si la latence est élevée, augmentez la concurrence dans la marge de TPM pour améliorer le débit effectif.
Si les exigences de latence ne sont pas strictes, vous pouvez augmenter la concurrence — dans la limite du plafond de TPM acheté — pour accroître le débit réel. Exemple d'estimation métier : Pour un modèle avec une entrée de base de 656K TPM et une sortie de base de 82K TPM : le profilage du pic d'activité indique un pic d'entrée d'environ 1,300K TPM et un pic de sortie d'environ 160K TPM. Calcul des multiples : entrée ⌈1300÷656⌉=2, sortie ⌈160÷82⌉=2 ; prendre le plus grand (2×), en achetant 1,312K TPM d'entrée (656K×2) + 164K TPM de sortie (82K×2). Effectuer ensuite un test de charge avec evalscope à la charge de travail maximale pour confirmer que la latence est conforme. Si le volume d'activité double (pic d'entrée ~2,600K, sortie ~320K), les multiples deviennent : entrée ⌈2600÷656⌉=4, sortie ⌈320÷82⌉=4 ; acheter 4× : 2,624K TPM d'entrée (656K×4) + 328K TPM de sortie (82K×4), et tester à nouveau. Formule d'estimation :
Purchase multiple = max(⌈peak input TPM ÷ baseline input TPM⌉, ⌈peak output TPM ÷ baseline output TPM⌉)

Mise à l'échelle et renouvellement/résiliation

  • Mise à l'échelle et renouvellement/résiliation DTU
  • Mise à l'échelle et renouvellement MU
La liste des déploiements affiche les quotas TPM d'entrée/sortie achetés ; la page de détails affiche les détails de la capacité TPM.Mise à l'échelle : Cliquez sur « Scale » dans la liste des déploiements pour modifier la capacité TPM d'entrée/sortie. La montée en charge affiche le montant supplémentaire dû ; la descente en charge affiche le remboursement estimé. Les entrées et les sorties doivent être augmentées ou diminuées ensemble ; il n'est pas possible d'augmenter l'une tout en diminuant l'autre. Seuls les déploiements en cours d'exécution peuvent faire l'objet d'opérations.Renouvellement : Les déploiements mensuels prépayés peuvent être renouvelés à leur expiration. Le bouton de renouvellement sur la page de détails lance le processus de renouvellement, prenant en charge une option de renouvellement automatique et une durée de renouvellement unique.Résiliation : Les commandes mensuelles prépayées prennent en charge la résiliation anticipée ; la partie utilisée est réglée avec un coefficient de 1.2x pour le remboursement. Pour plus de détails, voir Règles de remboursement pour les rétrogradations de configuration. La résiliation est irréversible ; après la résiliation, les ressources dédiées sont libérées et le service s'arrête.

FAQ

Quelle est la différence entre le déploiement DTU et la facturation Token à l'usage ? La facturation Token à l'usage facture selon la consommation de tokens sur un pool de ressources partagé ; le DTU utilise des ressources GPU dédiées et facture selon les TPM d'entrée/sortie, adapté aux scénarios nécessitant un débit stable et un déploiement dédié. Quelles méthodes de facturation sont prises en charge pour le déploiement DTU ? Seule la facturation prépayée (mensuelle) est prise en charge. Comment consulter l'utilisation des TPM achetés ? Vous pouvez consulter les quotas TPM d'entrée/sortie achetés dans la liste des déploiements et sur la page de détails du Dedicated Deployment dans la console Bailian. Voir Présentation du Dedicated Deploymentdédié.