Le déploiement de calcul dédié propose deux formules : Dedicated Throughput Unit (DTU) et Model Unit (MU), fournissant des ressources GPU dédiées pour des modèles spécifiés. La formule DTU cible les modèles nouvellement publiés (facturés par TPM d'entrée/sortie x durée) ; la formule MU est utilisée pour les modèles existants (facturée par nombre d'unités de modèle x durée). Ce document présente les fonctionnalités, la facturation, le flux d'utilisation et les modèles pris en charge pour ces deux formules.
Vue d'ensemble
Le déploiement de calcul dédié fournit des ressources GPU dédiées et des garanties de performance pour des modèles spécifiés, prenant en charge le déploiement de modèles de base et personnalisés. Bailian propose deux plans de calcul dédié :
- DTU (Dedicated Throughput Unit) : Vendu par TPM d'entrée/sortie, offrant des garanties de débit plus directes. Service d'inférence entièrement géré avec des ressources GPU sous-jacentes dédiées maintenues par la plateforme.
- Model Unit (MU) : Configure la puissance de calcul par durée d'utilisation et nombre d'unités de modèle, avec des ressources dédiées. Prend en charge les métriques de performance personnalisées et le mode de désagrégation PD. La granularité de facturation est le nombre d'unités de modèle x la durée.
- Ressources GPU dédiées ; l'environnement d'inférence est physiquement isolé des autres utilisateurs.
- Prend en charge les modèles de base et les modèles personnalisés (modèles affinés Bailian ou modèles téléchargés par l'utilisateur).
- La plateforme assure la maintenance des opérations sous-jacentes, il n'est pas nécessaire de gérer les GPU.
- Aucune limite proactive de RPM/TPM ; le trafic est limité par la capacité réelle.
Sélection de la solution
Bailian propose plusieurs plans de capacité et de facturation pour les appels d'inférence. Le DTU convient aux scénarios nécessitant un déploiement dédié, le déploiement de modèles affinés, une faible latence avec une concurrence élevée, ou l'isolation des données. Les plans sont comparés dans le tableau ci-dessous.
Pour une comparaison complète de toutes les méthodes de facturation, y compris Token à l'usage et PTU, consultez le tableau principal de la Présentation du déploiement dédié.
Dimension de comparaison | DTU | PTU | Token à la demande | PAI/Lingjun |
|---|---|---|---|---|
Fonctionnalité | Calcul dédié + modèles affinés | Garantie de débit + faible latence | Élastique et sans seuil | Runtime personnalisé |
Isolation des ressources | Isolation physique | Isolation logique | Pool partagé | Isolation physique |
Modèles affinés | Paramètres complets + LoRA | Non pris en charge | LoRA | Pris en charge |
Framework personnalisé | Non pris en charge | Non pris en charge | Non pris en charge | Pris en charge |
Mode de facturation | Quota TPM × durée | Quota TPM × durée | Utilisation des tokens | GPU × durée |
Règles de facturation
- Facturation DTU
- Facturation MU
Modèles pris en charge et tarification
- Tarification DTU et benchmarks de performance
- Tarification MU
- Singapore
Modèle | Entrée de base (TPM) | Sortie de base (TPM) | Prix unitaire d'entrée (USD/kTPM·mois) | Prix unitaire de sortie (USD/kTPM·mois) | Prix mensuel (USD) |
|---|---|---|---|---|---|
qwen3.7-plus-2026-05-26 | 1,192,000 | 148,000 | 37 | 295 | 87,764 |
1,372,000 | 170,000 | 32 | 257 | 87,594 | |
660,000 | 124,000 | 66 | 352 | 87,208 | |
704,000 | 132,000 | 62 | 331 | 87,340 |
Les données de référence de performance suivantes ont été mesurées avec un taux de réussite du cache de 0%. Dans l'utilisation réelle, à mesure que le taux de réussite du cache augmente, les performances du modèle s'améliorent en conséquence.
Modèle | Longueur d'entrée | Longueur de sortie | Taux de réussite du cache | Latence du premier token (ms) | Latence par token (ms) |
|---|---|---|---|---|---|
qwen3.7-plus-2026-05-26 | 16,000 | 2,000 | 0 | 888 | 10 |
16,000 | 2,000 | 0 | 2,418 | 15 | |
2,600 | 500 | 0 | 819 | 14 | |
2,600 | 500 | 0 | 970 | 13 |
Création du déploiement
- Création de déploiement DTU
- Configuration de déploiement MU
Paramètre | Description | Obligatoire | Description de la valeur |
|---|---|---|---|
Service Name | Nom du service de déploiement | Oui | Personnalisé |
Model | Modèle cible à déployer | Oui | Sélection dans la liste déroulante |
Deployment Template | Architecture de déploiement | Non | Sélection dans la liste déroulante, premier élément par défaut |
Payment Type | Mode de facturation | Oui | Prépayé (mensuel) |
Input Throughput Quota | Capacité TPM d'entrée achetée | Oui | Multiple entier du TPM d'entrée de base (kTPM) |
Output Throughput Quota | Capacité TPM de sortie achetée | Oui | Multiple entier du TPM de sortie de base (kTPM) |
Purchase Duration | Durée d'achat | Oui | 1-12 (entier, mois) |
Auto Renewal | Renouvellement automatique à l'échéance | Non | Activé/Désactivé |
Single Renewal Duration | Obligatoire lorsque le renouvellement automatique est activé | Oui | 1-12 (entier, mois) |
Planification de la capacité
Le DTU est vendu par TPM d'entrée/sortie ; le TPM acheté définit le nombre maximum de tokens traitables par minute. La planification de la capacité vise à déterminer le multiple d'achat à partir de la demande de tokens de pointe de votre activité, puis à vérifier par des tests de charge que la concurrence réellement soutenable et la latence répondent aux exigences. Les références de TPM d'entrée/sortie de base et de performance sous charge de travail standard pour chaque modèle figurent dans les tableaux ci-dessus.
Utiliser un outil de test de charge tel qu'evalscope pour tester votre scénario métier réel (longueur d'entrée/sortie, concurrence, exigences de latence), puis déterminer le multiple d'achat en fonction du tableau tarifaire.
Méthode de planification de la capacité
- Profiler les métriques de pointe de l'activité : longueur typique des tokens d'entrée/sortie des requêtes, concurrence cible, et exigences pour la latence du premier token (TTFT) et la latence de génération par token (TPOT).
- Estimer la demande de débit de pointe : TPM d'entrée de pointe ≈ concurrence × longueur d'entrée par requête ÷ temps de traitement par requête (minutes) ; TPM de sortie de pointe ≈ concurrence × longueur de sortie par requête ÷ temps de génération par requête (minutes).
- Calculer le multiple d'achat : multiple d'entrée = ⌈TPM d'entrée de pointe ÷ TPM d'entrée de base⌉, multiple de sortie = ⌈TPM de sortie de pointe ÷ TPM de sortie de base⌉. Le DTU exige que l'entrée et la sortie soient mises à l'échelle ensemble, prenez donc le plus grand des deux comme multiple final.
- Vérifier avec des tests de charge : après avoir acheté le multiple calculé, re-tester avec evalscope sous la charge de travail cible pour confirmer que le débit réel et la latence répondent aux exigences métier. Si la latence est élevée, augmentez la concurrence dans la marge de TPM pour améliorer le débit effectif.
Mise à l'échelle et renouvellement/résiliation
- Mise à l'échelle et renouvellement/résiliation DTU
- Mise à l'échelle et renouvellement MU