A implantação de computação dedicada oferece dois planos: Dedicated Throughput Unit (DTU) e Model Unit (MU), fornecendo recursos dedicados de GPU para modelos especificados. O DTU destina-se a modelos recém-lançados (cobrado por TPM de entrada/saída x duração); o MU é usado para modelos existentes (cobrado por quantidade de unidades de modelo x duração). Este documento apresenta os recursos, cobrança, fluxo de uso e modelos suportados de ambos os planos.
Visão geral
A implantação de computação dedicada fornece recursos de GPU dedicados e garantias de desempenho para modelos especificados, suportando a implantação de modelos base e personalizados. O Bailian oferece dois planos de computação dedicada:
- DTU (Dedicated Throughput Unit): Vendido por TPM de Entrada/Saída, fornecendo garantias de taxa de transferência mais diretas. Serviço de inferência totalmente gerenciado com recursos de GPU subjacentes dedicados mantidos pela plataforma.
- Model Unit (MU): Configura o poder de computação por duração de uso e contagem de unidades de modelo, com recursos dedicados. Suporta métricas de desempenho personalizadas e modo de desagregação PD. A granularidade de cobrança é contagem de unidades de modelo x duração.
- Recursos de GPU dedicados; o ambiente de inferência é fisicamente isolado de outros usuários.
- Suporta modelos base e modelos personalizados (modelos com ajuste fino do Bailian ou modelos carregados pelo usuário).
- A plataforma mantém as operações subjacentes, não havendo necessidade de gerenciar GPUs.
- Sem limites proativos de RPM/TPM; o tráfego é limitado pela capacidade real.
Seleção de solução
O Bailian oferece vários planos de capacidade e cobrança para chamadas de inferência. O DTU é adequado para cenários que exigem implantação dedicada, implantação de modelos com ajuste fino, baixa latência com alta simultaneidade ou isolamento de dados. Os planos são comparados na tabela abaixo.
Para uma comparação completa de todos os métodos de cobrança, incluindo Token pay-as-you-go e PTU, consulte a tabela principal da Visão geral de Implantação Dedicada.
Dimensão de comparação | DTU | PTU | Token Pago conforme o uso | PAI/Lingjun |
|---|---|---|---|---|
Recurso | Computação dedicada + modelos ajustados | Garantia de taxa de transferência + baixa latência | Elástico e sem limite mínimo | Runtime personalizado |
Isolamento de recursos | Isolamento físico | Isolamento lógico | Pool compartilhado | Isolamento físico |
Modelos ajustados | Parâmetro completo + LoRA | Não suportado | LoRA | Suportado |
Framework personalizado | Não suportado | Não suportado | Não suportado | Suportado |
Modo de cobrança | Cota de TPM × duração | Cota de TPM × duração | Uso de tokens | GPU × duração |
Regras de cobrança
- Cobrança DTU
- Cobrança MU
Modelos suportados e preços
- Preços e benchmarks de desempenho DTU
- Preços MU
- Singapore
Modelo | Entrada base (TPM) | Saída base (TPM) | Preço unitário de entrada (USD/kTPM·mês) | Preço unitário de saída (USD/kTPM·mês) | Preço mensal (USD) |
|---|---|---|---|---|---|
qwen3.7-plus-2026-05-26 | 1,192,000 | 148,000 | 37 | 295 | 87,764 |
1,372,000 | 170,000 | 32 | 257 | 87,594 | |
660,000 | 124,000 | 66 | 352 | 87,208 | |
704,000 | 132,000 | 62 | 331 | 87,340 |
Os seguintes dados de referência de desempenho foram medidos com uma taxa de acerto de cache de 0%. No uso real, à medida que a taxa de acerto de cache aumenta, o desempenho do modelo melhora proporcionalmente.
Modelo | Comprimento de entrada | Comprimento de saída | Taxa de acerto de cache | Latência do primeiro token (ms) | Latência por token (ms) |
|---|---|---|---|---|---|
qwen3.7-plus-2026-05-26 | 16,000 | 2,000 | 0 | 888 | 10 |
16,000 | 2,000 | 0 | 2,418 | 15 | |
2,600 | 500 | 0 | 819 | 14 | |
2,600 | 500 | 0 | 970 | 13 |
Criação de implantação
- Criação de implantação DTU
- Configuração de implantação MU
Parâmetro | Descrição | Obrigatório | Descrição do valor |
|---|---|---|---|
Service Name | Nome do serviço de implantação | Sim | Personalizado |
Model | Modelo alvo para implantação | Sim | Seleção suspensa |
Deployment Template | Arquitetura de implantação | Não | Seleção suspensa, padrão para o primeiro |
Payment Type | Método de cobrança | Sim | Pré-pago (mensal) |
Input Throughput Quota | Capacidade de TPM de entrada adquirida | Sim | Múltiplo inteiro do TPM de entrada base (kTPM) |
Output Throughput Quota | Capacidade de TPM de saída adquirida | Sim | Múltiplo inteiro do TPM de saída base (kTPM) |
Purchase Duration | Período de compra | Sim | 1-12 (inteiro, meses) |
Auto Renewal | Renovação automática ao expirar | Não | Ligado/Desligado |
Single Renewal Duration | Necessário quando a renovação automática está ativada | Sim | 1-12 (inteiro, meses) |
Planejamento de capacidade
O DTU é vendido por TPM de entrada/saída; o TPM adquirido define o máximo de tokens processáveis por minuto. O planejamento de capacidade visa derivar o múltiplo de compra a partir da demanda de pico de tokens do seu negócio e, em seguida, verificar através de testes de carga se a simultaneidade e a latência realmente sustentáveis atendem aos requisitos. As referências de TPM de entrada/saída base e desempenho sob carga de trabalho padrão para cada modelo estão nas tabelas acima.
Use uma ferramenta de teste de carga como evalscope para testar seu cenário real de negócios (comprimento de entrada/saída, simultaneidade, requisitos de latência) e, em seguida, determine o múltiplo de compra com base na tabela de preços.
Método de planejamento de capacidade
- Analise as métricas de pico de negócios: comprimento típico de tokens de entrada/saída da solicitação, simultaneidade alvo e requisitos para latência do primeiro token (TTFT) e latência de geração por token (TPOT).
- Estime a demanda de pico de taxa de transferência: pico de TPM de entrada ≈ simultaneidade × comprimento de entrada por solicitação ÷ tempo de processamento por solicitação (minutos); pico de TPM de saída ≈ simultaneidade × comprimento de saída por solicitação ÷ tempo de geração por solicitação (minutos).
- Calcule o múltiplo de compra: múltiplo de entrada = ⌈pico de TPM de entrada ÷ TPM de entrada base⌉, múltiplo de saída = ⌈pico de TPM de saída ÷ TPM de saída base⌉. O DTU exige que entrada e saída escalem juntos, portanto, considere o maior dos dois como o múltiplo final.
- Verifique com testes de carga: após adquirir o múltiplo calculado, teste novamente com evalscope sob a carga de trabalho alvo para confirmar se a taxa de transferência e a latência reais atendem aos requisitos de negócios. Se a latência for alta, aumente a simultaneidade dentro da margem de TPM para melhorar a taxa de transferência efetiva.
Dimensionamento e renovação/cancelamento
- Escalonamento e renovação/cancelamento DTU
- Escalonamento e renovação MU