Skip to main content

Implantação de throughput provisionado PTU

Este tópico descreve os recursos de entrada longa e cache de prefixo das implantações PTU (Provisioned Throughput), incluindo regras de consumo de cota, como usar a calculadora de cota de throughput provisionado (Provisioned Throughput Quota Calculator) e as descrições dos campos de resposta da API.

Visão geral

O PTU (Provisioned Throughput Unit) é um método de implantação de modelo que reserva recursos da plataforma para garantir uma capacidade de throughput TPM específica; nenhuma limitação de taxa se aplica dentro da cota garantida. Ele é adequado para ambientes de produção de alto throughput, alto desempenho e alta carga, fornecendo capacidade de throughput estável, menor latência e maior certeza de recursos. Em comparação com o faturamento baseado em tokens, o TPS (tokens gerados por segundo) normalmente aumenta cerca de 1,5 a 2,0 vezes. Casos de uso:
  • Atendimento inteligente ao cliente para aplicativos bancários (tráfego estável, exige experiência simultânea garantida).
  • Moderação de conteúdo em tempo real para plataformas sociais (exige processamento estável de tarefas de pipeline previsíveis).
  • API de tradução em nuvem pública (fornece garantias de serviço básicas para usuários de pacote padrão).
Também é comumente usado em análise de documentos longos (contratos, resumos de relatórios de pesquisa) e conversas de múltiplos turnos (atendimento ao cliente, assistentes de codificação) nas quais a entrada excede 32 mil tokens. Ao criar um PTU, é possível selecionar uma estratégia de overflow: auto-overflow (padrão, alterna automaticamente para pagamento conforme o uso quando a cota é excedida) ou use-only-PTU-capacity (retorna 429 quando excedida). Para obter detalhes, consulte Regras de faturamento. O PTU também oferece suporte a coeficientes de capacidade em camadas para entrada longa e descontos de cache; consulte Entrada longa e cache de prefixo. Para saber como funciona o cache de prefixo, consulte Context Cache.

Regras de faturamento

费用 = 使用时长 × (输入 TPM 单价 × 输入 TPM + 输出 TPM 单价 × 输出 TPM) No modo pós-pago, o cálculo é feito por hora: a unidade de duração de uso é a hora e o preço unitário é obtido da coluna "1 hora contínua" da tabela abaixo; no modo pré-pago, o cálculo é feito por dia: a unidade de duração de uso é o dia e o preço unitário é obtido da coluna "1 dia contínuo" da tabela abaixo.
  • Pedidos pré-pagos entram em vigor em tempo real após o pagamento, com período de validade de N dias terminando às 23:59 do dia N.
  • Após a expiração de um pedido pré-pago, o serviço será interrompido com um atraso de 2 horas, e os recursos serão retidos por 14 horas após a interrupção e então liberados.
  • Pedidos pré-pagos oferecem suporte ao encerramento antecipado; a parte utilizada é liquidada com um coeficiente de 1,2x para fins de reembolso. Para obter detalhes, consulte Regras de reembolso para downgrades de configuração.
  • No faturamento pós-pago, se a conta estiver em atraso, os recursos implantados continuarão a ser retidos e cobrados por 24 horas, período durante o qual o serviço ainda poderá ser usado normalmente. Após 24 horas, o sistema interrompe a cobrança, a implantação do modelo entra em estado de inadimplência e os recursos subjacentes serão excluídos, mas a tarefa de implantação do modelo será retida. Após o pagamento do atraso, o sistema realocará os recursos e restaurará o uso (as taxas continuarão a acumular após a restauração). Se você não quiser continuar incorrendo em taxas, é possível excluir a tarefa de implantação do modelo, e a cobrança será interrompida após a exclusão bem-sucedida.
Quando a entrada do modelo excede o token de entrada máximo, a chamada relevante alterna automaticamente para o modo de pagamento conforme o uso do modelo atual; quando o TPM adquirido é excedido, o tratamento é feito de acordo com a estratégia de overflow selecionada na criação ("auto-overflow" alterna para pagamento conforme o uso; "use-only-PTU-capacity" retorna 429). Nesse caso, o desempenho de inferência pode degradar e ficará sujeito ao controle de tráfego público do modelo de snapshot atual no espaço de negócios, e as taxas serão cobradas conforme o padrão de invocação do modelo (pagamento conforme o uso).
  • Nesse caso (somente na estratégia "auto-overflow"), o cabeçalho da resposta da API incluirá: x-dashscope-ptu-overflow:true.
  • Para as estatísticas de TPM, acesse: Monitoramento de modelos.
Para as regras específicas de redução de taxas e reembolso em cenários de redução de escala (downgrade), consulte: Regras de reembolso para downgrades de configuração.
A implantação PTU oferece suporte a coeficientes de capacidade em camadas para entrada longa e descontos de cache; consulte Entrada longa e cache de prefixo para obter detalhes.

Modelos e preços compatíveis

  • Singapura
  • China Norte 2 (Pequim)
  • Qwen
  • DeepSeek
  • Qwen-VL
  • GLM

Nome do modelo

Código do modelo

Token de entrada máximo

Entrada pós-paga

Por 10K TPM/hora

Saída pós-paga

Por 1K TPM/hora

Entrada pré-paga

Por 10K TPM/dia

Saída pré-paga

Por 1K TPM/dia

Qwen3.8-Max

qwen3.8-max

1M

$4.8

$1.44

$57.6

$17.28

Qwen3.7-Flash-2026-07-15 Entre em contato com seu gerente de negócios para ativar

qwen3.7-flash-2026-07-15

128K

$0.072

$0.031

$0.864

$0.374

Qwen3.7-Max-2026-05-20

qwen3.7-max-2026-05-20

256K

$1.92

$1.8

$72

$21.6

Qwen3.7-Plus-2026-05-26

qwen3.7-plus-2026-05-26

256K

$0.96

$0.384

$11.52

$4.608

Qwen3.6-Plus-2026-04-02

qwen3.6-plus-2026-04-02

128K

$1.2

$0.72

$14.4

$8.64

Qwen3.5-Plus-2026-04-20

qwen3.5-plus-2026-04-20

128K

$0.96

$0.576

$11.52

$6.912

Entrada longa e cache de prefixo

Os coeficientes em camadas para entrada longa e os descontos de cache variam conforme o modelo. A tabela a seguir lista os parâmetros dos modelos compatíveis atualmente:

Modelo

Tipo

Comprimento máximo de entrada

Desconto de cache

Coeficiente em camadas para entrada longa

glm-5.2

PTU

(0, 1M)

0,25

1

qwen3.8-flash

PTU

(0, 1M)

0,125

1

qwen3.8-max

PTU

(0, 1M)

0,125

1

qwen3.7-flash-2026-07-15

PTU

(0, 1M)

0,2

Igual para entrada e saída
(0, 32K] 1x
(32K, 256K] 3x
(256K, 1M] 6x

deepseek-v4-flash-0731

PTU

(0, 1M)

0,1

1

qwen3.7-plus-2026-05-26

PTU

PTU

1 milhão

0,2 (parcela com acerto de cache calculada a 20% da capacidade)

glm-5.1

PTU

PTU

200K

0,2 (parcela com acerto de cache calculada a 20% da capacidade)

deepseek-v4-pro

PTU

PTU

256K

0,08 (parcela com acerto de cache calculada a 8% da capacidade)

Outros modelos

PTU

PTU

Consulte o console

Consulte o console

Exemplos de cálculo (usando glm-5.1)

场景 1:短输入(10K token,无缓存)
  输入消耗:10K × 1.0 = 10KTPM

场景 2:长输入(50K token,无缓存)
  输入消耗:32K × 1.0 + 18K × 1.33 = 55.94 KTPM
  输出消耗(假设 1K token):1K × 1.17 = 1.17 KTPM

场景 3:长输入 + 缓存命中(50K token,前 30K 命中缓存)
  缓存部分输入(前 30K,均在 [0,32K) 阶梯内):
    30K × 1.0 × 0.2 = 6  KTPM
  非缓存部分输入(后 20K):
    2K × 1.0 + 18K × 1.33 = 25.94 KTPM
  输入合计 = 31.940 KTPM(比无缓存节省 43%)

Provisioned Throughput Quota Calculator

Use a calculadora antes de criar ou dimensionar uma implantação para avaliar os requisitos de cota em cenários de entrada longa. Isso ajuda a evitar que solicitações retornem ao faturamento de pagamento conforme o uso devido a cota insuficiente. Consulte o console para verificar os limites reais de compra.
Pré-requisitos: você ativou o Model Studio e possui permissões de implantação PTU. Acesse o console do Model Studio, vá para a página Dedicated Deployment > Deploy New Model (ou clique em Scale Up na página de detalhes de uma implantação existente), selecione um modelo PTU (Provisioned Throughput) implantável e expanda a Provisioned Throughput Quota Calculator.
image
A Provisioned Throughput Quota Calculator recomenda automaticamente a cota de KTPM com base na sua carga de trabalho. Preencha os parâmetros a seguir e a calculadora fornecerá os valores recomendados de KTPM de entrada e KTPM de saída.

Parâmetro

Descrição

Impacto nos resultados

Solicitações por minuto (RPM)

Quantidade de solicitações por minuto durante o pico de negócios.

Quanto maior o RPM, maior será o aumento proporcional dos valores recomendados de KTPM de entrada e saída.

Comprimento médio de entrada (tokens)

Média de tokens de entrada por solicitação.

Entradas mais longas elevam a camada e o coeficiente, aumentando o KTPM de entrada recomendado. Os limites das camadas variam conforme o modelo; consulte o console para os valores reais.

Comprimento médio de saída (tokens)

Média de tokens de saída por solicitação.

Saídas mais extensas podem aumentar o coeficiente aplicável, resultando em um KTPM de saída recomendado mais alto.

Taxa de acerto de cache (%)

Percentual de tokens de prefixo da solicitação que atingem o cache. A taxa real depende da repetição do conteúdo das solicitações; consulte os resultados reais em tempo de execução.

Uma taxa de acerto maior desacelera o consumo da cota de entrada, reduzindo o KTPM de entrada recomendado. Afeta apenas o KTPM de entrada, não o de saída.

Campos de resposta da API

As respostas da API para implantações PTU incluem os seguintes campos relacionados à cota, que identificam o método de faturamento e o consumo de cota:

Campo

Tipo

Descrição

service_tier

String

Campo de resposta de nível superior (consistente em todos os formatos de API). O valor ptu-standard indica uso de cota PTU. O valor default ou a ausência desse campo indica faturamento de pagamento conforme o uso.

provisioned_tokens

Integer

Tokens reais de cota PTU consumidos após a conversão (inclui coeficientes em camadas e descontos de cache).

cached_tokens

Integer

Quantidade de tokens que atingiram o cache de prefixo. Para obter detalhes, consulte Context Cache.

Os caminhos JSON desses campos variam conforme o formato da API:
  • Compatível com OpenAI Chat
  • OpenAI Responses
  • Compatível com Anthropic
  • DashScope

Campo

Caminho JSON

Descrição

cached_tokens

usage.prompt_tokens_details.cached_tokens

Contagem de tokens em cache no lado da entrada

provisioned_tokens

usage.prompt_tokens_details.provisioned_tokens

Consumo de cota PTU no lado da entrada

provisioned_tokens

usage.completion_tokens_details.provisioned_tokens

Consumo de cota PTU no lado da saída

Para obter definições completas dos campos e intervalos de valores, consulte Referência da API.

Monitoramento e verificação

É possível monitorar as implantações PTU por meio do recurso de monitoramento de modelos na plataforma Model Studio. As métricas a seguir são relevantes para entrada longa e cache:
  • Utilização de PTU: três curvas independentes para entrada, saída e saída do modo de raciocínio. Em cenários de entrada longa, os coeficientes em camadas podem fazer a utilização ultrapassar 100%. Esse comportamento é esperado.
  • Uso de tokens e acertos de cache: inclui a série de dados cached_tokens para mostrar a proporção de acertos de cache em relação ao total de entrada.
  • Contagem de chamadas dentro e fora da cota: exibe a proporção de solicitações que excedem a cota PTU (na estratégia de auto-overflow, as solicitações retornam ao faturamento de pagamento conforme o uso; na estratégia use-only-PTU-capacity, erros 429 são retornados).
Para mais métricas de monitoramento e instruções, consulte Monitoramento de modelos.

Dimensionamento

Clique no botão Scaling para ajustar manualmente, por autoatendimento, o throughput (número de instâncias). Para as regras detalhadas de redução de taxas e reembolso, consulte: Regras de reembolso para downgrades de configuração.

Perguntas frequentes

Depende da estratégia de overflow selecionada na criação: na estratégia "auto-overflow", as solicitações retornam automaticamente ao faturamento de pagamento conforme o uso, o campo service_tier na resposta da API não é retornado ou retorna default, e o cabeçalho da resposta inclui x-dashscope-ptu-overflow:true, de modo que o serviço não é interrompido; na estratégia "use-only-PTU-capacity", as solicitações que excedem a cota retornam um erro 429 e nenhuma taxa adicional é cobrada.
Os modelos da série Qwen têm um limite de entrada de 128 mil tokens, e os modelos da série DeepSeek têm um limite de 64 mil tokens. Solicitações que excedem o limite também retornam automaticamente ao faturamento de pagamento conforme o uso.
Verifique o campo cached_tokens na resposta da API. Um valor maior que 0 indica um acerto no cache de prefixo. Tokens com acerto de cache consomem cota pelo coeficiente de desconto do modelo (para as taxas de desconto específicas, consulte Entrada longa e cache de prefixo). Também é possível visualizar tendências no gráfico de uso de tokens na página de monitoramento do console.
Causas comuns: o prefixo de entrada é inconsistente entre as solicitações (por exemplo, a System Message muda), o intervalo entre duas solicitações excede o período de validade do cache ou a contagem de tokens de entrada é muito baixa para acionar o cache. Para métodos de solução de problemas e limites de cache, consulte Context Cache.
Alguns modelos (como o glm-5.1) têm coeficientes em camadas para entrada longa que fazem o consumo real de cota exceder a contagem bruta de tokens. Utilização = consumo convertido ÷ cota adquirida. Ultrapassar 100% significa que a taxa de consumo excede a cota adquirida, e o excedente é tratado de acordo com a estratégia de overflow (auto-overflow retorna ao faturamento de pagamento conforme o uso, sem afetar a disponibilidade do serviço; use-only-PTU-capacity retorna 429).