Skip to main content

Penerapan throughput yang disediakan PTU

Topik ini menjelaskan kemampuan input panjang dan prefix cache penerapan PTU (Provisioned Throughput), termasuk aturan konsumsi kuota, cara menggunakan Provisioned Throughput Quota Calculator, serta deskripsi bidang respons API.

Ikhtisar

PTU (Provisioned Throughput Unit) adalah metode penerapan model yang memesan sumber daya platform untuk menjamin kapasitas throughput TPM tertentu; dalam kuota yang dijamin tidak diterapkan pembatasan laju. Cocok untuk lingkungan produksi dengan throughput tinggi, kinerja tinggi, dan beban tinggi, menyediakan kapasitas throughput yang stabil, latensi lebih rendah, dan kepastian sumber daya yang lebih kuat. Dibandingkan dengan penagihan berbasis token, TPS (token yang dihasilkan per detik) umumnya meningkat sekitar 1,5 hingga 2,0 kali lipat. Kasus penggunaan:
  • Layanan pelanggan cerdas untuk aplikasi perbankan (trafik stabil, memerlukan pengalaman konkuren yang terjamin).
  • Moderasi konten real-time untuk platform sosial (memerlukan pemrosesan tugas pipeline yang dapat diprediksi secara stabil).
  • API terjemahan public cloud (menyediakan jaminan layanan dasar bagi pengguna paket standar).
PTU juga umum digunakan dalam analisis dokumen panjang (kontrak, ringkasan laporan penelitian) dan percakapan multi-putaran (layanan pelanggan, asisten pemrograman) dengan input melebihi 32K token. Saat membuat PTU, Anda dapat memilih strategi overflow: auto-overflow (default, otomatis beralih ke bayar sesuai penggunaan saat kuota terlampaui) atau use-only-PTU-capacity (mengembalikan 429 saat terlampaui). Untuk detailnya, lihat Aturan penagihan. PTU juga mendukung faktor kapasitas bertingkat untuk input panjang dan diskon cache; lihat Input panjang dan prefix caching. Untuk cara kerja prefix caching, lihat Context Cache.

Aturan penagihan

费用 = 使用时长 × (输入 TPM 单价 × 输入 TPM + 输出 TPM 单价 × 输出 TPM) Pascabayar dihitung per jam: satuan durasi penggunaan adalah jam, dan harga satuan diambil dari kolom "Berlanjut 1 jam" dalam tabel di bawah; prabayar dihitung per hari: satuan durasi penggunaan adalah hari, dan harga satuan diambil dari kolom "Berlanjut 1 hari" dalam tabel di bawah.
  • Pesanan prabayar berlaku secara real-time setelah pembayaran, dengan masa berlaku N hari yang berakhir pada pukul 23:59 hari ke-N.
  • Setelah pesanan prabayar kedaluwarsa, layanan akan dihentikan dengan penundaan 2 jam, dan sumber daya akan dipertahankan selama 14 jam setelah penghentian lalu dirilis.
  • Pesanan prabayar mendukung pengakhiran lebih awal; bagian yang telah digunakan diselesaikan dengan koefisien 1,2x untuk pengembalian dana. Untuk detailnya, lihat Aturan pengembalian dana untuk penurunan konfigurasi.
  • Untuk penagihan pascabayar, jika akun mengalami tunggakan, sumber daya yang diterapkan akan terus dipertahankan dan ditagih selama 24 jam, dan selama periode tersebut layanan masih dapat digunakan secara normal. Setelah 24 jam, sistem berhenti menagih, penerapan model memasuki status tunggakan, dan sumber daya yang mendasarinya akan dihapus, tetapi tugas penerapan model tetap dipertahankan. Setelah tunggakan dilunasi, sistem akan mengalokasikan ulang sumber daya dan memulihkan penggunaan (biaya akan terus berjalan setelah pemulihan). Jika Anda tidak ingin terus menimbulkan biaya, Anda dapat menghapus tugas penerapan model, dan penagihan akan berhenti setelah penghapusan berhasil.
Saat input model melebihi token input maksimum, panggilan terkait secara otomatis beralih ke mode bayar sesuai penggunaan model saat ini; saat TPM yang dibeli terlampaui, ditangani sesuai strategi overflow yang dipilih saat pembuatan ("auto-overflow" beralih ke bayar sesuai penggunaan, "use-only-PTU-capacity" mengembalikan 429). Pada saat itu, kinerja inferensi dapat menurun dan tunduk pada kontrol trafik publik model snapshot saat ini di ruang kerja bisnis, serta biaya akan ditagih sesuai standar pemanggilan model (bayar sesuai penggunaan).
  • Dalam kasus ini (hanya di bawah strategi "auto-overflow"), Header respons API akan menyertakan: x-dashscope-ptu-overflow:true.
  • Untuk statistik TPM, buka: Pemantauan model.
Untuk aturan spesifik pengurangan biaya dan pengembalian dana dalam skenario penurunan skala (downgrade), lihat: Aturan pengembalian dana untuk penurunan konfigurasi.
Penerapan PTU mendukung faktor kapasitas bertingkat untuk input panjang dan diskon cache; lihat Input panjang dan prefix caching untuk detailnya.

Model dan harga yang didukung

  • Singapura
  • Tiongkok Utara 2 (Beijing)
  • Qwen
  • DeepSeek
  • Qwen-VL
  • GLM

Nama Model

Kode Model

Token Input Maksimum

Input Pascabayar

Per 10K TPM/jam

Output Pascabayar

Per 1K TPM/jam

Input Prabayar

Per 10K TPM/hari

Output Prabayar

Per 1K TPM/hari

Qwen3.8-Max

qwen3.8-max

1M

$4.8

$1.44

$57.6

$17.28

Qwen3.7-Flash-2026-07-15 Hubungi manajer bisnis Anda untuk mengaktifkan

qwen3.7-flash-2026-07-15

128K

$0.072

$0.031

$0.864

$0.374

Qwen3.7-Max-2026-05-20

qwen3.7-max-2026-05-20

256K

$1.92

$1.8

$72

$21.6

Qwen3.7-Plus-2026-05-26

qwen3.7-plus-2026-05-26

256K

$0.96

$0.384

$11.52

$4.608

Qwen3.6-Plus-2026-04-02

qwen3.6-plus-2026-04-02

128K

$1.2

$0.72

$14.4

$8.64

Qwen3.5-Plus-2026-04-20

qwen3.5-plus-2026-04-20

128K

$0.96

$0.576

$11.52

$6.912

Input panjang dan prefix caching

Faktor bertingkat untuk input panjang dan diskon cache bervariasi tergantung model. Tabel berikut mencantumkan parameter untuk model yang saat ini didukung:

Model

Tipe

Panjang input maksimum

Diskon cache

Faktor kapasitas bertingkat input panjang

glm-5.2

PTU

(0, 1M)

0,25

1

qwen3.8-flash

PTU

(0, 1M)

0,125

1

qwen3.8-max

PTU

(0, 1M)

0,125

1

qwen3.7-flash-2026-07-15

PTU

(0, 1M)

0,2

Sama untuk input dan output
(0, 32K] 1x
(32K, 256K] 3x
(256K, 1M] 6x

deepseek-v4-flash-0731

PTU

(0, 1M)

0,1

1

qwen3.7-plus-2026-05-26

PTU

PTU

1 Juta

0,2 (bagian yang mengenai cache dihitung pada 20% kapasitas)

glm-5.1

PTU

PTU

200K

0,2 (bagian yang mengenai cache dihitung pada 20% kapasitas)

deepseek-v4-pro

PTU

PTU

256K

0,08 (bagian yang mengenai cache dihitung pada 8% kapasitas)

Model lainnya

PTU

PTU

Mengacu pada konsol

Mengacu pada konsol

Contoh perhitungan (menggunakan glm-5.1)

场景 1:短输入(10K token,无缓存)
  输入消耗:10K × 1.0 = 10KTPM

场景 2:长输入(50K token,无缓存)
  输入消耗:32K × 1.0 + 18K × 1.33 = 55.94 KTPM
  输出消耗(假设 1K token):1K × 1.17 = 1.17 KTPM

场景 3:长输入 + 缓存命中(50K token,前 30K 命中缓存)
  缓存部分输入(前 30K,均在 [0,32K) 阶梯内):
    30K × 1.0 × 0.2 = 6  KTPM
  非缓存部分输入(后 20K):
    2K × 1.0 + 18K × 1.33 = 25.94 KTPM
  输入合计 = 31.940 KTPM(比无缓存节省 43%)

Kalkulator Kuota Provisioned Throughput

Gunakan kalkulator ini sebelum membuat atau melakukan penskalaan penerapan untuk mengevaluasi kebutuhan kuota dalam skenario input panjang. Hal ini membantu mencegah permintaan beralih ke penagihan bayar sesuai penggunaan karena kuota yang tidak mencukupi. Untuk batas pembelian aktual, mengacu pada konsol.
Prasyarat: Anda telah mengaktifkan Model Studio dan memiliki izin penerapan PTU. Masuk ke konsol Model Studio, buka halaman Dedicated Deployment > Deploy New Model (atau klik Scale Up pada halaman detail penerapan yang ada), pilih model PTU (Provisioned Throughput) yang dapat diterapkan, lalu luaskan Provisioned Throughput Quota Calculator.
image
Provisioned Throughput Quota Calculator otomatis merekomendasikan kuota KTPM berdasarkan beban kerja Anda. Isi parameter berikut, dan kalkulator akan menghasilkan KTPM input dan KTPM output yang direkomendasikan.

Parameter

Deskripsi

Dampak terhadap hasil

Permintaan per menit (RPM)

Jumlah permintaan per menit selama jam sibuk bisnis.

Semakin besar RPM, semakin tinggi KTPM input dan output yang direkomendasikan secara proporsional.

Panjang input rata-rata (token)

Rata-rata jumlah token input per permintaan.

Semakin panjang input, semakin tinggi tingkatan dan koefisiennya, serta semakin tinggi KTPM input yang direkomendasikan. Batas tingkatan bervariasi tergantung model; untuk nilai aktual, mengacu pada konsol.

Panjang output rata-rata (token)

Rata-rata jumlah token output per permintaan.

Semakin panjang output, semakin tinggi kemungkinan koefisien, dan semakin tinggi KTPM output yang direkomendasikan.

Tingkat hit cache (%)

Persentase token awalan permintaan yang mengenai cache. Tingkat hit aktual bergantung pada pengulangan konten permintaan; mengacu pada hasil runtime aktual.

Tingkat hit yang lebih tinggi memperlambat konsumsi kuota input, sehingga menurunkan KTPM input yang direkomendasikan. Hanya memengaruhi KTPM input, bukan KTPM output.

Bidang respons API

Respons API untuk penerapan PTU mencakup bidang terkait kuota berikut yang mengidentifikasi metode penagihan dan konsumsi kuota:

Bidang

Tipe

Deskripsi

service_tier

String

Bidang respons tingkat atas (konsisten di semua format API). Nilai ptu-standard menunjukkan bahwa kuota PTU digunakan. Nilai default atau tidak dikembalikan menunjukkan penagihan bayar sesuai penggunaan.

provisioned_tokens

Integer

Token kuota PTU aktual yang dikonsumsi setelah konversi (mencakup faktor bertingkat dan diskon cache).

cached_tokens

Integer

Jumlah token yang mengenai prefix cache. Untuk detailnya, lihat Context Cache.

Jalur JSON untuk bidang-bidang ini berbeda tergantung format API:
  • Kompatibel OpenAI Chat
  • Respons OpenAI
  • Kompatibel Anthropic
  • DashScope

Bidang

Jalur JSON

Deskripsi

cached_tokens

usage.prompt_tokens_details.cached_tokens

Jumlah token cache di sisi input

provisioned_tokens

usage.prompt_tokens_details.provisioned_tokens

Konsumsi kuota PTU di sisi input

provisioned_tokens

usage.completion_tokens_details.provisioned_tokens

Konsumsi kuota PTU di sisi output

Untuk definisi bidang yang lengkap dan rentang nilainya, lihat Referensi API.

Pemantauan dan verifikasi

Anda dapat memantau penerapan PTU melalui fitur pemantauan model di platform Model Studio. Metrik berikut relevan dengan input panjang dan caching:
  • Pemanfaatan PTU: Tiga kurva independen untuk input, output, dan output mode thinking. Dalam skenario input panjang, faktor bertingkat dapat menyebabkan pemanfaatan melebihi 100%. Hal ini merupakan perilaku yang diharapkan.
  • Penggunaan token dan hit cache: Mencakup deret data cached_tokens untuk menunjukkan proporsi hit cache terhadap total input.
  • Jumlah panggilan dalam kuota dan luar kuota: Menunjukkan proporsi permintaan yang melebihi kuota PTU (di bawah strategi auto-overflow, permintaan beralih ke penagihan bayar sesuai penggunaan; di bawah strategi use-only-PTU-capacity, kesalahan 429 dikembalikan).
Untuk metrik dan petunjuk pemantauan selengkapnya, lihat Pemantauan model.

Penskalaan

Klik tombol Scaling untuk menyesuaikan throughput (jumlah instans) secara mandiri dan manual. Untuk aturan terperinci pengurangan biaya dan pengembalian dana, lihat: Aturan pengembalian dana untuk penurunan konfigurasi.

FAQ

Tergantung pada strategi overflow yang dipilih saat pembuatan: di bawah strategi "auto-overflow", permintaan secara otomatis beralih ke penagihan bayar sesuai penggunaan, bidang service_tier dalam respons API tidak dikembalikan atau bernilai default, dan header respons menyertakan x-dashscope-ptu-overflow:true, sehingga layanan tidak terputus; di bawah strategi "use-only-PTU-capacity", permintaan yang melebihi kuota mengembalikan kesalahan 429 dan tidak ada biaya tambahan yang ditagihkan.
Model seri Qwen memiliki batas input 128K token, dan model seri DeepSeek memiliki batas 64K token. Permintaan yang melebihi batas juga secara otomatis beralih ke penagihan bayar sesuai penggunaan.
Periksa bidang cached_tokens dalam respons API. Nilai lebih dari 0 menunjukkan terjadinya hit prefix cache. Token yang mengenai cache mengonsumsi kuota dengan koefisien diskon model (untuk tarif diskon spesifik, lihat Input panjang dan prefix caching). Anda juga dapat melihat trennya pada grafik penggunaan token di halaman pemantauan konsol.
Penyebab umum: awalan input tidak konsisten antarpermintaan (misalnya, System Message yang berubah), interval antara dua permintaan melebihi masa berlaku cache, atau jumlah token input terlalu rendah untuk memicu caching. Untuk metode pemecahan masalah dan batasan cache, lihat Context Cache.
Beberapa model (seperti glm-5.1) memiliki faktor bertingkat input panjang yang menyebabkan konsumsi kuota aktual melebihi jumlah token mentah. Pemanfaatan = konsumsi terkonversi ÷ kuota yang dibeli. Melebihi 100% berarti laju konsumsi melebihi kuota yang dibeli, dan kelebihannya ditangani sesuai strategi overflow (auto-overflow beralih ke penagihan bayar sesuai penggunaan tanpa memengaruhi ketersediaan layanan; use-only-PTU-capacity mengembalikan 429).