Skip to main content

Throughput Reservation

Throughput Reservation mengunci kapasitas inferensi khusus untuk model tertentu, memastikan layanan Anda tidak terpengaruh oleh batas laju publik selama jam sibuk bisnis. Topik ini menjelaskan cara membuat, mengintegrasikan, dan mengelola reservasi throughput.

Ikhtisar

Dengan reservasi throughput, Anda dapat mengunci throughput inferensi khusus untuk model tertentu. Panggilan dalam kapasitas terjadwal tidak tunduk pada batas laju kolam sumber daya publik.
  • Jaminan kapasitas: Kapasitas TPM terjadwal dikhususkan untuk workload Anda dan tidak dibagi dengan pengguna lain.
  • Kode model khusus: Setelah membuat reservasi throughput, sistem secara otomatis menghasilkan kode model khusus. Anda harus mengganti parameter model dalam permintaan API Anda dengan kode ini.
  • Strategi overflow: Saat membuat reservasi, Anda dapat memilih cara menangani traffic berlebih—secara otomatis overflow ke pay-as-you-go (default, tanpa gangguan layanan) atau hanya menggunakan kapasitas terjadwal (permintaan berlebih mengembalikan error 429, tanpa biaya tambahan).
  • Paket kapasitas tambahan: Membeli instans kapasitas tambahan di atas reservasi yang sudah ada. Instans baru berbagi kode model khusus yang sama, dan total kapasitas terjadwal meningkat sesuai setelah penambahan. Untuk informasi lebih lanjut, lihat Operasi manajemen.
  • Reservasi jendela waktu 8 jam: Dalam Mode standar, Anda dapat memilih paket prabayar (per jendela waktu 8 jam) dengan durasi tetap 8 jam dan langsung berlaku, cocok untuk skenario dengan beban yang terkonsentrasi pada jendela waktu tertentu. Untuk informasi lebih lanjut, lihat Penagihan reservasi throughput.

Bandingkan dan pilih rencana

Model Studio menawarkan berbagai rencana kapasitas dan penagihan untuk panggilan inferensi, termasuk pay-as-you-go, paket sumber daya dan rencana penghematan, reservasi throughput, serta penerapan khusus PTU. Setiap rencana memiliki karakteristik berbeda terkait unit penagihan, tingkat jaminan kapasitas, penanganan overflow, dan perubahan integrasi. Bagian ini membantu Anda memilih rencana yang sesuai dengan kebutuhan bisnis Anda.

Rencana

Unit penagihan

Jaminan kapasitas

Kasus penggunaan

Penanganan overflow

Perubahan kode

Pay-as-you-go

Per token

Tidak ada (kolam publik bersama)

Traffic sangat bervariasi/jangka pendek

Dilayani secara otomatis, tunduk pada batas laju publik

Tidak perlu perubahan

Paket sumber daya/Rencana penghematan

Kuota prabayar

Diskon penggunaan komitmen (bukan kapasitas khusus)

Optimasi biaya

Traffic berlebih beralih ke pay-as-you-go

Tidak perlu perubahan

Reservasi throughput

Prabayar per kTPM

Kapasitas khusus dengan jaminan kuat

Traffic dapat diprediksi, tidak toleran terhadap pembatasan laju

Opsional: luapan otomatis ke pay-as-you-go (default) / hanya kapasitas terjadwal mengembalikan 429

Ganti parameter model

PTU (Penerapan model)

Prabayar per kTPM

Instans penerapan khusus

Throughput dan performa tinggi

Opsional: auto-overflow ke pay-as-you-go (default) / hanya kapasitas PTU mengembalikan 429

Ganti parameter model

Model yang didukung

Untuk harga, lihat Penagihan reservasi throughput.
  • China (Beijing)
  • Singapura
  • Qwen3.8-Max
  • Qwen3.7-Flash-2026-07-15
  • Qwen3.7-Max-2026-05-20
  • Qwen3.7-Plus-2026-05-26
  • Qwen3.6-Flash-2026-04-16
  • GLM-5.3
  • GLM-5.2
  • DeepSeek-v4.1-Flash
  • DeepSeek-v4-Flash
  • DeepSeek-v4-Flash-0731
  • DeepSeek-v4-Pro
  • DeepSeek-v4-Pro-0813
  • Kimi-K2.6

Catatan penagihan dan penggunaan

Untuk aturan penagihan lengkap, harga, scaling dan pengembalian dana pembatalan langganan, perpanjangan otomatis, konversi kapasitas, dan lainnya, lihat Penagihan reservasi throughput.
  • Penagihan dimulai setelah penerapan berhasil: biaya kapasitas ditagihkan berdasarkan jumlah yang dibeli, dikenakan terlepas dari apakah Anda melakukan panggilan atau tidak, dan tidak dikurangi berdasarkan penggunaan aktual (biaya tetap dikenakan penuh meskipun tidak ada panggilan). Panggilan dalam kapasitas terjadwal tidak dikenakan biaya tambahan; biaya prabayar dibayarkan di muka sekaligus dan berlaku terus-menerus sejak pembelian berhasil. Lihat konsol Bailian untuk biaya aktual.
  • Untuk aturan penagihan dan batasan penjualan reservasi jendela waktu 8 jam (ditagih per jendela waktu 8 jam), lihat Penagihan reservasi throughput.
  • Saat kebijakan overflow diatur ke "Auto overflow", permintaan yang melebihi kuota terdegradasi ke penagihan pay-as-you-go standar tanpa gangguan layanan. Anda dapat melihat jumlah degradasi pada halaman detail di Overflow degradation statistics. Jika diatur ke "Reserved capacity only", permintaan yang melebihi kuota mengembalikan error 429 dan tidak dikenakan biaya tambahan.
  • Dalam 2 jam setelah layanan berakhir, instans masih dapat dipanggil dan diperpanjang; dari 2 hingga 14 jam setelah berakhir, instans dihentikan, tidak dapat dipanggil, tetapi masih dapat diperpanjang; setelah 14 jam, instans dilepas dan tidak dapat dipulihkan. (Berlaku untuk reservasi harian; reservasi jendela waktu 8 jam tidak memenuhi syarat untuk masa tenggang ini. Lihat Penagihan reservasi jendela waktu 8 jam)

Buat reservasi throughput

Prasyarat: layanan model Bailian telah diaktifkan dan ruang kerja telah dibuat. Masuk ke Konsol Bailian dan klik Create throughput reservation.

Di halaman Create throughput reservation, isi parameter seperti nama reservasi, model, siklus penagihan, TPM input, TPM output, durasi pembelian, perpanjangan otomatis saat berakhir, dan kebijakan overflow secara berurutan. Sisi kanan halaman menyediakan kalkulator kapasitas TPM untuk membantu estimasi.

Biaya kapasitas dikenakan terlepas dari apakah Anda melakukan panggilan atau tidak: penagihan dimulai segera setelah reservasi throughput berhasil dibuat, dan biaya kapasitas dikenakan secara penuh berdasarkan jumlah yang dibeli dengan pembayaran di muka sekaligus, bahkan jika Anda tidak melakukan panggilan apa pun. Biaya tidak dikurangi berdasarkan penggunaan aktual. Pastikan Anda memahami aturan penagihan ini sebelum melakukan pembelian.
Kami menyarankan menggunakan kalkulator kapasitas TPM untuk memperkirakan TPM yang dibutuhkan dan mengonfirmasi biaya sebelum melakukan pembelian.
  1. Isi parameter berikut:

    Parameter

    Deskripsi

    Wajib

    Deskripsi nilai

    Nama reservasi

    Nama kustom untuk identifikasi.

    Ya

    ≤ 50 karakter

    Pilih model

    Pilih model yang akan dipesan kapasitasnya. Kode model khusus dihasilkan secara otomatis setelah pengiriman.

    Ya

    Hanya model yang mendukung reservasi throughput yang tersedia; lihat tampilan konsol.

    Mode performa

    Tingkat performa inferensi, menentukan kapasitas throughput satu instans.

    Ya

    Mode standar (TPS sama dengan API standar) / Mode kecepatan tinggi (setara dengan penerapan model PTU, dengan peningkatan TPS 1,5-2x dibandingkan API standar)

    Siklus penagihan

    Siklus penagihan.

    Ya

    Harian; per jendela waktu 8 jam (hanya Mode standar, tetap 8 jam, langsung berlaku; untuk informasi lebih lanjut, lihat Penagihan reservasi throughput)

    TPM input

    Throughput input yang dicadangkan, dalam kTPM (1 kTPM = 1.000 token/menit).

    Ya

    Nilai awal dan langkah bervariasi tergantung model; lihat tampilan konsol.

    TPM output

    Throughput output yang dicadangkan, dalam kTPM.

    Ya

    Nilai awal dan langkah bervariasi tergantung model; lihat tampilan konsol.

    Durasi pembelian

    Durasi berlaku reservasi.

    Ya

    Masukkan jumlah hari dalam kotak input. Nilai yang didukung: 1-30, 60, 90, 120, 365 hari.

    Perpanjangan otomatis saat berakhir

    Secara otomatis memotong pembayaran dan memperpanjang satu hari sebelum berakhir (untuk aturan eksekusi, lihat Penagihan reservasi throughput). Diaktifkan secara default. Per jendela waktu 8 jam tidak mendukung perpanjangan; parameter ini tidak berlaku.

    Tidak

    On / Off

    Durasi perpanjangan tunggal

    Durasi setiap perpanjangan otomatis.

    Tidak

    Masukkan jumlah hari dalam kotak input. Rentang nilainya sama dengan durasi pembelian.

    Kebijakan overflow

    Cara menangani permintaan yang melebihi kapasitas terjadwal saat habis.

    Ya

    Auto overflow ke pay-as-you-go per token (default; overflow beralih ke pay-as-you-go, tanpa gangguan layanan) / Hanya kapasitas terjadwal (overflow mengembalikan 429, tanpa biaya tambahan)

  2. Setelah mengonfirmasi parameter, klik Buy now. Pada dialog konfirmasi biaya, verifikasi biaya dan klik Confirm payment.
  3. Pada tab Overview halaman detail reservasi throughput, temukan Dedicated model code dan klik salin.
  4. Ganti parameter model dalam permintaan API Anda dengan kode model khusus yang telah disalin:
    Prasyarat: instans reservasi throughput telah dibuat dan statusnya Running.
    Parameter thinking_budget GLM-5.2 (yang membatasi panjang pemrosesan) tidak berlaku saat dipanggil.
# Saat volume permintaan melonjak dalam periode singkat, sistem memerlukan pemanasan singkat untuk mencocokkan komputasi yang dibutuhkan.
# Selama pemanasan, beberapa permintaan mungkin mengalami fluktuasi latensi. Stabilitas pulih setelah pemanasan selesai.
# Pastikan Anda memiliki mekanisme antrian permintaan atau retry.

import dashscope

client = dashscope.Client(api_key="your-api-key")

response = client.chat.completions.create(
    model="your-dedicated-model-code",   # Ganti dengan kode model khusus Anda
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)
# Saat volume permintaan melonjak dalam periode singkat, sistem memerlukan pemanasan singkat untuk mencocokkan komputasi yang dibutuhkan.
# Selama pemanasan, beberapa permintaan mungkin mengalami fluktuasi latensi. Stabilitas pulih setelah pemanasan selesai.
# Pastikan Anda memiliki mekanisme antrian permintaan atau retry.
curl -X POST https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions \
  -H "Authorization: Bearer $DASHSCOPE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"your-dedicated-model-code","messages":[{"role":"user","content":"Hello"}]}'
Setelah memilih siklus penagihan per jendela waktu 8 jam, halaman pembuatan memperluas area konfigurasi kapasitas jendela waktu 8 jam: jendela efektif ditampilkan hanya-baca (titik awal dibulatkan ke bawah ke jam penuh saat ini berdasarkan momen pembelian, tidak dapat disesuaikan, tetap 8 jam, dan dapat melewati hari alami; kurang dari 1 jam dihitung 1 jam), dan status pasokan ditampilkan secara waktu nyata. Pesanan hanya dapat dilakukan antara pukul 20:00 dan 04:00 hari berikutnya (pesanan tidak dapat dilakukan antara 04:00 dan 20:00). Setelah jendela waktu berakhir, kapasitas otomatis menjadi tidak berlaku dan masa tenggang 2 jam/14 jam tidak berlaku. Lihat Penagihan reservasi jendela waktu 8 jam.

Kalkulator kapasitas TPM

Kalkulator kapasitas TPM di sisi kanan halaman pembuatan membantu Anda memperkirakan kuota TPM yang akan dibeli berdasarkan beban bisnis Anda. Setelah mengisi parameter berikut, kalkulator secara otomatis menghasilkan rekomendasi TPM input dan TPM output.

Parameter

Deskripsi

Dampak terhadap hasil

Permintaan per menit (RPM)

Jumlah permintaan yang dikirim per menit selama jam sibuk bisnis.

Semakin besar RPM, semakin besar TPM input dan output yang direkomendasikan secara proporsional.

Panjang input rata-rata (token)

Jumlah rata-rata token input per permintaan.

Semakin panjang input, semakin tinggi tier dan semakin besar koefisiennya, sehingga semakin tinggi TPM input yang direkomendasikan. Batas tier berbeda-beda tergantung model; lihat tampilan konsol aktual.

Panjang output rata-rata (token)

Jumlah rata-rata token output per permintaan.

Semakin panjang output, semakin besar koefisiennya, sehingga semakin tinggi TPM output yang direkomendasikan.

Tingkat hit cache

Proporsi permintaan yang memiliki awalan berulang dan menghasilkan cache hit. Tingkat hit aktual bergantung pada pengulangan konten permintaan; lihat hasil waktu proses.

Semakin tinggi tingkat hit, semakin lambat konsumsi kapasitas input, sehingga semakin rendah TPM input yang direkomendasikan. Hanya memengaruhi TPM input, bukan TPM output.

image

Lihat dan kelola

Buka Konsol Bailian dan buka halaman daftar reservasi. Daftar menampilkan semua instans reservasi sebagai kartu model dan mendukung penyaringan berdasarkan model, waktu, dan status.

Di halaman reservasi throughput, setiap kartu model menampilkan jumlah reservasi aktif, TPM input/output terjadwal, dan rasio puncak. Tabel daftar reservasi berisi kolom seperti ID reservasi, TPM input/output, status, dan metode penagihan (harian, per jendela waktu 8 jam, per jam, dll.)·waktu kedaluwarsa, serta mendukung penyaringan berdasarkan model, waktu, dan status.

Detail reservasi

Klik kartu model target untuk membuka halaman detail, yang berisi tiga tab berikut:
  • Overview
  • Monitoring
  • API access
image
  • Informasi dasar: nama reservasi, kode model khusus (dapat disalin), model dasar, kapasitas input/output.
  • Kartu statistik (7 hari terakhir): jumlah reservasi aktif, total dan TPM penggunaan puncak, rata-rata utilisasi.
  • Tren utilisasi: alihkan antara arah input/output; menampilkan garis kapasitas terjadwal dan penggunaan aktual.
  • Statistik degradasi overflow: menunjukkan jumlah permintaan yang mengalami degradasi setelah melebihi kapasitas terjadwal (degradasi hanya terjadi di bawah kebijakan "Auto overflow").

Operasi manajemen

Pada kartu target di halaman daftar reservasi atau di halaman detail, Anda dapat melakukan operasi manajemen berikut pada instans reservasi. Instans reservasi jendela waktu 8 jam tidak mendukung scaling, perpanjangan, atau pembatalan langganan (kapasitas otomatis menjadi tidak berlaku setelah jendela waktu berakhir).
  • Paket kapasitas tambahan
  • Scaling
  • Renewal
  • Unsubscribe
Halaman reservasi throughput mengelola secara terpusat dua jenis instans kapasitas: reservasi throughput dan PTU (Provisioned Throughput Units). Paket kapasitas tambahan berlaku untuk keduanya. Di area "Active capacity instances" pada kartu target di halaman daftar reservasi, klik Add-on capacity package untuk membeli instans kapasitas tambahan di atas reservasi yang sudah ada. Setelah penambahan, total kapasitas reservasi sama dengan jumlah reservasi dasar dan semua paket kapasitas tambahan. Kode model khusus tetap tidak berubah dan tidak ada perubahan panggilan API yang diperlukan.Bagian atas dialog menampilkan informasi berikut tentang reservasi dasar:
  • Kode model khusus, model dasar, mode performa (Mode standar/Mode kecepatan tinggi), dan kebijakan overflow: diwarisi dari reservasi dasar dan tidak dapat diubah.
  • Paket kapasitas yang sudah ada: jumlah paket kapasitas yang saat ini telah ditambahkan.
Isi parameter pembelian berikut:

Parameter

Deskripsi

Wajib

Deskripsi nilai

Siklus penagihan

Siklus penagihan paket kapasitas tambahan dibatasi oleh metode penagihan reservasi dasar: jika dasarnya prabayar, hanya paket tambahan prabayar yang dapat dipilih; jika dasarnya pay-as-you-go, paket tambahan prabayar maupun pay-as-you-go dapat dipilih. Mode kecepatan tinggi mendukung pay-as-you-go atau langganan; Mode standar hanya mendukung langganan (harian atau per jendela waktu 8 jam).

Ya

Pay-as-you-go/per jam / Langganan/harian / Langganan/per jendela waktu 8 jam (hanya Mode standar; kapasitas meningkat dalam jendela waktu dan menjadi tidak berlaku di luar jendela waktu; untuk aturannya, lihat Penagihan reservasi throughput)

Kapasitas input

Throughput input yang ditambahkan, dalam kTPM.

Ya

Dimulai dari 10 kTPM, dengan kelipatan 10 kTPM.

Kapasitas output

Throughput output yang ditambahkan, dalam kTPM.

Ya

Dimulai dari 1 kTPM, dengan kelipatan 1 kTPM.

Durasi pembelian

Durasi berlaku paket kapasitas tambahan. Hanya diperlukan untuk Langganan/harian; Pay-as-you-go/per jam ditagih berdasarkan durasi aktual dan tidak memerlukan bidang ini.

Ya

1~30, 60, 90, 120, 365 hari.

Perpanjangan otomatis saat berakhir

Hanya berlaku untuk Langganan/harian. Secara otomatis memotong pembayaran dan memperpanjang pada pukul 08:00 satu hari sebelum berakhir.

Tidak

On / Off

Maksimal satu instans kapasitas pay-as-you-go (per jam) yang belum dihapus dapat ada di bawah satu Kode Model: jika instans pay-as-you-go sudah ada, siklus penagihan paket kapasitas tambahan hanya dapat diatur ke Langganan/harian.
Bagian bawah menampilkan biaya reservasi input, biaya reservasi output, dan total. Setelah konfirmasi, klik Confirm purchase. Setelah pembelian berhasil, instans kapasitas baru masuk ke daftar "Active capacity instances" dan total kapasitas terjadwal meningkat sesuai.
Dalam 2 jam setelah layanan berakhir, statusnya Running; dari 2 hingga 14 jam setelah berakhir, statusnya Stopped; setelah 14 jam, statusnya Expired dan akhirnya dihapus.

Status

Deskripsi

Running

Berjalan normal; dapat dipanggil menggunakan kode model khusus.

Pending

Dibuat; menunggu berlaku.

Modifying

Scaling sedang berlangsung; layanan tidak terganggu selama periode ini.

Stopped

Dihentikan karena alasan seperti pembayaran tertunda; dapat dipulihkan setelah perpanjangan.

Expired

Kedaluwarsa tanpa perpanjangan; sumber daya telah dilepas.

Canceled

Pembatalan langganan selesai; tidak dapat dibalikkan.

FAQ

Bergantung pada kebijakan overflow yang dipilih saat pembuatan: di bawah "Auto overflow", permintaan yang melebihi kapasitas terjadwal secara otomatis terdegradasi ke penagihan pay-as-you-go tanpa gangguan layanan. Anda dapat melihat jumlah dan waktu degradasi pada tab Overview halaman detail di Overflow degradation statistics; jika degradasi sering terjadi, kami menyarankan melakukan scaling up. Di bawah "Reserved capacity only", permintaan yang melebihi kuota mengembalikan error 429 dan tidak dikenakan biaya tambahan; jika error 429 sering terjadi, kami menyarankan melakukan scaling up.
Setelah reservasi throughput dibuat, sistem secara otomatis menghasilkan kode model khusus. Anda dapat menyalin kode tersebut pada tab Overview halaman detail reservasi throughput. Anda harus mengganti parameter model dalam permintaan API Anda dengan kode ini untuk menggunakan kapasitas terjadwal.
Setelah reservasi berakhir, kode model khusus menjadi tidak berlaku, dan permintaan selanjutnya secara otomatis kembali ke pemrosesan sumber daya publik (pay-as-you-go). Kami menyarankan mengaktifkan Auto-renewal on expiry terlebih dahulu untuk menghindari dampak pada layanan.
Pada tab Overview halaman detail, lihat grafik tren penggunaan TPM dan statistik degradasi overflow. Jika utilisasi mendekati 100% atau degradasi sering terjadi, kami menyarankan meningkatkan TPM input/output.