Deployment komputasi khusus menawarkan dua opsi: Dedicated Throughput (DTU) dan Model Unit (MU), yang menyediakan jaminan kinerja dan throughput untuk model tertentu melalui sumber daya GPU khusus. DTU ditujukan untuk model yang baru dirilis (ditagih berdasarkan TPM input/output × durasi), sementara MU digunakan untuk model yang sudah ada (ditagih berdasarkan jumlah unit model × durasi). Topik ini memperkenalkan fitur, metode penagihan, alur penggunaan, dan model yang didukung oleh kedua opsi tersebut.
Ikhtisar
Deployment komputasi khusus menyediakan sumber daya GPU khusus dan jaminan kinerja untuk model tertentu, serta mendukung deployment model dasar maupun model kustom. Model Studio menawarkan dua opsi komputasi khusus:
- DTU (Dedicated Throughput Unit): Dijual berdasarkan TPM Input/Output, memberikan jaminan throughput yang lebih langsung. Ini adalah layanan inferensi yang dikelola sepenuhnya, dengan sumber daya GPU khusus di lapisan bawah yang dioperasikan oleh platform.
- Model Unit (MU): Mengonfigurasi daya komputasi berdasarkan durasi penggunaan dan jumlah unit model, dengan sumber daya khusus. Mendukung metrik kinerja kustom dan mode komputasi disagregasi PD. Granularitas penagihan adalah jumlah unit model × durasi.
- Sumber daya GPU khusus, dengan lingkungan inferensi yang terisolasi secara fisik dari pengguna lain.
- Mendukung deployment model dasar dan model kustom (model fine-tuned Model Studio atau model yang diunggah pengguna).
- Platform menangani operasi dan pemeliharaan di lapisan bawah, sehingga Anda tidak perlu mengelola GPU.
- Tidak ada batas RPM/TPM proaktif; lalu lintas hanya dibatasi oleh kapasitas aktual.
Pemilihan Solusi
Model Studio menyediakan berbagai opsi kapasitas dan penagihan untuk panggilan inferensi. DTU cocok untuk skenario yang memerlukan deployment khusus, deployment model fine-tuned, latensi rendah dengan konkurensi tinggi, atau isolasi data. Opsi-opsi tersebut dibandingkan dalam tabel di bawah ini.
Untuk perbandingan lengkap metode penagihan seperti Token bayar sesuai pemakaian, lihat tabel utama di Deployment model.
Dimensi perbandingan | DTU | Throughput cadangan · Mode kecepatan tinggi | Token bayar sesuai pemakaian | PAI/Lingjun |
|---|---|---|---|---|
Manfaat | Komputasi khusus + model fine-tuned | Jaminan throughput + latensi rendah | Elastis dan fleksibel, tanpa ambang batas | Runtime kustom |
Isolasi sumber daya | Isolasi fisik | Isolasi logis | Pool publik bersama | Isolasi fisik |
Model fine-tuned | Parameter penuh + LoRA | Tidak didukung | LoRA | Didukung |
Framework kustom | Tidak didukung | Tidak didukung | Tidak didukung | Didukung |
Mode penagihan | Kuota TPM × durasi | Kuota TPM × durasi | Penggunaan token | GPU × durasi |
Aturan Penagihan
- Penagihan DTU
- Penagihan MU
MU dan DTU keduanya merupakan mode penagihan prabayar. Jika Anda berhenti berlangganan lebih awal, bagian yang telah digunakan di-refund dengan faktor 1.2x. Untuk informasi selengkapnya, lihat Deskripsi aturan pengembalian dana penurunan tingkat.
Model yang Didukung dan Harga
- Daftar harga DTU dan baseline kinerja
- Harga MU
- Tiongkok (Beijing) 2
Model | Input baseline (TPM) | Output baseline (TPM) | Harga input (USD/kTPM·bulan) | Harga output (USD/kTPM·bulan) | Total harga bulanan (USD) |
|---|---|---|---|---|---|
qwen3.8-27b | 268,000 | 33,000 | 15 | 119 | 7,947 |
qwen3.7-plus-2026-05-26 | 1,372,000 | 170,000 | 32 | 257 | 87,594 |
1,192,000 | 148,000 | 37 | 295 | 87,764 | |
704,000 | 132,000 | 62 | 331 | 87,340 | |
660,000 | 124,000 | 66 | 352 | 87,208 | |
glm-5.3 | 1,004,000 | 120,000 | 152 | 1,213 | 298,168 |
glm-5.2 | 502,000 | 60,000 | 152 | 1,213 | 149,084 |
deepseek-v4.1-flash | 2,312,000 | 288,000 | 19 | 152 | 87,704 |
Data kinerja referensi berikut diukur dengan tingkat hit cache 0%. Dalam penggunaan aktual, seiring meningkatnya tingkat hit cache, kinerja model juga meningkat.
Model | Panjang input | Panjang output | Tingkat hit cache | Latensi token pertama (ms) | Latensi per token (ms) |
|---|---|---|---|---|---|
qwen3.8-27b | 4,000 | 500 | 0 | 1,249 | 26 |
qwen3.7-plus-2026-05-26 | 16,000 | 2,000 | 0 | 2,418 | 15 |
16,000 | 2,000 | 0 | 888 | 10 | |
2,600 | 500 | 0 | 970 | 13 | |
2,600 | 500 | 0 | 819 | 14 | |
glm-5.3 | 16,000 | 2,000 | 0 | 1,558 | 15 |
glm-5.2 | 16,000 | 2,000 | 0 | 1,558 | 15 |
deepseek-v4.1-flash | 16,000 | 2,000 | 0 | 1,824 | 14 |
Pembuatan Deployment
- Pembuatan deployment DTU
- Konfigurasi deployment MU
Parameter | Deskripsi | Apakah Wajib | Deskripsi Nilai |
|---|---|---|---|
Nama layanan | Nama layanan deployment | Ya | Kustom |
Model | Model target yang akan di-deploy | Ya | Pilih dari daftar dropdown |
Templat deployment | Arsitektur deployment | Tidak | Pilih dari daftar dropdown, dengan opsi pertama dipilih secara default |
Metode penagihan | Metode penagihan | Ya | Prabayar (bulanan) |
Kuota throughput input | Kapasitas TPM input yang dibeli | Ya | Kelipatan bilangan bulat dari TPM input baseline (kTPM) |
Kuota throughput output | Kapasitas TPM output yang dibeli | Ya | Kelipatan bilangan bulat dari TPM output baseline (kTPM) |
Durasi | Periode pembelian | Ya | 1-12 (bilangan bulat, dalam bulan) |
Perpanjangan otomatis | Perpanjang otomatis saat kedaluwarsa | Tidak | Aktif/Nonaktif |
Durasi perpanjangan tunggal | Wajib saat perpanjangan otomatis diaktifkan | Ya | 1-12 (bilangan bulat, dalam bulan) |
Perencanaan Kapasitas
DTU dijual berdasarkan TPM input/output, dan TPM yang dibeli adalah jumlah token maksimum yang dapat diproses per menit. Tujuan perencanaan kapasitas adalah menghitung kelipatan yang harus dibeli berdasarkan permintaan token puncak bisnis, lalu memverifikasi melalui pengujian beban apakah konkurensi berkelanjutan dan latensi aktual memenuhi persyaratan. Untuk TPM input/output baseline setiap model dan kinerja di bawah beban kerja standar, lihat tabel di atas.
Disarankan menggunakan alat pengujian beban seperti evalscope untuk menjalankan pengujian berdasarkan skenario bisnis nyata (panjang input/output, konkurensi, dan persyaratan latensi), lalu menentukan kelipatan yang akan dibeli terhadap tabel harga.
Metode Perencanaan Kapasitas
- Kumpulkan metrik bisnis puncak: panjang token input/output permintaan tipikal, konkurensi target, serta persyaratan time to first token (TTFT) dan time per output token (TPOT).
- Perkirakan kebutuhan throughput puncak: TPM input puncak ≈ konkurensi × panjang input per permintaan ÷ waktu pemrosesan per permintaan (menit); TPM output puncak ≈ konkurensi × panjang output per permintaan ÷ waktu pembuatan per permintaan (menit).
- Hitung kelipatan pembelian: kelipatan input = ⌈TPM input puncak ÷ TPM input baseline⌉, kelipatan output = ⌈TPM output puncak ÷ TPM output baseline⌉; input dan output DTU harus diskalakan naik atau turun secara bersamaan, jadi ambil nilai yang lebih besar dari keduanya sebagai kelipatan akhir.
- Verifikasi dengan pengujian beban: setelah membeli kelipatan yang dihitung, uji ulang dengan evalscope di bawah beban kerja target untuk memastikan throughput dan latensi aktual memenuhi persyaratan bisnis. Jika latensi terlalu tinggi, tingkatkan konkurensi dalam ruang sisa TPM untuk meningkatkan throughput efektif.
Penskalaan, Perpanjangan, dan Penghentian Langganan
- Penskalaan, perpanjangan, dan penghentian langganan DTU
- Penskalaan dan perpanjangan MU