Skip to main content

Dedicated Throughput (DTU)

Deployment komputasi khusus menawarkan dua opsi: Dedicated Throughput (DTU) dan Model Unit (MU), yang menyediakan jaminan kinerja dan throughput untuk model tertentu melalui sumber daya GPU khusus. DTU ditujukan untuk model yang baru dirilis (ditagih berdasarkan TPM input/output × durasi), sementara MU digunakan untuk model yang sudah ada (ditagih berdasarkan jumlah unit model × durasi). Topik ini memperkenalkan fitur, metode penagihan, alur penggunaan, dan model yang didukung oleh kedua opsi tersebut.

Ikhtisar

Deployment komputasi khusus menyediakan sumber daya GPU khusus dan jaminan kinerja untuk model tertentu, serta mendukung deployment model dasar maupun model kustom. Model Studio menawarkan dua opsi komputasi khusus:
  • DTU (Dedicated Throughput Unit): Dijual berdasarkan TPM Input/Output, memberikan jaminan throughput yang lebih langsung. Ini adalah layanan inferensi yang dikelola sepenuhnya, dengan sumber daya GPU khusus di lapisan bawah yang dioperasikan oleh platform.
  • Model Unit (MU): Mengonfigurasi daya komputasi berdasarkan durasi penggunaan dan jumlah unit model, dengan sumber daya khusus. Mendukung metrik kinerja kustom dan mode komputasi disagregasi PD. Granularitas penagihan adalah jumlah unit model × durasi.
DTU dan MU dibedakan berdasarkan keberlakuan modelnya: model yang baru dirilis menggunakan DTU (diukur berdasarkan TPM input/output), sementara model yang sudah ada terus menggunakan MU (diukur berdasarkan jumlah unit model). Keduanya menyediakan daya komputasi khusus, isolasi sumber daya, dan kemampuan deployment model fine-tuned. Saat membeli deployment baru, pilih DTU terlebih dahulu jika model mendukungnya. Kemampuan yang dimiliki bersama oleh kedua opsi:
  • Sumber daya GPU khusus, dengan lingkungan inferensi yang terisolasi secara fisik dari pengguna lain.
  • Mendukung deployment model dasar dan model kustom (model fine-tuned Model Studio atau model yang diunggah pengguna).
  • Platform menangani operasi dan pemeliharaan di lapisan bawah, sehingga Anda tidak perlu mengelola GPU.
  • Tidak ada batas RPM/TPM proaktif; lalu lintas hanya dibatasi oleh kapasitas aktual.
Untuk alur umum deployment model, lihat Ikhtisar deployment khusus.

Pemilihan Solusi

Model Studio menyediakan berbagai opsi kapasitas dan penagihan untuk panggilan inferensi. DTU cocok untuk skenario yang memerlukan deployment khusus, deployment model fine-tuned, latensi rendah dengan konkurensi tinggi, atau isolasi data. Opsi-opsi tersebut dibandingkan dalam tabel di bawah ini. Untuk perbandingan lengkap metode penagihan seperti Token bayar sesuai pemakaian, lihat tabel utama di Deployment model.

Dimensi perbandingan

DTU

Throughput cadangan · Mode kecepatan tinggi

Token bayar sesuai pemakaian

PAI/Lingjun

Manfaat

Komputasi khusus + model fine-tuned

Jaminan throughput + latensi rendah

Elastis dan fleksibel, tanpa ambang batas

Runtime kustom

Isolasi sumber daya

Isolasi fisik

Isolasi logis

Pool publik bersama

Isolasi fisik

Model fine-tuned

Parameter penuh + LoRA

Tidak didukung

LoRA

Didukung

Framework kustom

Tidak didukung

Tidak didukung

Tidak didukung

Didukung

Mode penagihan

Kuota TPM × durasi

Kuota TPM × durasi

Penggunaan token

GPU × durasi

Aturan Penagihan

  • Penagihan DTU
  • Penagihan MU
DTU ditagih secara terpisah untuk TPM input dan TPM output, menggunakan model prabayar (bulanan). Setiap model memiliki nilai TPM input/output baseline yang tetap (lihat tabel di bawah), dan pembelian harus merupakan kelipatan bilangan bulat dari TPM baseline. Anda harus membeli minimal TPM baseline (1x) untuk input dan output masing-masing; untuk lingkungan produksi, disarankan membeli minimal 2x untuk masing-masing.Biaya dihitung oleh backend berdasarkan model, TPM input/output, wilayah layanan, dan durasi pembelian. Harga setiap model ditampilkan dalam tabel di bawah ini. Harga pembelian awal dan penskalaan sama dengan total harga 1x TPM baseline untuk input dan output masing-masing. Model fine-tuned dihargai sama dengan model dasar yang sesuai; tampilan konsol yang berlaku.
MU dan DTU keduanya merupakan mode penagihan prabayar. Jika Anda berhenti berlangganan lebih awal, bagian yang telah digunakan di-refund dengan faktor 1.2x. Untuk informasi selengkapnya, lihat Deskripsi aturan pengembalian dana penurunan tingkat.

Model yang Didukung dan Harga

  • Daftar harga DTU dan baseline kinerja
  • Harga MU
  • Tiongkok (Beijing) 2

Model

Input baseline (TPM)

Output baseline (TPM)

Harga input (USD/kTPM·bulan)

Harga output (USD/kTPM·bulan)

Total harga bulanan (USD)

qwen3.8-27b

268,000

33,000

15

119

7,947

qwen3.7-plus-2026-05-26

1,372,000

170,000

32

257

87,594

1,192,000

148,000

37

295

87,764

704,000

132,000

62

331

87,340

660,000

124,000

66

352

87,208

glm-5.3

1,004,000

120,000

152

1,213

298,168

glm-5.2

502,000

60,000

152

1,213

149,084

deepseek-v4.1-flash

2,312,000

288,000

19

152

87,704

Data kinerja referensi setiap model di bawah beban kerja standar ditampilkan dalam tabel di bawah ini; tampilan konsol yang berlaku.
Data kinerja referensi berikut diukur dengan tingkat hit cache 0%. Dalam penggunaan aktual, seiring meningkatnya tingkat hit cache, kinerja model juga meningkat.

Model

Panjang input

Panjang output

Tingkat hit cache

Latensi token pertama (ms)

Latensi per token (ms)

qwen3.8-27b

4,000

500

0

1,249

26

qwen3.7-plus-2026-05-26

16,000

2,000

0

2,418

15

16,000

2,000

0

888

10

2,600

500

0

970

13

2,600

500

0

819

14

glm-5.3

16,000

2,000

0

1,558

15

glm-5.2

16,000

2,000

0

1,558

15

deepseek-v4.1-flash

16,000

2,000

0

1,824

14

Pembuatan Deployment

  • Pembuatan deployment DTU
  • Konfigurasi deployment MU
Sebelum menggunakan DTU, Anda harus mengaktifkan fitur DTU di konsol dan mengajukan kuota sumber daya. Setelah diaktifkan, buka halaman Dedicated Deployment di konsol Model Studio, pilih model target, dan pilih DTU sebagai metode penagihan untuk membuat deployment.
Deployment DTU mendukung pembuatan deployment, kueri detail dan daftar, penskalaan, modifikasi batas laju, serta pembaruan model melalui API (jenis deployment dibedakan dengan plan="dtu"). Untuk informasi selengkapnya, lihat Referensi API deployment model. Perubahan perpanjangan dan perpanjangan otomatis, penghentian/pemulihan, dan penghapusan harus dilakukan di konsol Model Studio; pengaktifan fitur DTU dan pengajuan kuota sumber daya juga harus diselesaikan di konsol.
Untuk informasi selengkapnya tentang alur dasar deployment model umum, lihat Ikhtisar deployment khusus.Kolom formulir untuk membuat deployment dijelaskan dalam tabel di bawah ini.

Parameter

Deskripsi

Apakah Wajib

Deskripsi Nilai

Nama layanan

Nama layanan deployment

Ya

Kustom

Model

Model target yang akan di-deploy

Ya

Pilih dari daftar dropdown

Templat deployment

Arsitektur deployment

Tidak

Pilih dari daftar dropdown, dengan opsi pertama dipilih secara default

Metode penagihan

Metode penagihan

Ya

Prabayar (bulanan)

Kuota throughput input

Kapasitas TPM input yang dibeli

Ya

Kelipatan bilangan bulat dari TPM input baseline (kTPM)

Kuota throughput output

Kapasitas TPM output yang dibeli

Ya

Kelipatan bilangan bulat dari TPM output baseline (kTPM)

Durasi

Periode pembelian

Ya

1-12 (bilangan bulat, dalam bulan)

Perpanjangan otomatis

Perpanjang otomatis saat kedaluwarsa

Tidak

Aktif/Nonaktif

Durasi perpanjangan tunggal

Wajib saat perpanjangan otomatis diaktifkan

Ya

1-12 (bilangan bulat, dalam bulan)

Perencanaan Kapasitas

DTU dijual berdasarkan TPM input/output, dan TPM yang dibeli adalah jumlah token maksimum yang dapat diproses per menit. Tujuan perencanaan kapasitas adalah menghitung kelipatan yang harus dibeli berdasarkan permintaan token puncak bisnis, lalu memverifikasi melalui pengujian beban apakah konkurensi berkelanjutan dan latensi aktual memenuhi persyaratan. Untuk TPM input/output baseline setiap model dan kinerja di bawah beban kerja standar, lihat tabel di atas. Disarankan menggunakan alat pengujian beban seperti evalscope untuk menjalankan pengujian berdasarkan skenario bisnis nyata (panjang input/output, konkurensi, dan persyaratan latensi), lalu menentukan kelipatan yang akan dibeli terhadap tabel harga.

Metode Perencanaan Kapasitas

  1. Kumpulkan metrik bisnis puncak: panjang token input/output permintaan tipikal, konkurensi target, serta persyaratan time to first token (TTFT) dan time per output token (TPOT).
  2. Perkirakan kebutuhan throughput puncak: TPM input puncak ≈ konkurensi × panjang input per permintaan ÷ waktu pemrosesan per permintaan (menit); TPM output puncak ≈ konkurensi × panjang output per permintaan ÷ waktu pembuatan per permintaan (menit).
  3. Hitung kelipatan pembelian: kelipatan input = ⌈TPM input puncak ÷ TPM input baseline⌉, kelipatan output = ⌈TPM output puncak ÷ TPM output baseline⌉; input dan output DTU harus diskalakan naik atau turun secara bersamaan, jadi ambil nilai yang lebih besar dari keduanya sebagai kelipatan akhir.
  4. Verifikasi dengan pengujian beban: setelah membeli kelipatan yang dihitung, uji ulang dengan evalscope di bawah beban kerja target untuk memastikan throughput dan latensi aktual memenuhi persyaratan bisnis. Jika latensi terlalu tinggi, tingkatkan konkurensi dalam ruang sisa TPM untuk meningkatkan throughput efektif.
Jika persyaratan latensi tidak ketat, Anda dapat meningkatkan throughput aktual dengan menaikkan konkurensi, selama batas TPM yang dibeli tidak terlampaui. Contoh estimasi bisnis: Sebuah model memiliki input baseline 656K TPM dan output baseline 82K TPM. Berdasarkan analisis bisnis puncak, input puncak sekitar 1.300K TPM dan output puncak sekitar 160K TPM. Hitung kelipatannya: input ⌈1300÷656⌉=2 dan output ⌈160÷82⌉=2, jadi ambil nilai yang lebih besar, yaitu 2x, dan beli input 1.312K TPM (656K×2) + output 164K TPM (82K×2); kemudian gunakan evalscope untuk pengujian beban di bawah beban puncak dan pastikan latensi memenuhi persyaratan. Jika volume bisnis berlipat ganda, dengan input puncak sekitar 2.600K dan output puncak sekitar 320K, maka input ⌈2600÷656⌉=4 dan output ⌈320÷82⌉=4, dan Anda perlu membeli 4x: input 2.624K TPM (656K×4) + output 328K TPM (82K×4), lalu uji ulang. Rumus estimasi:
购买倍数 = max(⌈峰值输入 TPM ÷ 基准输入 TPM⌉, ⌈峰值输出 TPM ÷ 基准输出 TPM⌉)

Penskalaan, Perpanjangan, dan Penghentian Langganan

  • Penskalaan, perpanjangan, dan penghentian langganan DTU
  • Penskalaan dan perpanjangan MU
Daftar deployment menampilkan kuota TPM input/output yang dibeli, dan halaman detail menampilkan rincian kapasitas TPM.Penskalaan: Di daftar deployment, klik "Penskalaan" untuk mengubah kapasitas TPM input/output. Penskalaan naik menampilkan tambahan biaya yang harus dibayar, dan penskalaan turun menampilkan estimasi jumlah pengembalian dana. Input dan output harus diskalakan naik atau turun secara bersamaan; salah satunya tidak dapat diskalakan naik sementara yang lain diskalakan turun. Anda juga dapat melakukan penskalaan melalui API. Untuk informasi selengkapnya, lihat Referensi API Deployment Model. Hanya deployment dalam status Berjalan yang dapat diubah.Perpanjangan: Langganan bulanan prabayar dapat diperpanjang saat kedaluwarsa. Tombol perpanjangan di halaman detail memulai proses perpanjangan, yang mendukung sakelar perpanjangan otomatis dan durasi perpanjangan tunggal.Penghentian langganan: Langganan bulanan prabayar mendukung penghentian lebih awal. Bagian yang telah digunakan diselesaikan dan di-refund dengan faktor 1.2x. Untuk informasi selengkapnya, lihat Deskripsi aturan pengembalian dana penurunan tingkat. Penghentian langganan tidak dapat dibatalkan; setelah penghentian langganan, sumber daya khusus dilepaskan dan layanan berhenti.

FAQ

Apa perbedaan antara deployment DTU dan penagihan Token bayar sesuai pemakaian? Dengan penagihan token bayar sesuai pemakaian, biaya dibebankan berdasarkan penggunaan token pada kumpulan sumber daya bersama; DTU menyediakan sumber daya GPU khusus yang ditagih berdasarkan TPM input/output, sehingga cocok untuk skenario yang memerlukan throughput stabil dan deployment khusus. Metode penagihan apa yang didukung oleh deployment DTU? Hanya penagihan prabayar (bulanan) yang didukung. Bagaimana cara melihat penggunaan TPM yang telah saya beli? Di daftar deployment dan halaman detail Dedicated Deployment di konsol Bailian, Anda dapat melihat kuota TPM input/output yang dibeli. Untuk informasi selengkapnya, lihat Ikhtisar Dedicated Deployment.