Skip to main content

Ikhtisar Penerapan Khusus

Terapkan layanan inferensi khusus dengan sumber daya eksklusif untuk memenuhi persyaratan kinerja seperti konkurensi tinggi dan latensi rendah. Topik ini menjelaskan pemilihan metode penagihan, mode penerapan, serta pengelolaan umum untuk setiap metode penagihan.

Metode penagihan

Sebelum penerapan, Anda dapat melihat perkiraan biaya per jam setiap model di Konsol Penerapan Khusus.
Metode penagihan tidak dapat diubah setelah layanan dibuat. Untuk beralih, Anda harus menghentikan model yang diterapkan secara offline, lalu menerapkannya kembali.

Model Unit

(Metrik kinerja kustom; isolasi sumber daya)

Penggunaan berbasis Token

(Bayar sesuai penggunaan setelah fine-tuning/validasi efek)

Definisi

Metode penerapan model yang mengonfigurasi daya komputasi berdasarkan durasi penggunaan dan jumlah Model Unit, dengan sumber daya khusus.

Metode penerapan model yang menggunakan Tokens input dan Tokens output yang dihasilkan per panggilan sebagai dasar pengukuran penggunaan.

Keunggulan

  1. Metrik kinerja seperti latensi/throughput dapat dikustomisasi.

  2. Mendukung pengaturan perpanjangan otomatis.

  3. Mode komputasi disagregasi PD didukung. Untuk informasi lebih lanjut, lihat mode komputasi disagregasi PD.

Tidak dikenai biaya saat tidak digunakan.

Model yang didukung

Beberapa model yang telah dikonfigurasi sebelumnya dan semua model yang telah di-fine-tune

Beberapa model yang telah di-fine-tune dengan LoRA

Kasus penggunaan

  1. Model besar eksklusif E-dagang hasil fine-tuning (menerapkan model privat, penskalaan manual selama promosi besar).

  2. Model skrining molekul perusahaan farmasi (memerlukan sumber daya khusus untuk tugas berdurasi panjang).

  3. Simulasi mengemudi otonom (memerlukan komputasi berkelanjutan berdurasi panjang).

Validasi efek model hasil fine-tuning

Diagram penagihan

image

image

Metode penagihan

Berdasarkan durasi penggunaan dan jumlah model unit

Bayar sesuai penggunaan, langganan bulanan

Berdasarkan penggunaan Token model

Bayar sesuai penggunaan

Metode penskalaan

Penskalaan mandiri jumlah model unit

Kirim permohonan di konsol dan tunggu tinjauan manual.

Batasan produk

Setelah pembelian prabayar, jika Anda berhenti berlangganan lebih awal dalam bulan pertama, harga satuan harian (≈ harga satuan bulanan / 30) ditagih sebesar 1,2 kali lipat dari tarif normal.

  1. Hanya beberapa model yang telah di-fine-tune dengan fine-tuning efisien (LoRA) yang didukung.

  2. Akan dilepas secara otomatis jika tidak digunakan dalam satu bulan.

Untuk melihat penggunaan token per panggilan dan statistik historis jumlah panggilan, buka Pemantauan. DTU merupakan penerus Model Unit (MU) (granularitas pengukuran berubah dari jumlah unit menjadi TPM input/output). Untuk penerapan khusus baru, DTU lebih disarankan. Untuk informasi lebih lanjut, lihat Penerapan Komputasi Khusus.

Mode penerapan

Untuk model dan harga yang didukung oleh setiap mode penerapan, lihat halaman mode terkait:
Pembuatan dan pengelolaan Provisioned Throughput Unit (PTU) kini dapat dilakukan di halaman Reservasi Throughput, yang mendukung fitur pengelolaan kapasitas yang lebih lengkap seperti paket kapasitas yang dapat ditumpuk. Untuk informasi lebih lanjut, lihat Reservasi Throughput.

Metode penerapan

Anda dapat menerapkan model di konsol dengan mengikuti langkah-langkah berikut:
Jika terjadi kesalahan izin, rujuk ke bagian pemecahan masalah izin dalam panduan penerapan API.
  1. Masuk ke konsol Bailian. Di panel navigasi kiri, pilih Inferensi Model > Penerapan Khusus.
  2. Klik Terapkan Model Baru.
  3. Masukkan nama layanan, lengkapi pemilihan Model dan Metode Penagihan, biarkan konfigurasi lainnya tetap default, lalu klik Konfirmasi.
    Anda harus menyelesaikan fine-tuning model sebelum dapat menerapkan sebagian besar model.
  4. Kembali ke daftar penerapan. Saat status penerapan berubah menjadi Running, model telah berhasil diterapkan.
Biaya akan dikenakan setelah model berhasil diterapkan.
image
image
Untuk parameter konfigurasi terperinci dari Layanan Penerapan (nama layanan, model, jenis Model Unit, jumlah replika, Mode Inferensi, Jendela Konteks, pembatasan laju, dan lainnya), lihat Penerapan Komputasi Khusus dan panduan penerapan API.

Halaman daftar penerapan

Setelah penerapan berhasil, Anda dapat melihat dan mengelola semua layanan penerapan di halaman daftar penerapan. Halaman daftar berisi informasi berikut:
  • Nama layanan: Nama layanan penerapan. Klik untuk melihat detail penerapan.
  • Model: Model yang digunakan untuk penerapan.
  • Kode Model: Pengidentifikasi unik yang dihasilkan setelah model berhasil diterapkan, digunakan untuk menentukan model saat memanggil API.
  • Status Penerapan/Status Event: Termasuk status seperti Menunggu penerapan, Menerapkan, Running, Penerapan gagal, Sedang offline, Layanan dijeda, Dihentikan, Menghapus, Langganan ditangguhkan/Pembayaran tertunda ditangguhkan, Memulihkan layanan, Running (Mengubah konfigurasi), dan Running (Perubahan gagal).
  • Metode penagihan: Metode penagihan layanan penerapan saat ini.
  • Detail penerapan: Informasi konfigurasi seperti jenis Model Unit dan jumlah replika.
  • Detail pembatasan laju: Menampilkan konfigurasi pembatasan laju layanan penerapan saat ini, seperti RPM (permintaan per menit) dan TPM (token per menit).
  • Periode layanan: Menampilkan waktu pembuatan dan waktu kedaluwarsa layanan penerapan.
  • Operasi: Bergantung pada status penerapan dan metode penagihan, Anda dapat melakukan operasi seperti perbarui, pantau, skalakan, perpanjang, offline, hapus, dan uji coba.
Untuk informasi lebih lanjut tentang cara memanggil API setelah penerapan berhasil (DashScope / antarmuka kompatibel OpenAI / Assistant SDK), lihat panduan penerapan API. Untuk operasi penskalaan di setiap metode penagihan (penambahan atau pengurangan throughput/unit model secara manual, permohonan peningkatan Token, kebijakan penskalaan otomatis), lihat halaman mode terkait: Penerapan komputasi khusus, Penerapan bayar sesuai penggunaan Token.

Menonaktifkan layanan penerapan

Buka konsol penerapan khusus, temukan layanan penerapan yang ingin Anda hentikan, lalu klik operasi yang sesuai berdasarkan jenis penagihan:
  • Model Unit prabayar: Klik offline dan konfirmasi.
  • Bayar sesuai penggunaan: Klik hapus dan konfirmasi.
Tidak akan ada penagihan lebih lanjut setelah operasi selesai.
image

FAQ

Bisakah saya mengunggah dan menerapkan model saya sendiri?

Anda dapat mengimpor beberapa model open-source di konsol Model Saya (Beijing). Untuk daftar model yang didukung secara terperinci, lihat Impor model. Selain itu, Alibaba Cloud Platform for AI (PAI) menyediakan kemampuan untuk menerapkan model Anda sendiri. Anda dapat merujuk ke Penerapan model bahasa besar PAI-LLM untuk mempelajari metode penerapannya.

Bagaimana cara beralih ke metode penagihan lain?

Anda hanya dapat melepaskan sumber daya asli lalu membuat sumber daya baru menggunakan metode penagihan yang diinginkan. Disarankan untuk beralih sesuai langkah-langkah berikut:
  1. Terapkan sumber daya baru menggunakan metode penagihan yang diinginkan.
  2. Alihkan API dan uji ketersediaan layanan.
  3. Hentikan dan lepaskan sumber daya asli.