Publikasikan model teks terlatih sebagai layanan API online.
Cakupan penerapan
- Wilayah yang berlaku: Wilayah tempat API penerapan model tersedia bervariasi menurut metode penerapan — Model Unit (MU) dan Dedicated Throughput (DTU) didukung di Tiongkok (Beijing). Jika metode penerapan yang sesuai tidak tersedia di wilayah Anda, selesaikan penerapan model di konsol Model Studio wilayah tersebut.
- Izin akun: Jika Anda menggunakan akun turunan Alibaba Cloud (pengguna RAM), Anda harus memberikan akun turunan tersebut izin untuk pemanggilan model, pelatihan, dan penerapan.
- Konfigurasikan variabel lingkungan: Anda telah berhasil memperoleh Kunci API dan mengonfigurasinya sebagai variabel lingkungan.
- Baca dokumentasi penerapan: Kami menyarankan Anda terlebih dahulu membaca pengantar dedicated deployment dan membuat tugas penerapan model dengan API untuk memahami cara menggunakan penerapan model dan langkah-langkah dasarnya.
Model yang Diterapkan
- Tiongkok (Beijing)
- Singapura
POST https://dashscope.aliyuncs.com/api/v1/deploymentsDomain permintaan bervariasi menurut wilayah: wilayah Beijing menggunakandashscope.aliyuncs.com, dan wilayah Singapura menggunakandashscope-intl.aliyuncs.com; Dedicated Workspace Host ({WorkspaceId}.{region}.maas.aliyuncs.com) tersedia di semua wilayah. Untuk informasi domain lengkap setiap wilayah, lihat Regional endpoints.
Pada Windows CMD, ganti$DASHSCOPE_API_KEYdengan%DASHSCOPE_API_KEY%; pada PowerShell, ganti dengan$env:DASHSCOPE_API_KEY
Parameter permintaan
Header permintaan
Parameter | Tipe | Wajib | Deskripsi |
|---|---|---|---|
Content-Type | String | Ya | Nilai tetap: |
Authorization | String | Ya | Autentikasi Kunci API, dengan format |
Body permintaan
Parameter body permintaan bervariasi bergantung pada metode penerapan (plan). Parameter body permintaan lengkap dan contoh penerapan untuk setiap metode penagihan adalah sebagai berikut:- Ditagih berdasarkan daya komputasi khusus DTU
- Berdasarkan unit model
- > Setelah Anda menjalankan perintah penerapan berikut, layanan penerapan model mulai menagih segera setelah penerapan berhasil, bahkan jika Anda belum memanggil model. Kami menyarankan Anda mengonfirmasi aturan penagihan layanan sebelum menjalankan perintah penerapan.
Permintaan API untuk penerapan DTU harus menggunakan domainmaas.aliyuncs.comdari ruang kerja tempat penerapan berada (misalnya,ws-vxxx.cn-beijing.maas.aliyuncs.com) dan Kunci API ruang kerja tersebut;sku_code,template_code, dan rentang kapasitas dikueri melalui API daftar model yang dapat diterapkan denganplan=dtu. Untuk parameter lengkap dan API seperti penskalaan, modifikasi batas laju, dan pembaruan model, lihat Model deployment API reference.
Parameter | Tipe | Wajib | Deskripsi |
|---|---|---|---|
model_name | String | Ya | Nama model yang akan diterapkan, sesuai dengan ID model di My Models. Nama ini juga dapat diperoleh dari output API Create Training Task. |
plan | String | Ya | Rencana penerapan, yang menentukan metode penagihan: |
display_name | String | Ya | Nama tampilan layanan, maksimal 50 karakter (metode penerapan lainnya menggunakan |
suffix | String | Tidak | Akhiran pengidentifikasi penerapan, maksimal 24 karakter; pengidentifikasi penerapan lengkap yang dihasilkan tidak melebihi 100 karakter. Dibuat otomatis jika dihilangkan. |
sku_code | String | Ya | SKU prabayar yang tersedia untuk model saat ini, dikueri melalui API daftar model yang dapat diterapkan dengan |
template_code | String | Ya | Templat penerapan yang cocok dengan model dan SKU; diperoleh dari kueri yang sama dengan |
charge_type | String | Ya | Metode penagihan; untuk DTU, selalu diatur ke |
dtu_capacity | Object | Ya | Kapasitas DTU yang dibeli; Anda harus menyediakan |
dtu_capacity.input_tpm | Integer | Ya | TPM input yang dibeli (token/menit); bilangan bulat non-negatif dengan nilai maksimum 2147483647, dan harus merupakan kelipatan bilangan bulat dari langkah yang diperoleh dari kueri. |
dtu_capacity.output_tpm | Integer | Ya | TPM output yang dibeli (token/menit); bilangan bulat non-negatif dengan nilai maksimum 2147483647, dan harus menggunakan kelipatan yang sama dengan TPM input. |
pre_paid_info | Object | Ya | Pengaturan pembelian prabayar dan perpanjangan otomatis. Berisi bidang: |
Pemecahan masalah penerapan dan penyetelan performa
Parameter max-num-seqs tidak dapat dikonfigurasi
Penerapan model Model Studio menggunakan throughput reservation (produk terpisah; lihat dokumentasi API-nya) atau penagihan berdasarkan unit model. Pada kedua metode penagihan tersebut, throughput, konkurensi, dan kecepatan generasi telah ditetapkan sebelumnya oleh platform. Penyesuaian langsung parameter mesin inferensi vLLM seperti max-num-seqs tidak didukung, dan parameter tersebut tidak ada dalam parameter permintaan API ini.
Pada metode penagihan berdasarkan unit model, Anda dapat mengontrol throughput secara tidak langsung dengan memilih Jenis Unit Model (sesuai parameter permintaan template_id) dan menyesuaikan Replika yang Diterapkan (sesuai parameter permintaan capacity).
Templat penerapan dan isolasi sumber daya
Templat penerapan saat ini hanya mendukung penerapan node tunggal (penerapan node tunggal dengan inferensi umum yang ditingkatkan); isolasi instans multi-kartu tidak didukung. Jika Anda memerlukan isolasi sumber daya, gunakan metode penagihan berdasarkan unit model, yang sumber daya komputasinya didedikasikan untuk bisnis Anda.
Penanganan kesalahan throttling
Ketika permintaan bersamaan melebihi ambang batas throttling, API mengembalikan HTTP 429, dengan kode kesalahan Throttling.RateQuota dan pesan kesalahan Requests rate limit exceeded, please try again later. Solusi:
- Throughput reservation (produk terpisah; lihat dokumentasi API-nya): sesuaikan
input_tpmdanoutput_tpmdalamptu_capacity(sesuai dengan Input kTPM dan Output kTPM di konsol), atau kurangi laju permintaan. Pada metode ini, Anda dapat memilih luapan otomatis (beralih ke pay-as-you-go) atau hanya kapasitas tercadang (permintaan yang melebihi kapasitas langsung mengembalikan429) sebagai strategi luapan. - Berdasarkan unit model: sesuaikan
rpm_limitdantpm_limit, atau kurangi laju permintaan.
Penyetelan panjang konteks
Pada metode penagihan berdasarkan unit model, Anda dapat mengonfigurasi Jendela Konteks dengan parameter permintaan max_context_length, yang nilainya berkisar dari 1 hingga 262144 (batas atas sebenarnya bergantung pada kemampuan model yang diterapkan). Parameter ini membatasi ukuran konteks satu permintaan, sehingga membatasi penggunaan memori per permintaan dan mengurangi risiko OOM.
Saat memproses tugas dengan sejumlah besar gambar, atur parameter ini berdasarkan ukuran gambar dan jumlah gambar per permintaan.
Parameter respons
Parameter | Tipe | Deskripsi |
|---|---|---|
request_id | String | Pengidentifikasi unik permintaan. |
output | Object | Detail tugas. |
output.deployed_model | String | Pengidentifikasi unik model yang diterapkan. Digunakan untuk mengkueri status penerapan model dan memanggil model. |
output.name | String | Nama tampilan penerapan. |
output.model_name | String | Nama pengidentifikasi model. |
output.base_model | String | Model dasar yang digunakan. |
output.status | String | Status penerapan: |
output.workspace_id | String | ID ruang kerja tempat Kunci API berada. Untuk informasi selengkapnya, lihat Dapatkan ID Ruang Kerja. |
output.charge_type | String | Mode penagihan: |
output.creator | String | ID akun Alibaba Cloud milik pembuat. |
output.modifier | String | ID akun Alibaba Cloud milik pengubah. |
output.plan | String | Metode penerapan. |
output.gmt_create | String | Waktu pembuatan tugas penerapan. |
output.gmt_modified | String | Waktu pembaruan tugas penerapan. |
Hanya dikembalikan untuk metode penerapan unit model (mu). | ||
output.base_capacity | Number | Jumlah minimum unit sumber daya yang diperlukan untuk menjalankan model dasar. |
output.ready_capacity | Number | Jumlah unit sumber daya yang siap dan dapat segera memproses permintaan. |
output.capacity | Number | Jumlah unit sumber daya yang digunakan oleh penerapan. |
output.model_unit_spec | String | Spesifikasi unit model. |
output.enable_thinking | Boolean | Apakah mode thinking diaktifkan. |
output.max_context_length | Number | Batas panjang konteks maksimum. |
output.rpm_limit | Number | Jumlah permintaan per menit. |
output.tpm_limit | Number | Penggunaan token per menit. |
Hanya dikembalikan untuk metode penerapan provisioned throughput (ptu_v2) | ||
output.ptu_capacity | Object | Konfigurasi provisioned throughput, termasuk |
Hanya dikembalikan untuk metode penerapan DTU (dtu) | ||
output.dtu_capacity | Object | Kapasitas TPM input/output yang dibeli, termasuk |
output.pre_paid_info | Object | Informasi pembayaran prabayar dan perpanjangan otomatis. |
Untuk daftar lengkap bidang respons DTU, lihat Model deployment API reference | ||
Dikembalikan saat pemanggilan gagal | ||
code | String | Kode kesalahan. Dikembalikan saat pemanggilan gagal. |
message | String | Deskripsi detail kesalahan. Dikembalikan saat pemanggilan gagal. |
- Deskripsi kesalahan terperinci. Dikembalikan saat pemanggilan gagal.
- Contoh respons kesalahan
output.deployed_model (pengidentifikasi unik model yang diterapkan) dan output.status (status penerapan).