API manajemen penerapan model berlaku untuk semua jenis model, termasuk teks, gambar, video, dan suara . API ini mendukung kueri status dan daftar penerapan, modifikasi pembatasan kecepatan, penskalaan, serta penghapusan penerapan.
Prasyarat
- Wilayah yang didukung: Fitur yang dijelaskan dalam dokumen ini hanya tersedia di wilayah Singapura, dan Anda harus menggunakan API Key dari wilayah tersebut.
- Anda telah berhasil mendapatkan API Key dan mengonfigurasikannya sebagai variabel lingkungan.
- Anda telah membaca Penerapan model dan Terapkan model menggunakan API untuk memahami langkah-langkah dasar penerapan model.
Dapatkan status penerapan model
Kueri detail dan status berjalan dari penerapan model tertentu. Anda dapat melakukan polling terhadap API ini; ketika nilai status menjadi RUNNING, hal tersebut menandakan bahwa model telah berhasil diterapkan.
Endpoint
Contoh permintaan
Anda dapat menggunakan perintah berikut untuk mengkueri detail layanan khusus tertentu:
Parameter permintaan
Parameter | Tipe | Lokasi | Wajib | Deskripsi |
|---|---|---|---|---|
deployed_model | String | path | Ya | Identifikasi unik penerapan model. Anda dapat memperolehnya dari Buat penerapan atau operasi List deployments. |
Contoh respons
Perhatikan bidang status. Ketika status menjadi RUNNING, model telah berhasil diterapkan dan siap untuk dipanggil.
Parameter respons
Bidang | Tipe | Deskripsi |
|---|---|---|
request_id | String | Identifikasi unik untuk permintaan. |
output | Object | Detail pekerjaan. |
output.deployed_model | String | Identifikasi unik penerapan model. Digunakan untuk mengkueri status penerapan dan memanggil model. |
output.model_name | String | Nama identifikasi model. |
output.base_model | String | Model dasar yang digunakan. |
output.status | String | Status penerapan:
|
output.base_capacity | Number | Jumlah unit sumber daya dasar. |
output.capacity | Number | Jumlah unit sumber daya saat ini. |
output.ready_capacity | Number | Jumlah unit sumber daya yang siap. |
output.workspace_id | String | ID ruang kerja yang terkait dengan API Key Alibaba Cloud Model Studio. Lihat Dapatkan ID Ruang Kerja. |
output.charge_type | String | Mode penagihan. post_paid menunjukkan bayar sesuai penggunaan. |
output.gmt_create | String | Waktu pembuatan penerapan. |
output.gmt_modified | String | Waktu penerapan terakhir dimodifikasi. |
output.creator | String | ID akun Alibaba Cloud dari pembuat. |
output.modifier | String | ID akun Alibaba Cloud dari pengubah. |
output.plan | String | Rencana penerapan. |
Daftar model yang dapat diterapkan
Dapatkan daftar model kandidat yang memenuhi syarat untuk penerapan pada platform Model Studio, yaitu model-model yang dapat digunakan untuk membuat penerapan.
Endpoint
Contoh permintaan
Gunakan perintah berikut untuk mengkueri model yang tersedia untuk penerapan. Kami merekomendasikan menggunakan version=v1.0 untuk mendapatkan respons lengkap yang mencakup informasi rencana dan templat penerapan.
Parameter permintaan
Parameter | Tipe | Wajib | Deskripsi |
|---|---|---|---|
page_no | Number | Tidak | Nomor halaman. Nilai default: 1. |
page_size | Number | Tidak | Ukuran halaman. Nilai default: 50. Nilai maksimum: 100. Nilai minimum: 1. |
model_source | String | Tidak | Sumber model. |
version | String | Tidak | Versi API. Kami merekomendasikan menggunakan |
Contoh respons
Setelah perintah dieksekusi, hasil berikut dikembalikan:
Parameter respons
Parameter | Tipe | Deskripsi |
|---|---|---|
models | Array | Daftar model yang dapat diterapkan. |
models[].model_name | String | Nama model. |
models[].plans | Array | Daftar rencana penerapan yang didukung oleh model. Dikembalikan ketika |
models[].plans[].plan | String | Jenis rencana penerapan: |
models[].plans[].templates | Array | Daftar templat penerapan (dikembalikan ketika |
models[].plans[].templates[].template_id | String | ID templat, diteruskan sebagai parameter |
models[].plans[].templates[].template_name | String | Nama tampilan templat. |
models[].plans[].templates[].template_type | String | Jenis templat: |
models[].plans[].templates[].template_version | String | Versi templat. |
models[].plans[].templates[].template_desc | String | Deskripsi templat. |
models[].plans[].templates[].roles | Object | Konfigurasi peran node. Mode COUPLED berisi node |
models[].plans[].templates[].roles.{role}.model_unit_spec | String | Spesifikasi unit model. |
models[].plans[].templates[].roles.{role}.capacity_unit_per_instance | Number | Jumlah unit kapasitas per instans, yaitu base_capacity. Saat membuat penerapan, nilai |
page_no | Number | Nomor halaman kueri. |
page_size | Number | Ukuran halaman kueri. |
total | Long | Total jumlah model yang sesuai dengan kondisi kueri. |
Daftar model yang telah diterapkan
Dapatkan daftar instans penerapan yang telah dibuat, yaitu layanan model yang benar-benar berjalan atau telah diterapkan di ruang kerja saat ini.
Endpoint
Contoh permintaan
Jalankan perintah berikut untuk mendapatkan daftar layanan khusus:
Parameter permintaan
Parameter | Tipe | Lokasi | Wajib | Deskripsi |
|---|---|---|---|---|
page_no | Number | query | Tidak | Nomor halaman. Default: 1. |
page_size | Number | query | Tidak | Ukuran halaman. Default: 50. Maksimum: 200. Minimum: 1. |
Contoh respons
Setelah perintah dieksekusi, hasil berikut dikembalikan:
Parameter respons
Bidang | Tipe | Deskripsi |
|---|---|---|
request_id | String | Identifikasi unik untuk permintaan. |
output.page_no | Number | Nomor halaman saat ini. |
output.page_size | Number | Jumlah item per halaman. |
output.total | Number | Total jumlah penerapan. |
output.deployments | Array | Daftar penerapan model. Setiap elemen memiliki bidang yang sama dengan output dari operasi Dapatkan status penerapan model. |
Modifikasi pembatasan kecepatan penerapan
Modifikasi pengaturan pembatasan kecepatan RPM (Requests Per Minute) dan TPM (Tokens Per Minute) untuk penerapan model tertentu.
Endpoint
Contoh permintaan
Jalankan perintah berikut untuk memodifikasi pengaturan pembatasan kecepatan penerapan tertentu:
Parameter permintaan
Parameter | Tipe | Lokasi | Wajib | Deskripsi |
|---|---|---|---|---|
deployed_model | String | path | Ya | Identifikasi unik penerapan model. Anda dapat memperolehnya dari Buat penerapan atau operasi List deployments. |
rpm_limit | Number | body | Minimal satu parameter | Permintaan per menit (RPM). |
tpm_limit | Number | body | Token per menit (TPM). |
Contoh respons
Setelah perintah dieksekusi, hasil berikut dikembalikan:
Parameter respons
Selain bidang dasar yang tercantum dalam Dapatkan status penerapan model, respons juga dapat mencakup bidang berikut:
Bidang | Tipe | Deskripsi |
|---|---|---|
output.plan | String | Rencana penerapan. |
output.model_unit_spec | String | Templat penerapan unit model, seperti MU1. |
output.enable_thinking | Boolean | Apakah mode thinking diaktifkan. |
output.max_context_length | Number | Panjang konteks maksimum. |
output.rpm_limit | Number | Batas permintaan per menit. |
output.tpm_limit | Number | Batas token per menit. |
Skalakan penerapan
Atur jumlah unit sumber daya yang digunakan oleh layanan khusus dengan melakukan operasi pembaruan.
Endpoint
Contoh permintaan
Jalankan perintah berikut untuk menskalakan layanan tertentu:
Parameter permintaan
Parameter | Tipe | Wajib | Deskripsi |
|---|---|---|---|
deployed_model | String | Ya | Identifikasi unik penerapan model (parameter path). Anda dapat memperolehnya dari Buat penerapan atau operasi List deployments. |
capacity | Integer | Wajib bersyarat | Hanya berlaku ketika Jumlah unit sumber daya yang digunakan oleh model setelah pembaruan. Nilai ini harus merupakan kelipatan bilangan bulat dari |
ptu_capacity | Object | Wajib bersyarat | Hanya berlaku ketika Contoh: |
ptu_capacity.input_tpm | Number | Wajib bersyarat | Hanya berlaku ketika Jumlah token input maksimum per menit (input tokens per minute) yang didukung oleh model yang diterapkan. Didukung oleh semua model. |
ptu_capacity.output_tpm | Number | Wajib bersyarat | Hanya berlaku ketika Jumlah token output maksimum per menit (output tokens per minute) yang didukung oleh model yang diterapkan. Didukung oleh semua model. |
ptu_capacity.thinking_output_tpm | Number | Tidak | Hanya berlaku ketika Jumlah token output thinking terprovisi maksimum per menit (thinking output tokens per minute) yang didukung oleh model yang diterapkan. Didukung oleh beberapa model. |
Contoh respons
Setelah perintah dieksekusi, hasil berikut dikembalikan:
Parameter respons
Bidang respons sama dengan Dapatkan status penerapan model. Untuk detailnya, lihat parameter respons Dapatkan status penerapan model.
Hapus penerapan
Hapus penerapan model tertentu dan lepaskan sumber daya komputasi yang sesuai.
Endpoint
Contoh permintaan
Jalankan perintah berikut untuk menghapus penerapan tertentu.
Parameter permintaan
Parameter | Tipe | Lokasi | Wajib | Deskripsi |
|---|---|---|---|---|
deployed_model | String | path | Ya | Identifikasi unik penerapan model. Anda dapat memperolehnya dari Buat penerapan atau operasi List deployments. |
Contoh respons
Perhatikan bidang status. Ketika status menjadi DELETING, hal tersebut menandakan bahwa penerapan sedang dihapus.
Parameter respons
Bidang respons sama dengan Dapatkan status penerapan model. Untuk detailnya, lihat parameter respons Dapatkan status penerapan model.
Respons kesalahan
Contoh respons
Parameter respons
Bidang | Tipe | Deskripsi |
|---|---|---|
request_id | String | ID unik untuk permintaan. |
code | String | Kode kesalahan. |
message | String | Pesan kesalahan. |
Kode kesalahan | Pesan kesalahan | Alasan kesalahan |
|---|---|---|
NotFound | Model: xxx not found! |
|
Conflict | Deployed model xxx already exists, please specify a suffix. | Akhiran yang ditentukan saat membuat penerapan telah digunakan. |
InvalidParameter | Invalid capacity (xx), capacity must be larger than or equal to 0 and multiples of 1 and less than 1000! | Unit kapasitas tidak valid yang ditentukan saat membuat atau memperbarui penerapan. |