API manajemen penerapan model berlaku untuk semua jenis model, termasuk teks, gambar, video, dan suara . API ini mendukung kueri status dan daftar penerapan, modifikasi pembatasan kecepatan, penskalaan, serta penghapusan penerapan.
Prasyarat
- Wilayah yang didukung: Fitur yang dijelaskan dalam dokumen ini hanya tersedia di wilayah Singapore, dan Anda harus menggunakan API Key dari wilayah tersebut.
- Anda telah berhasil mendapatkan API Key dan mengonfigurasikannya sebagai variabel lingkungan.
- Anda telah membaca Penerapan model dan Terapkan model menggunakan API untuk memahami langkah-langkah dasar penerapan model.
Dapatkan status penerapan model
Kueri detail dan status berjalan dari penerapan model tertentu. Anda dapat melakukan polling terhadap API ini; ketika nilai status menjadi RUNNING, hal tersebut menandakan bahwa model telah berhasil diterapkan.
Endpoint
Contoh permintaan
Permintaan contoh:
Parameter permintaan
Parameter | Tipe | Lokasi | Wajib | Deskripsi |
|---|---|---|---|---|
deployed_model | String | path | Ya | Identifikasi unik untuk penerapan model. Dikembalikan oleh operasi Create deployment atau List deployments. |
Contoh respons
Perhatikan bidang status. Ketika status menjadi RUNNING, model telah berhasil diterapkan dan siap untuk dipanggil.
Parameter respons
Bidang | Tipe | Deskripsi |
|---|---|---|
request_id | String | Identifikasi unik untuk permintaan. |
output | Object | Detail pekerjaan. |
output.deployed_model | String | Identifikasi unik penerapan model. Digunakan untuk mengkueri status penerapan dan memanggil model. |
output.model_name | String | Nama identifikasi model. |
output.base_model | String | Model dasar yang digunakan. |
output.status | String | Status penerapan:
|
output.base_capacity | Number | Jumlah unit sumber daya dasar. |
output.capacity | Number | Jumlah unit sumber daya saat ini. |
output.ready_capacity | Number | Jumlah unit sumber daya yang siap. |
output.workspace_id | String | ID ruang kerja yang terkait dengan API Key Alibaba Cloud Model Studio. Lihat Dapatkan ID Ruang Kerja. |
output.charge_type | String | Mode penagihan. post_paid menunjukkan bayar sesuai penggunaan. |
output.gmt_create | String | Waktu pembuatan penerapan. |
output.gmt_modified | String | Waktu penerapan terakhir dimodifikasi. |
output.creator | String | ID akun Alibaba Cloud dari pembuat. |
output.modifier | String | ID akun Alibaba Cloud dari pengubah. |
output.plan | String | Rencana penerapan. |
Daftar model yang dapat diterapkan
Dapatkan daftar model kandidat yang memenuhi syarat untuk penerapan pada platform Model Studio, yaitu model-model yang dapat digunakan untuk membuat penerapan.
Endpoint
Contoh permintaan
Gunakan perintah berikut untuk mengkueri model yang tersedia untuk penerapan. Kami merekomendasikan menggunakan version=v1.0 untuk mendapatkan respons lengkap yang mencakup informasi rencana dan templat penerapan.
Parameter permintaan
Parameter | Tipe | Wajib | Deskripsi |
|---|---|---|---|
page_no | Number | Tidak | Nomor halaman. Nilai default: 1. |
page_size | Number | Tidak | Ukuran halaman. Nilai default: 50. Nilai maksimum: 100. Nilai minimum: 1. |
model_source | String | Tidak | Sumber model. |
version | String | Tidak | Versi API. Kami merekomendasikan menggunakan |
Contoh respons
Setelah perintah dieksekusi, hasil berikut dikembalikan:
Parameter respons
Parameter | Tipe | Deskripsi |
|---|---|---|
models | Array | Daftar model yang dapat diterapkan. |
models[].model_name | String | Nama model. |
models[].plans | Array | Daftar rencana penerapan yang didukung oleh model. Dikembalikan ketika |
models[].plans[].plan | String | Jenis rencana penerapan: |
models[].plans[].templates | Array | Daftar templat penerapan (dikembalikan ketika |
models[].plans[].templates[].template_id | String | ID templat, diteruskan sebagai parameter |
models[].plans[].templates[].template_name | String | Nama tampilan templat. |
models[].plans[].templates[].template_type | String | Jenis templat: |
models[].plans[].templates[].template_version | String | Versi templat. |
models[].plans[].templates[].template_desc | String | Deskripsi templat. |
models[].plans[].templates[].roles | Object | Konfigurasi peran node. Mode COUPLED berisi node |
models[].plans[].templates[].roles.{role}.model_unit_spec | String | Spesifikasi unit model. |
models[].plans[].templates[].roles.{role}.capacity_unit_per_instance | Number | Jumlah unit kapasitas per instans, yaitu base_capacity. Saat membuat penerapan, nilai |
page_no | Number | Nomor halaman kueri. |
page_size | Number | Ukuran halaman kueri. |
total | Long | Total jumlah model yang sesuai dengan kondisi kueri. |
Daftar model yang telah diterapkan
Dapatkan daftar instans yang telah diterapkan, yaitu layanan model yang benar-benar berjalan atau telah diterapkan di ruang kerja saat ini.
Endpoint
Contoh permintaan
Jalankan perintah berikut untuk mendapatkan daftar layanan khusus:
Parameter permintaan
Parameter | Tipe | Lokasi | Wajib | Deskripsi |
|---|---|---|---|---|
page_no | Number | query | Tidak | Nomor halaman. Default: 1. |
page_size | Number | query | Tidak | Ukuran halaman. Default: 50. Maksimum: 200. Minimum: 1. |
Contoh respons
Respons contoh:
Parameter respons
Bidang | Tipe | Deskripsi |
|---|---|---|
request_id | String | Identifikasi unik untuk permintaan. |
output.page_no | Number | Nomor halaman saat ini. |
output.page_size | Number | Jumlah item per halaman. |
output.total | Number | Total jumlah penerapan. |
output.deployments | Array | Daftar penerapan model. Setiap elemen memiliki bidang yang sama dengan output dari operasi Get a model deployment. |
Modifikasi pembatasan kecepatan penerapan
Modifikasi pengaturan pembatasan kecepatan RPM (Requests Per Minute) dan TPM (Tokens Per Minute) untuk penerapan model tertentu.
Endpoint
Contoh permintaan
Jalankan perintah berikut untuk memodifikasi pengaturan pembatasan kecepatan penerapan tertentu:
Parameter permintaan
Parameter | Tipe | Lokasi | Wajib | Deskripsi |
|---|---|---|---|---|
deployed_model | String | path | Ya | Identifikasi unik untuk penerapan model. Anda dapat memperolehnya dari operasi Create deployment atau List deployments. |
rpm_limit | Number | body | Minimal satu parameter | Permintaan per menit (RPM). |
tpm_limit | Number | body | Token per menit (TPM). |
Contoh respons
Respons contoh:
Parameter respons
Selain bidang dasar yang tercantum dalam operasi Get a model deployment, respons juga dapat mencakup bidang berikut:
Bidang | Tipe | Deskripsi |
|---|---|---|
output.plan | String | Rencana penerapan. |
output.model_unit_spec | String | Templat penerapan unit model, seperti MU1. |
output.enable_thinking | Boolean | Apakah mode thinking diaktifkan. |
output.max_context_length | Number | Panjang konteks maksimum. |
output.rpm_limit | Number | Batas permintaan per menit. |
output.tpm_limit | Number | Batas token per menit. |
Skalakan penerapan
Atur jumlah unit sumber daya yang digunakan oleh layanan khusus melalui operasi pembaruan.
Endpoint
Contoh permintaan
Jalankan perintah berikut untuk menskalakan layanan tertentu:
Parameter permintaan
Parameter | Tipe | Lokasi | Wajib | Deskripsi | |
|---|---|---|---|---|---|
deployed_model | String | path | Ya | Identifikasi unik untuk penerapan model. Anda dapat memperolehnya dari operasi Create deployment atau List deployments. | |
capacity | Number | body | Wajib bersyarat | Hanya tersedia ketika Untuk informasi lebih lanjut, lihat dukungan fitur untuk penerapan unit model. | Unit sumber daya yang digunakan oleh model setelah pembaruan. Harus merupakan kelipatan bilangan bulat dari |
ptu_capacity | Object | body | Wajib bersyarat | Hanya tersedia ketika Untuk informasi lebih lanjut, lihat dukungan fitur untuk penerapan PTU. | Berlaku hanya ketika Contoh: |
ptu_capacity.input_tpm | Number | body | Didukung oleh semua model. Token input per menit. Jumlah maksimum token input per menit yang didukung oleh model yang diterapkan. | ||
ptu_capacity.output_tpm | Number | body | Didukung oleh semua model. Token output per menit. Jumlah maksimum token output per menit yang didukung oleh model yang diterapkan. | ||
ptu_capacity.thinking_output_tpm | Number | body | Didukung oleh beberapa model. Token output thinking per menit. Jumlah maksimum token output thinking per menit yang didukung oleh model yang diterapkan. | ||
Contoh respons
Respons contoh:
Parameter respons
Parameter respons sama dengan operasi Get a model deployment. Untuk detailnya, lihat parameter respons Get a model deployment.
Hapus penerapan
Hapus penerapan model tertentu dan lepaskan sumber daya komputasi yang sesuai.
Endpoint
Contoh permintaan
Jalankan perintah berikut untuk menghapus penerapan tertentu.
Parameter permintaan
Parameter | Tipe | Lokasi | Wajib | Deskripsi |
|---|---|---|---|---|
deployed_model | String | path | Ya | Identifikasi unik untuk penerapan model. Anda dapat memperolehnya dari operasi Create deployment atau List deployments. |
Contoh respons
Perhatikan bidang status. Ketika status menjadi DELETING, hal tersebut menandakan bahwa penerapan sedang dihapus.
Parameter respons
Parameter respons sama dengan operasi Get a model deployment. Untuk detailnya, lihat parameter respons Get a model deployment.
Respons kesalahan
Contoh respons
Parameter respons
Bidang | Tipe | Deskripsi |
|---|---|---|
request_id | String | ID unik untuk permintaan. |
code | String | Kode kesalahan. |
message | String | Pesan kesalahan. |
Kode kesalahan | Pesan kesalahan | Alasan kesalahan |
|---|---|---|
NotFound | Model: xxx not found! |
|
Conflict | Deployed model xxx already exists, please specify a suffix. | Akhiran yang ditentukan sudah digunakan. |
InvalidParameter | Invalid capacity (xx), capacity must be larger than or equal to 0 and multiples of 1 and less than 1000! | Unit kapasitas yang ditentukan tidak valid saat membuat atau memperbarui penerapan. |