Penerapkan model menggunakan API atau CLI - Alibaba Cloud Model Studio

Prasyarat

Anda telah membaca Ikhtisar Penerapan Model dan memahami model yang didukung serta langkah-langkah penerapan dasar.
Buat Kunci API dan ekspor Kunci API sebagai variabel lingkungan.

1. Terapkan model

Perintah berikut menggunakan model kustom hasil fine-tuning qwen3-8b-ft-202511132025-0260 untuk membuat layanan khusus bernama qwen3-8b-ft-202511132025-0260. Untuk mendapatkan ID model kustom, buka halaman Konsol Model Studio - fine-tuning model. Klik Task Name dari model yang ingin Anda terapkan, lalu klik Outputs, kemudian klik nama model berwarna biru. Hal ini akan membuka halaman My Models, tempat Anda dapat menemukan Model ID pada bagian informasi dasar. Gunakan Model ID sebagai nilai parameter input model_name untuk menerapkan model melalui API.

Provisioned Throughput (PTU)
Model unit
Token usage

Setelah menjalankan perintah penerapan, penagihan dimulai segera setelah layanan berhasil diterapkan, meskipun Anda tidak menggunakannya. Sebelum melanjutkan, pastikan Anda memahami aturan penagihan layanan.

Metode penagihan provisioned throughput mengenakan biaya berdasarkan durasi penggunaan. Metode ini cocok untuk skenario yang memerlukan throughput stabil, konkurensi tinggi, latensi rendah, dan traffic yang dapat diprediksi. Dalam mode ini, platform menyediakan kapasitas throughput/konkurensi dan kecepatan generasi yang tidak dapat disesuaikan.

curl "https://dashscope-intl.aliyuncs.com/api/v1/deployments" \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "name": "my_qwen_flash",
    "model_name": "qwen-flash-2025-07-28",
    "plan": "ptu",
    "ptu_capacity": {
        "input_tpm": 10000,
	"output_tpm": 1000
    }
}'

Setelah menjalankan perintah penerapan, penagihan dimulai segera setelah layanan berhasil diterapkan, meskipun Anda tidak menggunakannya. Sebelum melanjutkan, pastikan Anda memahami aturan penagihan layanan.
Sumber daya komputasi untuk rencana model unit post-paid dialokasikan berdasarkan prinsip first-come, first-served. Jika pembelian tidak berhasil, pengembalian dana penuh akan diberikan.

Metode penagihan model unit mengenakan biaya berdasarkan durasi penggunaan. Metode ini ideal untuk tugas inferensi berskala besar setelah fine-tuning model, menawarkan sumber daya khusus dengan penyesuaian performa dan biaya yang fleksibel. Anda dapat menyesuaikan throughput/konkurensi dan kecepatan generasi.

curl "https://dashscope-intl.aliyuncs.com/api/v1/deployments" \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "name": "my_qwen_plus",
    "model_name": "qwen-plus-2025-12-01",
    "plan": "mu",
    "deploy_spec": "MU1",
    "enable_thinking": true,
    "capacity": 4,
    "max_context_length": 10000,
    "rpm_limit": 500,
    "tpm_limit": 1000
}'

Mode penerapan model unit mendukung pengaturan tambahan berikut:

Parameter	Deskripsi
Model inference mode	Metode Model Unit memungkinkan Anda mengonfigurasi parameter seperti mode inferensi dan konteks maksimum untuk beberapa model. Instruct - Setelah penerapan, model menjalankan inferensi dalam mode instruct. Thinking - Setelah penerapan, model menjalankan inferensi dalam mode thinking.
Max context	Pengaturan ini tersedia untuk beberapa model yang diterapkan menggunakan metode Model Unit. Panjang konteks maksimum bervariasi tergantung jenis model.
Service throttling	Pengaturan ini tersedia untuk beberapa model yang diterapkan menggunakan metode Model Unit. Anda dapat menetapkan batas permintaan per menit (RPM) dan token per menit (TPM).

Parameter

Deskripsi

Model inference mode

Metode Model Unit memungkinkan Anda mengonfigurasi parameter seperti mode inferensi dan konteks maksimum untuk beberapa model.

Instruct - Setelah penerapan, model menjalankan inferensi dalam mode instruct.
Thinking - Setelah penerapan, model menjalankan inferensi dalam mode thinking.

Max context

Pengaturan ini tersedia untuk beberapa model yang diterapkan menggunakan metode Model Unit. Panjang konteks maksimum bervariasi tergantung jenis model.

Service throttling

Pengaturan ini tersedia untuk beberapa model yang diterapkan menggunakan metode Model Unit. Anda dapat menetapkan batas permintaan per menit (RPM) dan token per menit (TPM).

Untuk mempelajari cara mengonfigurasi pengaturan ini melalui API, lihat Buat tugas penerapan model menggunakan API.

Dengan penagihan berbasis token usage, Anda dikenai biaya berdasarkan penggunaan token. Metode ini cocok untuk skenario yang sensitif terhadap biaya di mana persyaratan konkurensi dan latensi tidak kritis. Mode ini menawarkan keunggulan harga terbaik; platform menyediakan throughput/konkurensi dan kecepatan generasi yang tidak dapat disesuaikan.

curl "https://dashscope-intl.aliyuncs.com/api/v1/deployments" \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "model_name": "qwen3-8b-ft-202511132025-0260",
    "plan": "lora",
    "capacity": 1,
    "name": "qwen3-8b-ft"
}'

Parameter capacity wajib diisi tetapi saat ini tidak memiliki efek. Untuk meminta penskalaan, buka Konsol penerapan model dan kirim formulir.

Jika berhasil, perintah tersebut mengembalikan respons berikut (menggunakan contoh penerapan LoRA):

{
    "request_id": "83b173ab-2b2f-41aa-8c57-b173e8be934e",
    "output":
    {
        "deployed_model": "qwen3-8b-ft-202511132025-0260",
        "gmt_create": "2025-11-20T20:06:46.405",
        "gmt_modified": "2025-11-20T20:06:46.405",
        "status": "PENDING",
        "model_name": "qwen3-8b-ft-202511132025-0260",
        "base_model": "qwen3-8b",
        "workspace_id": "llm-8v*****",
        "charge_type": "post_paid",
        "creator": "16542*****",
        "modifier": "16542*****",
        "plan": "***"
    }
}

Di mana deployed_model adalah ID unik layanan khusus tersebut.

2. Kueri status layanan

Jalankan perintah berikut untuk mengkueri detail layanan khusus tertentu:

curl "https://dashscope-intl.aliyuncs.com/api/v1/deployments/qwen3-8b-ft-202511132025-0260" \
    --header "Authorization: Bearer $DASHSCOPE_API_KEY" \
    --header 'Content-Type: application/json'

Jika berhasil, perintah tersebut mengembalikan respons berikut:

{
    "request_id": "ca36952d-9136-426e-ab08-68a97ad72719",
    "output":
    {
        "deployed_model": "qwen3-8b-ft-202511132025-0260",
        "gmt_create": "2025-11-20T20:32:08",
        "gmt_modified": "2025-11-20T20:42:25",
        "status": "RUNNING",
        "model_name": "qwen3-8b-ft-202511132025-0260",
        "base_model": "qwen3-8b",
        "base_capacity": 2,
        "capacity": 2,
        "ready_capacity": 2,
        "workspace_id": "llm-8v53etv3hwb8orx1",
        "charge_type": "post_paid",
        "creator": "1654290265984853",
        "modifier": "1654290265984853",
        "plan": "mu",
        "model_unit_spec": "MU1"
    }
}

Ketika status layanan adalah RUNNING, penerapan layanan telah selesai.

3. Kirim permintaan inferensi

Jika ini pertama kalinya Anda menggunakan SDK DashScope, lihat Instal SDK.Pastikan ruang kerja Kunci API sesuai dengan ruang kerja penerapan model.

Gunakan SDK untuk mengirim permintaan ke layanan khusus:

from dashscope import Generation
from http import HTTPStatus
import os
response = Generation.call(
    model='qwen3-8b',
    prompt='Who are you?',
    enable_thinking=False,
    api_key=os.getenv('DASHSCOPE_API_KEY'),
)
if response.status_code == HTTPStatus.OK:
    print(response.output)
    print(response.usage)
else:
    print(response.code)
    print(response.message)

Eksekusi yang berhasil mengembalikan respons berikut:

{"text": "I am Qwen, a large language model developed by Alibaba Cloud. I am designed to generate various types of text, such as articles, stories, and poems, and to engage in conversations, answer questions, provide information, and offer help in different scenarios. I'm happy to serve you! If you have any questions or need assistance, please feel free to let me know.", "finish_reason": "stop", "choices": null}
{"input_tokens": 11, "output_tokens": 63, "total_tokens": 74}

4. Hapus layanan khusus

Menjalankan perintah hapus akan segera mengambil layanan penerapan offline. Tindakan ini tidak dapat dikembalikan dan memiliki efek berikut:

Anda tidak dapat lagi memanggil model tersebut.
Penagihan untuk layanan tersebut berhenti.

Jika Anda tidak lagi memerlukan layanan khusus, Anda dapat menghapusnya menggunakan perintah berikut:

curl --request DELETE 'https://dashscope-intl.aliyuncs.com/api/v1/deployments/qwen3-8b-ft-202511132025-0260' \
    --header "Authorization: Bearer $DASHSCOPE_API_KEY" \
    --header 'Content-Type: application/json'

Jika berhasil, perintah tersebut mengembalikan respons berikut:

{
    "request_id": "8f726017-6042-420e-a465-0d366a3aba59",
    "output":
    {
        "deployed_model": "qwen3-8b-ft-202511132025-0260",
        "gmt_create": "2025-11-20T20:32:08",
        "gmt_modified": "2025-11-27T16:35:31.591",
        "status": "DELETING",
        "model_name": "qwen3-8b-ft-202511132025-0260",
        "base_model": "qwen3-8b",
        "base_capacity": 2,
        "capacity": 2,
        "ready_capacity": 2,
        "workspace_id": "llm-8v53etv3hwb8orx1",
        "charge_type": "post_paid",
        "creator": "1654290265984853",
        "modifier": "1654290265984853",
        "plan": "mu",
        "model_unit_spec": "MU1"
    }
}

Setelah menghapus layanan, Anda tidak dapat lagi mengkueri statusnya menggunakan metode yang dijelaskan di 2. Kueri status layanan.

Referensi API

Untuk detail panggilan API, lihat Detail API.

FAQ

Galat izin selama penerapan

Saat menerapkan model menggunakan API, pastikan hal berikut:

Workspace Kunci API harus memiliki izin untuk mengelola model tersebut. Buka halaman Business Space Management di Model Studio dan periksa pengaturan izin penerapan model untuk ruang kerja yang sesuai.
Kesalahan panggilan API: Workspace xxx does not have deployment privilege for model xxxx.
Pada kolom Actions untuk ruang kerja yang sesuai, klik Model Permission and Flow Control Settings. Pada Model List, temukan model target dan periksa status otorisasi pada kolom Model Deployment. Jika menampilkan Not Authorized, klik Edit pada kolom Actions untuk memberikan izin. Jika Anda masih tidak memiliki izin yang diperlukan, mintalah administrator TI atau organisasi Anda untuk memberikan izin tersebut atau melakukan operasi atas nama Anda.
Owner Account yang memiliki Kunci API memiliki izin yang diperlukan di Workspace. Buka Konsol Model Studio, klik ruang kerja di pojok kiri bawah, alihkan ke ruang kerja yang benar, lalu klik untuk memeriksa pengaturan izin penerapan model.
Galat panggilan API: Workspace access denied.
Pada panel navigasi kiri, klik Permission Management dan pastikan daftar pengguna mencakup akun pemilik Kunci API (dengan tipe primary account). Jika Anda masih tidak memiliki izin yang diperlukan, mintalah administrator TI atau organisasi Anda untuk memberikan izin tersebut atau melakukan operasi atas nama Anda.

​Prasyarat

​1. Terapkan model

​2. Kueri status layanan

​3. Kirim permintaan inferensi

​4. Hapus layanan khusus

​Referensi API

​FAQ

​Galat izin selama penerapan

Prasyarat

1. Terapkan model

2. Kueri status layanan

3. Kirim permintaan inferensi

4. Hapus layanan khusus

Referensi API

FAQ

Galat izin selama penerapan