Skip to main content

Pembuatan Teks-Model yang Diterapkan

Publikasikan model teks terlatih sebagai layanan API online.

Cakupan penerapan

Model yang Diterapkan

  • Tiongkok (Beijing)
  • Singapura
POST https://dashscope.aliyuncs.com/api/v1/deployments
Domain permintaan bervariasi menurut wilayah: wilayah Beijing menggunakan dashscope.aliyuncs.com, dan wilayah Singapura menggunakan dashscope-intl.aliyuncs.com; Dedicated Workspace Host ({WorkspaceId}.{region}.maas.aliyuncs.com) tersedia di semua wilayah. Untuk informasi domain lengkap setiap wilayah, lihat Regional endpoints.
Pada Windows CMD, ganti $DASHSCOPE_API_KEY dengan %DASHSCOPE_API_KEY%; pada PowerShell, ganti dengan $env:DASHSCOPE_API_KEY

Parameter permintaan

Header permintaan

Parameter

Tipe

Wajib

Deskripsi

Content-Type

String

Ya

Nilai tetap: application/json.

Authorization

String

Ya

Autentikasi Kunci API, dengan format Bearer sk-xxxx.

Body permintaan
Parameter body permintaan bervariasi bergantung pada metode penerapan (plan). Parameter body permintaan lengkap dan contoh penerapan untuk setiap metode penagihan adalah sebagai berikut:
  • Ditagih berdasarkan daya komputasi khusus DTU
  • Berdasarkan unit model
  • > Setelah Anda menjalankan perintah penerapan berikut, layanan penerapan model mulai menagih segera setelah penerapan berhasil, bahkan jika Anda belum memanggil model. Kami menyarankan Anda mengonfirmasi aturan penagihan layanan sebelum menjalankan perintah penerapan.
Dedicated Throughput (DTU) menggunakan penagihan prabayar (bulanan). Anda membeli kapasitas berdasarkan TPM input/output dan mendapatkan sumber daya GPU khusus. DTU merupakan penerus Model Unit (MU) dan opsi pilihan untuk penerapan dedicated baru. Sebelum menggunakannya, aktifkan fitur DTU di konsol dan ajukan permohonan kuota sumber daya. Untuk informasi selengkapnya, lihat Dedicated Throughput (DTU).
Permintaan API untuk penerapan DTU harus menggunakan domain maas.aliyuncs.com dari ruang kerja tempat penerapan berada (misalnya, ws-vxxx.cn-beijing.maas.aliyuncs.com) dan Kunci API ruang kerja tersebut; sku_code, template_code, dan rentang kapasitas dikueri melalui API daftar model yang dapat diterapkan dengan plan=dtu. Untuk parameter lengkap dan API seperti penskalaan, modifikasi batas laju, dan pembaruan model, lihat Model deployment API reference.

Parameter

Tipe

Wajib

Deskripsi

model_name

String

Ya

Nama model yang akan diterapkan, sesuai dengan ID model di My Models. Nama ini juga dapat diperoleh dari output API Create Training Task.

plan

String

Ya

Rencana penerapan, yang menentukan metode penagihan: dtu (daya komputasi khusus DTU), mu (Model Unit), cu (Computing Power Unit), lora (penerapan bersama LoRA, ditagih berdasarkan penggunaan token).

display_name

String

Ya

Nama tampilan layanan, maksimal 50 karakter (metode penerapan lainnya menggunakan name).

suffix

String

Tidak

Akhiran pengidentifikasi penerapan, maksimal 24 karakter; pengidentifikasi penerapan lengkap yang dihasilkan tidak melebihi 100 karakter. Dibuat otomatis jika dihilangkan.

sku_code

String

Ya

SKU prabayar yang tersedia untuk model saat ini, dikueri melalui API daftar model yang dapat diterapkan dengan plan=dtu.

template_code

String

Ya

Templat penerapan yang cocok dengan model dan SKU; diperoleh dari kueri yang sama dengan sku_code.

charge_type

String

Ya

Metode penagihan; untuk DTU, selalu diatur ke pre_paid (prabayar).

dtu_capacity

Object

Ya

Kapasitas DTU yang dibeli; Anda harus menyediakan input_tpm dan output_tpm. Untuk rentang pembelian dan aturan langkah, lihat Model deployment API reference.

dtu_capacity.input_tpm

Integer

Ya

TPM input yang dibeli (token/menit); bilangan bulat non-negatif dengan nilai maksimum 2147483647, dan harus merupakan kelipatan bilangan bulat dari langkah yang diperoleh dari kueri.

dtu_capacity.output_tpm

Integer

Ya

TPM output yang dibeli (token/menit); bilangan bulat non-negatif dengan nilai maksimum 2147483647, dan harus menggunakan kelipatan yang sama dengan TPM input.

pre_paid_info

Object

Ya

Pengaturan pembelian prabayar dan perpanjangan otomatis. Berisi bidang: pricing_cycle (selalu diatur ke Month), duration (durasi pembelian dalam bulan), auto_renewal (apakah mengaktifkan perpanjangan otomatis), dan auto_renewal_duration (durasi perpanjangan dalam bulan saat perpanjangan otomatis diaktifkan).

curl "https://ws-vxxx.cn-beijing.maas.aliyuncs.com/api/v1/deployments" \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "model_name": "your-supported-model",
    "display_name": "业务模型服务",
    "suffix": "production",
    "plan": "dtu",
    "sku_code": "your-prepaid-sku",
    "template_code": "your-template",
    "charge_type": "pre_paid",
    "pre_paid_info": {
        "pricing_cycle": "Month",
        "duration": 1,
        "auto_renewal": false
    },
    "dtu_capacity": {"input_tpm": 10000, "output_tpm": 10000}
}'

Pemecahan masalah penerapan dan penyetelan performa

Parameter max-num-seqs tidak dapat dikonfigurasi

Penerapan model Model Studio menggunakan throughput reservation (produk terpisah; lihat dokumentasi API-nya) atau penagihan berdasarkan unit model. Pada kedua metode penagihan tersebut, throughput, konkurensi, dan kecepatan generasi telah ditetapkan sebelumnya oleh platform. Penyesuaian langsung parameter mesin inferensi vLLM seperti max-num-seqs tidak didukung, dan parameter tersebut tidak ada dalam parameter permintaan API ini. Pada metode penagihan berdasarkan unit model, Anda dapat mengontrol throughput secara tidak langsung dengan memilih Jenis Unit Model (sesuai parameter permintaan template_id) dan menyesuaikan Replika yang Diterapkan (sesuai parameter permintaan capacity).

Templat penerapan dan isolasi sumber daya

Templat penerapan saat ini hanya mendukung penerapan node tunggal (penerapan node tunggal dengan inferensi umum yang ditingkatkan); isolasi instans multi-kartu tidak didukung. Jika Anda memerlukan isolasi sumber daya, gunakan metode penagihan berdasarkan unit model, yang sumber daya komputasinya didedikasikan untuk bisnis Anda.

Penanganan kesalahan throttling

Ketika permintaan bersamaan melebihi ambang batas throttling, API mengembalikan HTTP 429, dengan kode kesalahan Throttling.RateQuota dan pesan kesalahan Requests rate limit exceeded, please try again later. Solusi:
  • Throughput reservation (produk terpisah; lihat dokumentasi API-nya): sesuaikan input_tpm dan output_tpm dalam ptu_capacity (sesuai dengan Input kTPM dan Output kTPM di konsol), atau kurangi laju permintaan. Pada metode ini, Anda dapat memilih luapan otomatis (beralih ke pay-as-you-go) atau hanya kapasitas tercadang (permintaan yang melebihi kapasitas langsung mengembalikan 429) sebagai strategi luapan.
  • Berdasarkan unit model: sesuaikan rpm_limit dan tpm_limit, atau kurangi laju permintaan.

Penyetelan panjang konteks

Pada metode penagihan berdasarkan unit model, Anda dapat mengonfigurasi Jendela Konteks dengan parameter permintaan max_context_length, yang nilainya berkisar dari 1 hingga 262144 (batas atas sebenarnya bergantung pada kemampuan model yang diterapkan). Parameter ini membatasi ukuran konteks satu permintaan, sehingga membatasi penggunaan memori per permintaan dan mengurangi risiko OOM. Saat memproses tugas dengan sejumlah besar gambar, atur parameter ini berdasarkan ukuran gambar dan jumlah gambar per permintaan.

Parameter respons

Parameter

Tipe

Deskripsi

request_id

String

Pengidentifikasi unik permintaan.

output

Object

Detail tugas.

output.deployed_model

String

Pengidentifikasi unik model yang diterapkan. Digunakan untuk mengkueri status penerapan model dan memanggil model.

output.name

String

Nama tampilan penerapan.

output.model_name

String

Nama pengidentifikasi model.

output.base_model

String

Model dasar yang digunakan.

output.status

String

Status penerapan: PENDING (sedang dibuat), DEPLOYING (sedang diterapkan), WAIT_PRE_PAID_BILLING_TO_DEPLOYING (pembuatan berada dalam fase pemrosesan pesanan prabayar, DTU), WAIT_PRE_PAID_BILLING_TO_SCALING (penskalaan berada dalam fase pemrosesan pesanan prabayar, DTU), UPDATING (sedang diperbarui), RUNNING (berjalan dan dapat memproses permintaan secara normal), SCALING (sedang diskalakan), STOPPED (dihentikan, tidak ditagih), DELETING (sedang dihapus), FAILED (pembuatan atau pembaruan gagal).

output.workspace_id

String

ID ruang kerja tempat Kunci API berada. Untuk informasi selengkapnya, lihat Dapatkan ID Ruang Kerja.

output.charge_type

String

Mode penagihan: post_paid (pay-as-you-go), pre_paid (prabayar).

output.creator

String

ID akun Alibaba Cloud milik pembuat.

output.modifier

String

ID akun Alibaba Cloud milik pengubah.

output.plan

String

Metode penerapan.

output.gmt_create

String

Waktu pembuatan tugas penerapan.

output.gmt_modified

String

Waktu pembaruan tugas penerapan.

Hanya dikembalikan untuk metode penerapan unit model (mu).

output.base_capacity

Number

Jumlah minimum unit sumber daya yang diperlukan untuk menjalankan model dasar.

output.ready_capacity

Number

Jumlah unit sumber daya yang siap dan dapat segera memproses permintaan.

output.capacity

Number

Jumlah unit sumber daya yang digunakan oleh penerapan.

output.model_unit_spec

String

Spesifikasi unit model.

output.enable_thinking

Boolean

Apakah mode thinking diaktifkan.

output.max_context_length

Number

Batas panjang konteks maksimum.

output.rpm_limit

Number

Jumlah permintaan per menit.

output.tpm_limit

Number

Penggunaan token per menit.

Hanya dikembalikan untuk metode penerapan provisioned throughput (ptu_v2)

output.ptu_capacity

Object

Konfigurasi provisioned throughput, termasuk input_tpm (token input maksimum per menit) dan output_tpm (token output maksimum per menit); beberapa model juga mendukung thinking_output_tpm (token output maksimum untuk thinking tercadang).

Hanya dikembalikan untuk metode penerapan DTU (dtu)

output.dtu_capacity

Object

Kapasitas TPM input/output yang dibeli, termasuk input_tpm dan output_tpm.

output.pre_paid_info

Object

Informasi pembayaran prabayar dan perpanjangan otomatis.

Untuk daftar lengkap bidang respons DTU, lihat Model deployment API reference

Dikembalikan saat pemanggilan gagal

code

String

Kode kesalahan. Dikembalikan saat pemanggilan gagal.

message

String

Deskripsi detail kesalahan. Dikembalikan saat pemanggilan gagal.

  • Deskripsi kesalahan terperinci. Dikembalikan saat pemanggilan gagal.
  • Contoh respons kesalahan
Perhatikan secara khusus: output.deployed_model (pengidentifikasi unik model yang diterapkan) dan output.status (status penerapan).
{
    "request_id": "f2ae64f7-83cc-410c-bc0b-840443f7eb86",
    "output": {
        "deployed_model": "qwen-plus-2025-12-01-mu-xxxx",
        "gmt_create": "2025-06-17T11:00:38.68",
        "gmt_modified": "2025-06-17T11:00:38.68",
        "status": "PENDING",
        "model_name": "qwen-plus-2025-12-01",
        "base_model": "qwen-plus",
        "model_unit_spec": "MU1",
        "enable_thinking": true,
        "max_context_length": 10000,
        "rpm_limit": 500,
        "tpm_limit": 1000,
        "base_capacity": 1,
        "ready_capacity": 0,
        "workspace_id": "llm-v71tlv3d***",
        "charge_type": "post_paid",
        "creator": "175805416***",
        "modifier": "175805416***",
        "plan": "mu"
    }
}

Langkah selanjutnya

Penerapan adalah operasi asinkron. Setelah memanggil API ini, Anda dapat mengkueri status penerapan melalui API Mengkueri dan mengelola penerapan.