Skip to main content

Perutean Model

Perutean Model Cerdas menganalisis konten permintaan secara dinamis dan secara otomatis mencocokkan model yang paling sesuai dari kumpulan kandidat, membantu perusahaan mencapai alokasi sumber daya AI yang optimal dalam skenario yang kompleks.

Ikhtisar

model-code memiliki awalan tetap auto-model diikuti oleh 8 karakter acak (misalnya, auto-model-abcd1234). Klien memanggil model-code ini → perutean menganalisis konten permintaan secara dinamis dan mencocokkan model yang paling sesuai dari himpunan kandidat → model aktual melakukan inferensi → respons (body menandai model eksekusi aktual dan mempertahankan penggunaan token nyata). Cakupan:
DimensiDeskripsi
WilayahBeijing (cn-beijing) + Singapura (ap-southeast-1)
Jenis modelHanya input teks
Protokol pemanggilanMendukung antarmuka yang kompatibel dengan OpenAI (Chat Completions, Responses) dan protokol Anthropic (Messages); protokol DashScope native tidak didukung
PenagihanBayar sesuai pemakaian
PembatasanBerdasarkan model yang dirutekan secara aktual, pada tingkat akun dan ruang kerja
Keunggulan utama:
  • Maksimalkan efektivitas model: Secara otomatis mencocokkan model optimal untuk setiap tugas, ideal bagi pengguna dengan persyaratan kualitas yang sangat tinggi.
  • Pengurangan biaya yang tepat: Merutekan tugas sederhana ke model ringan dan tugas kompleks ke model kelas atas, menghindari penyediaan berlebih dan mencapai penyelarasan biaya-kebutuhan yang presisi.
  • Menghilangkan kesulitan pemilihan model: Tidak perlu evaluasi atau perbandingan model secara manual; platform memilih solusi optimal secara otomatis, sehingga menurunkan hambatan pemilihan model secara drastis.
  • Kurva pembelajaran minimal: Konsisten dengan akses model reguler; panggil melalui model-code tanpa perubahan kode apa pun.

Buat perute model

Di konsol Bailian pada bagian "Model Inference > Dedicated Deployment", klik Deploy New Model untuk masuk ke halaman pembuatan, dan pilih Intelligent Routing di bawah "Deployment Mode".

Prasyarat

  • Workspace Bailian telah diaktifkan.
  • Versi model rute target telah dipublikasikan, dan akun saat ini memiliki izin pemanggilan untuk versi tersebut dan model kandidat.

Langkah-langkah

  1. Masukkan Nama Layanan (wajib, hingga 50 karakter).
  2. Di bawah Deployment Mode, pilih "Intelligent Routing".
  3. Pada Versi Model Rute, pilih versi yang telah dipublikasikan (dikelola oleh platform).
  4. Di bawah Routing Strategy, pilih "Effect First" atau "Cost First".
  5. Di bawah Himpunan Model Kandidat, pilih model kandidat (minimal 2).
  6. Klik Confirm Deploy untuk menyelesaikan pembuatan.
Setelah penerapan, sistem menghasilkan model-code yang unik secara global (dalam bentuk auto-model-XXXXXXXX). model-code tidak digunakan kembali setelah penghapusan.

Strategi perutean

Strategi perutean menentukan model mana dalam himpunan kandidat yang mengeksekusi setiap permintaan. Kedua strategi mencocokkan secara dinamis berdasarkan konten permintaan (bukan perutean tetap); pilihan dibuat saat pembuatan.

Strategi

Mekanisme pemilihan

Skenario yang sesuai

Utamakan Efek (EFFECT_FIRST)

Memilih model dengan efek terkuat dalam himpunan kandidat untuk setiap permintaan

Bisnis kritis, penalaran kompleks, pembuatan konten berkualitas tinggi dengan standar kualitas yang ketat

Utamakan Biaya (COST_FIRST)

Menjadwalkan model ringan secara cerdas sambil memenuhi standar kualitas minimum

Skenario yang sensitif terhadap biaya, konkurensi tinggi, serta memperhatikan latensi dan biaya satuan

Konfigurasi model kandidat

Himpunan model kandidat adalah cakupan yang dapat dipilih oleh layanan perutean. Saat membuat perute model, pilih model yang akan berpartisipasi dalam perutean dari daftar kandidat di area Himpunan Model Kandidat—minimal 2 model kandidat diperlukan, jika tidak penerapan akan diblokir.
Pengguna RAM hanya dapat memilih model kandidat yang mereka miliki izin pemanggilan untuknya—jika kurang dari 2 yang dapat dipilih, berikan otorisasi pemanggilan model kepada pengguna RAM di workspace tersebut terlebih dahulu.
Versi model rute adalah bentuk rilis standar dari kemampuan perutean cerdas; setiap versi menentukan rentang model dan kemampuan inti yang didukung oleh sistem perutean untuk tahap tersebut. Daftar kandidat ditentukan oleh versi model rute yang dipilih—setiap versi sesuai dengan satu himpunan kandidat; kombinasi lintas versi tidak diperbolehkan. Versi model rute yang saat ini dipublikasikan dan model kandidatnya:
  • model-router-20260908

Model kandidat

Input

Input cache

Output

qwen3.8-flash

$0.15

$0.016

$0.47

kimi-k3

$3

$0.3

$15

qwen3.7-plus

0-256K: $0.4

256k-1M: $1.2

0-256K: $0.08

256k-1M: $0.24

0-256K: $1.6

256k-1M: $4.8

deepseek-v4-flash-0731 (Jam sibuk)

$0.44

$0.044

$1.32

deepseek-v4-flash-0731 (Jam sepi)

$0.22

$0.022

$0.66

qwen3.7-max

$2.5

$0.5

$7.5

glm-5.2

$1.4

$0.28

$4.4

deepseek-v4-pro-0813 (Jam sibuk)

$1.32

$0.132

$3.96

deepseek-v4-pro-0813 (Jam sepi)

$0.66

$0.066

$1.98

qwen3.8-max

$2

$0.25

$6

qwen3.7-flash

0-32K: $0.03

256k-1M: $0.2

32k-256K: $0.1

0-32K: $0.006

256k-1M: $0.04

32k-256K: $0.02

0-32K: $0.13

256k-1M: $0.8

32k-256K: $0.4

Tabel mencantumkan harga pemanggilan model kandidat (USD per juta token). Seri deepseek-v4 menggunakan penetapan harga berbasis waktu sibuk/sepi. Semua model kandidat mendukung mode berpikir; token berpikir ditagih dengan harga output.
Saat memilih model kandidat, perhatikan batas kuota setiap model untuk menghindari pembatasan laju saat dirutekan ke model karena kuota tidak mencukupi. Pilih model dengan kuota yang memadai, atau tingkatkan kuota RPM/TPM akun untuk model terkait sebelum pembuatan.

Panggil perute model

Setelah dibuat, memanggil perute model sama dengan memanggil model reguler—cukup ganti parameter model dalam permintaan dengan model-code milik perute (misalnya, auto-model-abcd1234); klien dapat berintegrasi tanpa perubahan kode. Tiga opsi pemanggilan didukung: antarmuka yang kompatibel dengan OpenAI (Chat Completions dan Responses) serta protokol Anthropic; contoh di bawah dikelompokkan per protokol.
  • Kompatibel dengan OpenAI (Chat Completions)
  • Kompatibel dengan OpenAI (Responses)
  • Protokol Anthropic
curl
curl -X POST https://{WorkspaceId}.{region}.maas.aliyuncs.com/compatible-mode/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto-model-abcd1234",
    "messages": [{"role": "user", "content": "你好"}]
  }'
Respons: bidang model di body respons berisi pengidentifikasi model yang benar-benar dipanggil (gunakan ini untuk memverifikasi bahwa perutean telah berlaku); body mempertahankan penggunaan token nyata, dan penagihan didasarkan pada model yang benar-benar dirutekan. Penagihan: Perutean cerdas menagih berdasarkan model aktual tempat setiap permintaan dirutekan; model perutean itu sendiri gratis.

Failover otomatis

Model Routing memiliki fitur pengalihan otomatis bawaan, diaktifkan secara default tanpa konfigurasi. Ketika model target tidak tersedia, layanan perutean mengirimkan ulang seluruh permintaan dengan model kandidat lain, bukan beralih di tengah inferensi. Hal berikut TIDAK memicu pengalihan otomatis; kesalahan diteruskan dengan info kesalahan asli dari model aktual:
  • 429 (batas laju)
  • 400/403/404/500 dan kesalahan deterministik lainnya (mengalihkan model kemungkinan juga akan gagal)
  • Kesalahan waktu habis atau jaringan
  • Kesalahan setelah streaming mulai mengembalikan konten
Pengalihan otomatis tidak menagih ganda: model A → pengalihan otomatis → model B berhasil, hanya model B yang ditagih.

Aturan pemfilteran real-time

Layanan perutean menerapkan pemfilteran real-time pada himpunan kandidat:
  • Memfilter model yang tidak memiliki izin panggilan untuk akun saat ini.
  • Memfilter model yang sedang offline.
  • Memfilter model yang tidak kompatibel dengan parameter permintaan saat ini (misalnya, jika permintaan membawa response_format, hanya model kandidat yang mendukung parameter tersebut yang akan dirutekan).
Subset yang benar-benar dapat dipilih untuk satu permintaan berubah secara dinamis mengikuti izin, status model, dan parameter permintaan.

Batas penggunaan

BatasDeskripsi
Protokol pemanggilanAntarmuka yang kompatibel dengan OpenAI (Chat Completions, Responses) dan protokol Anthropic (Messages); protokol DashScope native tidak didukung
Dukungan protokol:
ProtokolDidukung
Antarmuka yang kompatibel dengan OpenAI (Chat Completions)✓
Antarmuka yang kompatibel dengan OpenAI (Responses)✓
Protokol DashScope✗
Protokol Anthropic✓
Jenis permintaanHanya input teks (Chat Completions, Responses, dan Messages semuanya didukung); input gambar, video, pembuatan gambar, inferensi Batch, Embedding/Rerank, dan antarmuka non-generasi lainnya tidak didukung
Panjang konteksBatas atas = jendela konteks minimum dari model dalam himpunan kandidat; kesalahan konteks yang terlalu panjang langsung terjadi tanpa memicu failover otomatis
PembatasanRPM/TPM dibatasi oleh model yang dirutekan secara aktual pada tingkat akun dan ruang kerja; saat failover, hanya konsumsi model terakhir yang berhasil yang dihitung

Catatan parameter

Perutean cerdas memfilter himpunan kandidat secara real-time berdasarkan parameter permintaan dan menolak parameter yang tidak didukung (mengembalikan kesalahan 400 dalam bentuk does not support parameter(s): <nama parameter>). Dukungan parameter berbeda di antara tiga protokol pemanggilan:
  • Kompatibel dengan OpenAI (Chat Completions)
  • Kompatibel dengan OpenAI (Responses)
  • Protokol Anthropic
  • response_format: Hanya merutekan ke model kandidat yang mendukung parameter ini.
  • enable_search: Hanya merutekan ke model kandidat yang mendukung parameter ini.
  • reasoning_effort: Secara default hanya merutekan ke model kandidat yang mendukung parameter ini; nilai enum yang didukung: none, minimal, low, medium, high, xhigh, max; tingkat non-minimum hanya merutekan ke model non-berpikir.
  • enable_thinking: Hanya merutekan ke model kandidat yang mendukung mode berpikir.
Dalam mode perutean cerdas, parameter berikut tidak didukung; mengaturnya akan menyebabkan kesalahan runtime:
ParameterDeskripsi
top_logprobsBatas logprobs yang dikembalikan
logit_biasBias token
stopUrutan berhenti
tool_choicePilihan alat
parallel_tool_callsPemanggilan alat paralel
logprobsApakah akan mengembalikan logprobs
top_pSampling nukleus
temperatureSuhu sampling
presence_penaltyPenalti kehadiran
nJumlah generasi
thinking_budgetPanjang anggaran berpikir

Cache

Perutean cerdas tidak mendukung cache eksplisit; hanya mendukung cache implisit yang disediakan oleh model aktual yang dipanggil. Hit cache hanya dapat terjadi ketika permintaan dirutekan ke model yang sama dan awalan prompt memenuhi kondisi cache model tersebut. Karena permintaan yang berbeda dapat dirutekan ke model yang berbeda, perutean cerdas tidak menjamin tingkat hit cache. Untuk detail tentang cara kerja caching dan model yang didukung, lihat Context Cache.

Kelola layanan rute

Lihat detail

Setelah penerapan, klik nama layanan dalam daftar Dedicated Deployment untuk masuk ke halaman detail:
  • Info dasar: nama layanan, model-code, status berjalan, tag strategi perutean.
  • Konfigurasi rute: versi model rute, strategi perutean, himpunan kandidat, dan daftar model kandidat.
  • Penagihan: bayar sesuai pemakaian, ditagih berdasarkan harga satuan model aktual.
  • Konfigurasi penerapan: kuota pembatasan TPM/RPM setiap model kandidat.

Ubah konfigurasi rute

Klik "Edit" di area Konfigurasi Rute untuk mengubah versi rute, strategi, dan model kandidat. Mengganti versi akan mengubah himpunan kandidat, berlaku dalam beberapa menit tanpa memengaruhi permintaan yang sedang berlangsung. Setelah memilih versi tertentu, perilaku perutean online tetap stabil dalam jangka panjang; harap lakukan evaluasi menyeluruh sebelum meningkatkan versi untuk menghindari dampak bisnis. Versi saat ini: model-router-2026-0908. Versi rute tidak diperbarui secara otomatis.

Hapus layanan

Hapus layanan perutean model dari daftar Dedicated Deployment. model-code tidak digunakan kembali setelah penghapusan.

Efek perutean

Bab ini membahas metrik dan pemantauan efek perutean. Metrik efek dilihat pada tab "Efek perutean" di halaman detail; pemantauan panggilan dilihat pada halaman Model Monitoring.

Metrik perutean

Lihat metrik berikut pada tab "Efek perutean" di halaman detail. Metrik yang ditampilkan adalah estimasi, hanya untuk referensi; tidak untuk penyelesaian penagihan; penagihan aktual didasarkan pada "Cost and Usage":

Metrik

Arti

Tindakan anomali

Total permintaan perutean

Total permintaan yang diterima (termasuk yang berhasil dialihkan)

Selidiki pembatasan/anomali hulu saat terjadi lonjakan

Tingkat keberhasilan perutean

Permintaan yang diteruskan ÷ total permintaan × 100%

Jika turun, periksa ketersediaan model kandidat

Biaya model aktual (estimasi)

Total biaya diperkirakan berdasarkan harga daftar model aktual (penagihan bertingkat: tingkat terendah; puncak-lembah: harga puncak; tidak termasuk kuota gratis; menyimpang dari penagihan aktual)

Jika naik, periksa strategi perutean dan himpunan kandidat

Biaya model dasar (estimasi)

Biaya hipotetis jika semua ditangani oleh model dasar (metodologi estimasi yang sama)

—

Penghematan

Biaya dasar − biaya aktual (positif berarti perutean menghemat biaya)

—

Jumlah permintaan yang ditagih

Permintaan berhasil yang dikenakan biaya

—

Bagian pengeluaran

Biaya model tunggal ÷ total biaya

Saat terjadi anomali, periksa distribusi himpunan kandidat

Catatan biaya

Data analisis biaya memiliki keterlambatan sekitar 1 jam dan tidak bersifat real-time. Biaya di atas semuanya diperkirakan berdasarkan harga katalog sebagai biaya penuh, tidak termasuk diskon akun dan kuota gratis, hanya untuk referensi guna mengevaluasi penghematan perutean. Model penagihan bertingkat menggunakan harga katalog tingkat terendah; model dengan harga puncak-lembah menggunakan harga puncak. Penagihan aktual dapat dilihat di "Cost and Usage".

Pemantauan model

Untuk pemantauan panggilan yang lebih terperinci, buka halaman Model Monitoring. Halaman ini menampilkan pemantauan dan log model pada dimensi auto-model, bukan pemantauan individual dari model yang sebenarnya dirutekan.