Perutean Model Cerdas menganalisis konten permintaan secara dinamis dan secara otomatis mencocokkan model yang paling sesuai dari kumpulan kandidat, membantu perusahaan mencapai alokasi sumber daya AI yang optimal dalam skenario yang kompleks.
Ikhtisar
model-code memiliki awalan tetap auto-model diikuti oleh 8 karakter acak (misalnya, auto-model-abcd1234). Klien memanggil model-code ini → perutean menganalisis konten permintaan secara dinamis dan mencocokkan model yang paling sesuai dari himpunan kandidat → model aktual melakukan inferensi → respons (body menandai model eksekusi aktual dan mempertahankan penggunaan token nyata).
Cakupan:
| Dimensi | Deskripsi |
|---|---|
| Wilayah | Beijing (cn-beijing) + Singapura (ap-southeast-1) |
| Jenis model | Hanya input teks |
| Protokol pemanggilan | Mendukung antarmuka yang kompatibel dengan OpenAI (Chat Completions, Responses) dan protokol Anthropic (Messages); protokol DashScope native tidak didukung |
| Penagihan | Bayar sesuai pemakaian |
| Pembatasan | Berdasarkan model yang dirutekan secara aktual, pada tingkat akun dan ruang kerja |
- Maksimalkan efektivitas model: Secara otomatis mencocokkan model optimal untuk setiap tugas, ideal bagi pengguna dengan persyaratan kualitas yang sangat tinggi.
- Pengurangan biaya yang tepat: Merutekan tugas sederhana ke model ringan dan tugas kompleks ke model kelas atas, menghindari penyediaan berlebih dan mencapai penyelarasan biaya-kebutuhan yang presisi.
- Menghilangkan kesulitan pemilihan model: Tidak perlu evaluasi atau perbandingan model secara manual; platform memilih solusi optimal secara otomatis, sehingga menurunkan hambatan pemilihan model secara drastis.
- Kurva pembelajaran minimal: Konsisten dengan akses model reguler; panggil melalui model-code tanpa perubahan kode apa pun.
Buat perute model
Di konsol Bailian pada bagian "Model Inference > Dedicated Deployment", klik Deploy New Model untuk masuk ke halaman pembuatan, dan pilih Intelligent Routing di bawah "Deployment Mode".
Prasyarat
- Workspace Bailian telah diaktifkan.
- Versi model rute target telah dipublikasikan, dan akun saat ini memiliki izin pemanggilan untuk versi tersebut dan model kandidat.
Langkah-langkah
- Masukkan Nama Layanan (wajib, hingga 50 karakter).
- Di bawah Deployment Mode, pilih "Intelligent Routing".
- Pada Versi Model Rute, pilih versi yang telah dipublikasikan (dikelola oleh platform).
- Di bawah Routing Strategy, pilih "Effect First" atau "Cost First".
- Di bawah Himpunan Model Kandidat, pilih model kandidat (minimal 2).
- Klik Confirm Deploy untuk menyelesaikan pembuatan.
model-code yang unik secara global (dalam bentuk auto-model-XXXXXXXX). model-code tidak digunakan kembali setelah penghapusan.
Strategi perutean
Strategi perutean menentukan model mana dalam himpunan kandidat yang mengeksekusi setiap permintaan. Kedua strategi mencocokkan secara dinamis berdasarkan konten permintaan (bukan perutean tetap); pilihan dibuat saat pembuatan.
Strategi | Mekanisme pemilihan | Skenario yang sesuai |
|---|---|---|
Utamakan Efek (EFFECT_FIRST) | Memilih model dengan efek terkuat dalam himpunan kandidat untuk setiap permintaan | Bisnis kritis, penalaran kompleks, pembuatan konten berkualitas tinggi dengan standar kualitas yang ketat |
Utamakan Biaya (COST_FIRST) | Menjadwalkan model ringan secara cerdas sambil memenuhi standar kualitas minimum | Skenario yang sensitif terhadap biaya, konkurensi tinggi, serta memperhatikan latensi dan biaya satuan |
Konfigurasi model kandidat
Himpunan model kandidat adalah cakupan yang dapat dipilih oleh layanan perutean. Saat membuat perute model, pilih model yang akan berpartisipasi dalam perutean dari daftar kandidat di area Himpunan Model Kandidat—minimal 2 model kandidat diperlukan, jika tidak penerapan akan diblokir.
- model-router-20260908
Model kandidat | Input | Input cache | Output |
|---|---|---|---|
| $0.15 | $0.016 | $0.47 |
| $3 | $0.3 | $15 |
| 0-256K: $0.4 256k-1M: $1.2 | 0-256K: $0.08 256k-1M: $0.24 | 0-256K: $1.6 256k-1M: $4.8 |
| $0.44 | $0.044 | $1.32 |
| $0.22 | $0.022 | $0.66 |
| $2.5 | $0.5 | $7.5 |
| $1.4 | $0.28 | $4.4 |
| $1.32 | $0.132 | $3.96 |
| $0.66 | $0.066 | $1.98 |
| $2 | $0.25 | $6 |
| 0-32K: $0.03 256k-1M: $0.2 32k-256K: $0.1 | 0-32K: $0.006 256k-1M: $0.04 32k-256K: $0.02 | 0-32K: $0.13 256k-1M: $0.8 32k-256K: $0.4 |
Panggil perute model
Setelah dibuat, memanggil perute model sama dengan memanggil model reguler—cukup ganti parameter model dalam permintaan dengan model-code milik perute (misalnya, auto-model-abcd1234); klien dapat berintegrasi tanpa perubahan kode. Tiga opsi pemanggilan didukung: antarmuka yang kompatibel dengan OpenAI (Chat Completions dan Responses) serta protokol Anthropic; contoh di bawah dikelompokkan per protokol.
- Kompatibel dengan OpenAI (Chat Completions)
- Kompatibel dengan OpenAI (Responses)
- Protokol Anthropic
model di body respons berisi pengidentifikasi model yang benar-benar dipanggil (gunakan ini untuk memverifikasi bahwa perutean telah berlaku); body mempertahankan penggunaan token nyata, dan penagihan didasarkan pada model yang benar-benar dirutekan.
Penagihan: Perutean cerdas menagih berdasarkan model aktual tempat setiap permintaan dirutekan; model perutean itu sendiri gratis.
Failover otomatis
Model Routing memiliki fitur pengalihan otomatis bawaan, diaktifkan secara default tanpa konfigurasi. Ketika model target tidak tersedia, layanan perutean mengirimkan ulang seluruh permintaan dengan model kandidat lain, bukan beralih di tengah inferensi.
Hal berikut TIDAK memicu pengalihan otomatis; kesalahan diteruskan dengan info kesalahan asli dari model aktual:
- 429 (batas laju)
- 400/403/404/500 dan kesalahan deterministik lainnya (mengalihkan model kemungkinan juga akan gagal)
- Kesalahan waktu habis atau jaringan
- Kesalahan setelah streaming mulai mengembalikan konten
Aturan pemfilteran real-time
Layanan perutean menerapkan pemfilteran real-time pada himpunan kandidat:
- Memfilter model yang tidak memiliki izin panggilan untuk akun saat ini.
- Memfilter model yang sedang offline.
- Memfilter model yang tidak kompatibel dengan parameter permintaan saat ini (misalnya, jika permintaan membawa
response_format, hanya model kandidat yang mendukung parameter tersebut yang akan dirutekan).
Batas penggunaan
| Batas | Deskripsi |
|---|---|
| Protokol pemanggilan | Antarmuka yang kompatibel dengan OpenAI (Chat Completions, Responses) dan protokol Anthropic (Messages); protokol DashScope native tidak didukung |
| Protokol | Didukung |
|---|---|
| Antarmuka yang kompatibel dengan OpenAI (Chat Completions) | ✓ |
| Antarmuka yang kompatibel dengan OpenAI (Responses) | ✓ |
| Protokol DashScope | ✗ |
| Protokol Anthropic | ✓ |
| Jenis permintaan | Hanya input teks (Chat Completions, Responses, dan Messages semuanya didukung); input gambar, video, pembuatan gambar, inferensi Batch, Embedding/Rerank, dan antarmuka non-generasi lainnya tidak didukung |
| Panjang konteks | Batas atas = jendela konteks minimum dari model dalam himpunan kandidat; kesalahan konteks yang terlalu panjang langsung terjadi tanpa memicu failover otomatis |
| Pembatasan | RPM/TPM dibatasi oleh model yang dirutekan secara aktual pada tingkat akun dan ruang kerja; saat failover, hanya konsumsi model terakhir yang berhasil yang dihitung |
Catatan parameter
Perutean cerdas memfilter himpunan kandidat secara real-time berdasarkan parameter permintaan dan menolak parameter yang tidak didukung (mengembalikan kesalahan 400 dalam bentuk does not support parameter(s): <nama parameter>). Dukungan parameter berbeda di antara tiga protokol pemanggilan:
- Kompatibel dengan OpenAI (Chat Completions)
- Kompatibel dengan OpenAI (Responses)
- Protokol Anthropic
response_format: Hanya merutekan ke model kandidat yang mendukung parameter ini.enable_search: Hanya merutekan ke model kandidat yang mendukung parameter ini.reasoning_effort: Secara default hanya merutekan ke model kandidat yang mendukung parameter ini; nilai enum yang didukung:none,minimal,low,medium,high,xhigh,max; tingkat non-minimum hanya merutekan ke model non-berpikir.enable_thinking: Hanya merutekan ke model kandidat yang mendukung mode berpikir.
| Parameter | Deskripsi |
|---|---|
top_logprobs | Batas logprobs yang dikembalikan |
logit_bias | Bias token |
stop | Urutan berhenti |
tool_choice | Pilihan alat |
parallel_tool_calls | Pemanggilan alat paralel |
logprobs | Apakah akan mengembalikan logprobs |
top_p | Sampling nukleus |
temperature | Suhu sampling |
presence_penalty | Penalti kehadiran |
n | Jumlah generasi |
thinking_budget | Panjang anggaran berpikir |
Cache
Perutean cerdas tidak mendukung cache eksplisit; hanya mendukung cache implisit yang disediakan oleh model aktual yang dipanggil.
Hit cache hanya dapat terjadi ketika permintaan dirutekan ke model yang sama dan awalan prompt memenuhi kondisi cache model tersebut.
Karena permintaan yang berbeda dapat dirutekan ke model yang berbeda, perutean cerdas tidak menjamin tingkat hit cache.
Untuk detail tentang cara kerja caching dan model yang didukung, lihat Context Cache.
Kelola layanan rute
Lihat detail
Setelah penerapan, klik nama layanan dalam daftar Dedicated Deployment untuk masuk ke halaman detail:
- Info dasar: nama layanan,
model-code, status berjalan, tag strategi perutean. - Konfigurasi rute: versi model rute, strategi perutean, himpunan kandidat, dan daftar model kandidat.
- Penagihan: bayar sesuai pemakaian, ditagih berdasarkan harga satuan model aktual.
- Konfigurasi penerapan: kuota pembatasan TPM/RPM setiap model kandidat.
Ubah konfigurasi rute
Klik "Edit" di area Konfigurasi Rute untuk mengubah versi rute, strategi, dan model kandidat. Mengganti versi akan mengubah himpunan kandidat, berlaku dalam beberapa menit tanpa memengaruhi permintaan yang sedang berlangsung.
Setelah memilih versi tertentu, perilaku perutean online tetap stabil dalam jangka panjang; harap lakukan evaluasi menyeluruh sebelum meningkatkan versi untuk menghindari dampak bisnis. Versi saat ini: model-router-2026-0908. Versi rute tidak diperbarui secara otomatis.
Hapus layanan
Hapus layanan perutean model dari daftar Dedicated Deployment. model-code tidak digunakan kembali setelah penghapusan.
Efek perutean
Bab ini membahas metrik dan pemantauan efek perutean. Metrik efek dilihat pada tab "Efek perutean" di halaman detail; pemantauan panggilan dilihat pada halaman Model Monitoring.
Metrik perutean
Lihat metrik berikut pada tab "Efek perutean" di halaman detail. Metrik yang ditampilkan adalah estimasi, hanya untuk referensi; tidak untuk penyelesaian penagihan; penagihan aktual didasarkan pada "Cost and Usage":
Metrik | Arti | Tindakan anomali |
|---|---|---|
Total permintaan perutean | Total permintaan yang diterima (termasuk yang berhasil dialihkan) | Selidiki pembatasan/anomali hulu saat terjadi lonjakan |
Tingkat keberhasilan perutean | Permintaan yang diteruskan ÷ total permintaan × 100% | Jika turun, periksa ketersediaan model kandidat |
Biaya model aktual (estimasi) | Total biaya diperkirakan berdasarkan harga daftar model aktual (penagihan bertingkat: tingkat terendah; puncak-lembah: harga puncak; tidak termasuk kuota gratis; menyimpang dari penagihan aktual) | Jika naik, periksa strategi perutean dan himpunan kandidat |
Biaya model dasar (estimasi) | Biaya hipotetis jika semua ditangani oleh model dasar (metodologi estimasi yang sama) | — |
Penghematan | Biaya dasar − biaya aktual (positif berarti perutean menghemat biaya) | — |
Jumlah permintaan yang ditagih | Permintaan berhasil yang dikenakan biaya | — |
Bagian pengeluaran | Biaya model tunggal ÷ total biaya | Saat terjadi anomali, periksa distribusi himpunan kandidat |
Catatan biaya
Data analisis biaya memiliki keterlambatan sekitar 1 jam dan tidak bersifat real-time.
Biaya di atas semuanya diperkirakan berdasarkan harga katalog sebagai biaya penuh, tidak termasuk diskon akun dan kuota gratis, hanya untuk referensi guna mengevaluasi penghematan perutean.
Model penagihan bertingkat menggunakan harga katalog tingkat terendah; model dengan harga puncak-lembah menggunakan harga puncak.
Penagihan aktual dapat dilihat di "Cost and Usage".
Pemantauan model
Untuk pemantauan panggilan yang lebih terperinci, buka halaman Model Monitoring.
Halaman ini menampilkan pemantauan dan log model pada dimensi auto-model, bukan pemantauan individual dari model yang sebenarnya dirutekan.