Dokumen ini menjelaskan cara memanggil layanan inferensi model Kimi yang diterapkan di Alibaba Cloud Model Studio.
kimi-k3.1-pro mendukung OpenAI Chat Completions, OpenAI Responses, Anthropic Messages, dan API native DashScope.
Titik akhir layanan bersifat spesifik per wilayah. Konfigurasikan URL dasar yang sesuai untuk wilayah Anda.
- Kompatibel dengan OpenAI
- DashScope
- Kompatibel dengan Anthropic
base_url per wilayah di bawah ini juga berlaku untuk panggilan OpenAI Responses; untuk permintaan HTTP, tambahkan /responses di akhir base_url, seperti pada POST {base_url}/responses.- AS (Virginia)
- Jerman (Frankfurt)
- Singapura
- Jepang (Tokyo)
- China (Beijing)
- China (Hong Kong)
base_url untuk panggilan SDK adalah: https://{WorkspaceId}.us-east-1.maas.aliyuncs.com/compatible-mode/v1URL permintaan HTTP: POST https://{WorkspaceId}.us-east-1.maas.aliyuncs.com/compatible-mode/v1/chat/completions{WorkspaceId} dengan ID ruang kerja aktual Anda.
Prasyarat: Anda harus mendapatkan Kunci API dan menetapkannya sebagai variabel lingkungan. Jika Anda menggunakan SDK, Anda harus menginstal SDK.
Mulai
Contoh berikut menggunakan input teks saja. Untuk contoh multimodal, lihat pemanggilan multimodal.
- Kompatibel dengan OpenAI
- DashScope
- Kompatibel dengan Anthropic
- Python
- Node.js
- HTTP
Respons
Pemanggilan multimodal
Model kimi-k3.1-pro, kimi-k3, kimi-k2.7-code, kimi-k2.6, dan kimi-k2.5 mendukung input multimodal dan output teks. kimi-k3.1-pro dan kimi-k3 hanya mendukung input teks dan gambar, tidak mendukung input video; kimi-k2.7-code, kimi-k2.6, dan kimi-k2.5 dapat memproses teks, gambar, atau video secara simultan. Gunakan parameter enable_thinking untuk mengaktifkan mode berpikir. Contoh berikut menunjukkan cara menggunakan kemampuan ini.
Aktifkan atau nonaktifkan mode berpikir
kimi-k2.6 dan kimi-k2.5 adalah model berpikir hibrida. Model-model ini dapat membalas setelah berpikir atau membalas secara langsung. Anda dapat menggunakan parameter enable_thinking untuk mengontrol apakah akan mengaktifkan mode berpikir:
true: Aktifkan mode berpikirfalse(default): Menonaktifkan mode berpikir
kimi-k2.7-code adalah model berpikir saja: mode berpikir selalu diaktifkan (enable_thinking default ke true dan tidak dapat dinonaktifkan), dan preserve_thinking default ke true.
kimi-k3.1-pro dan kimi-k3 mengaktifkan pemikiran secara default (enable_thinking=true). Anda dapat menetapkannya ke false untuk menonaktifkan pemikiran, tetapi disarankan untuk tetap mengaktifkannya. Pada kimi-k3.1-pro, menonaktifkan pemikiran secara signifikan menurunkan kualitas output, sehingga sangat disarankan untuk tetap mengaktifkannya. Kedua model secara default mempertahankan riwayat reasoning_content yang dikirim klien. Kami menyarankan Anda mengirim kembali reasoning_content lengkap dari pesan assistant terdahulu dalam permintaan multi-turn.
kimi-k2.6 mendukung meneruskan proses berpikir dalam percakapan multi-putaran dengan menggunakan parameter preserve_thinking. Untuk informasi lebih lanjut, lihat Meneruskan proses berpikir.
Contoh berikut menunjukkan cara menggunakan URL gambar dan mengaktifkan mode berpikir. Contoh utama menunjukkan input gambar tunggal, sedangkan kode yang dikomentari adalah contoh input multi-gambar.
- Kompatibel dengan OpenAI
- DashScope
Pemahaman video
- File video
- Daftar gambar
-
fps: Mengontrol frekuensi ekstraksi frame. Interval antar frame yang diekstraksi adalah
1/fpsdetik. Nilainya harus berada dalam rentang [0.1, 10]. Nilai default adalah 2.0.- Untuk adegan bergerak cepat: Atur nilai fps lebih tinggi untuk menangkap lebih banyak detail.
- Untuk video statis atau panjang: Atur nilai fps lebih rendah untuk meningkatkan efisiensi pemrosesan.
- max_frames: Menentukan jumlah maksimum frame yang diekstraksi dari video. Nilai default dan maksimum adalah 2000. Jika jumlah frame yang dihitung dari nilai fps melebihi batas ini, sistem secara otomatis mengekstraksi frame secara merata agar tetap dalam batas max_frames. Parameter ini hanya tersedia saat Anda menggunakan SDK DashScope.
- Kompatibel dengan OpenAI
- DashScope
Saat meneruskan file video ke model menggunakan SDK OpenAI atau permintaan HTTP, atur parameter"type"dalam pesan pengguna ke"video_url".
Meneruskan file lokal
Contoh berikut menunjukkan cara meneruskan file lokal. API kompatibel OpenAI hanya mendukung encoding Base64, sedangkan DashScope mendukung encoding Base64 dan jalur file.
- Kompatibel dengan OpenAI
- DashScope
Batasan file
- Batasan gambar
- Batasan video
-
Resolusi gambar:
- Ukuran minimum: Lebar dan tinggi masing-masing harus melebihi
10piksel. - Rasio aspek: Rasio sisi terpanjang terhadap sisi terpendek tidak boleh melebihi
200:1. - Resolusi maksimum: Disarankan maksimum
8K(7680x4320). Resolusi yang lebih tinggi dapat menyebabkan timeout panggilan API karena ukuran file besar atau transfer jaringan lambat.
- Ukuran minimum: Lebar dan tinggi masing-masing harus melebihi
-
Format gambar yang didukung
-
Format berikut didukung untuk resolusi di bawah 4K
(3840x2160):Format gambar
Ekstensi file
Jenis MIME
BMP
.bmp
image/bmp
JPEG
.jpe, .jpeg, .jpg
image/jpeg
PNG
.png
image/png
TIFF
.tif, .tiff
image/tiff
WEBP
.webp
image/webp
HEIC
.heic
image/heic
-
Untuk resolusi antara
4K(3840x2160)dan8K(7680x4320), hanya JPEG, JPG, dan PNG yang didukung.
-
Format berikut didukung untuk resolusi di bawah 4K
-
Ukuran gambar:
- Saat menyediakan gambar melalui URL publik atau jalur lokal, ukurannya tidak boleh melebihi
10 MB. - Saat menggunakan encoding Base64, string terenkripsi tidak boleh melebihi
10 MB.
Untuk mengompresi file, lihat Cara mengompresi gambar atau video agar memenuhi batas ukuran.
- Saat menyediakan gambar melalui URL publik atau jalur lokal, ukurannya tidak boleh melebihi
- Jumlah gambar yang didukung: Saat menyediakan beberapa gambar, jumlah total token untuk semua gambar dan teks tidak boleh melebihi batas input maksimum model.
Fitur lainnya
Model | |||||||
|---|---|---|---|---|---|---|---|
kimi-k3.1-pro | Didukung | Didukung | Didukung | Didukung (JSON Mode) | Didukung | Tidak didukung | Didukung (implicit cache) |
kimi-k3 | Didukung | Didukung | Didukung | Didukung | Didukung (Responses API) | Didukung | Didukung |
kimi-k2.7-code | Didukung | Didukung | Didukung | Tidak didukung | Tidak didukung | Tidak didukung | Didukung |
kimi-k2.6 | Didukung | Didukung | Didukung | Tidak didukung | Tidak didukung | Tidak didukung | Didukung |
kimi-k2.5 | Didukung | Didukung | Didukung | Tidak didukung | Tidak didukung | Tidak didukung | Didukung |
Alat yang Dimuat Secara Dinamis
Saat aplikasi perlu memasang banyak alat, memasukkan semua deklarasi alat sekaligus ke dalam field tools tingkat atas permintaan akan menyebabkan Tool Definition Bloat: setiap permintaan harus membawa deskripsi dan skema parameter semua alat sehingga konsumsi token meningkat; selain itu, makin banyak alat kandidat, makin besar kemungkinan model memilih alat yang salah dan menyusun argumen panggilan yang keliru.
Alat yang Dimuat Secara Dinamis memungkinkan Anda menyuntikkan alat sesuai kebutuhan selama percakapan: pasang hanya beberapa alat inti terlebih dahulu, lalu saat percakapan mencapai titik yang memerlukan alat tertentu, sisipkan alat tersebut secara dinamis ke dalam messages. Dengan demikian, konsumsi token berkurang dan akurasi pemilihan alat meningkat.
tokenization failed.Format dan contoh di bagian ini untuk menyuntikkan alat ke dalam messages melalui field tools pada pesan system (system.tools) berlaku untuk API OpenAI Chat Completions.Menyuntikkan deklarasi alat di dalam messages
Sisipkan pesan dengan role bernilai system ke dalam messages, lalu deklarasikan alat yang akan dimuat melalui field tools pada pesan tersebut. Formatnya identik dengan field tools tingkat atas permintaan, dan Anda harus menyediakan informasi alat yang lengkap (name, description, parameters).
- Pesan
systemyang membawatoolsmemiliki status yang sama dengan pesan biasa: alat menjadi terlihat oleh model mulai dari posisi pesan tersebut dalam daftarmessages. - Alat yang dimuat secara dinamis berdampingan dengan alat global yang dideklarasikan di field
toolstingkat atas permintaan; model dapat melihat kedua jenis alat secara bersamaan. - Deklarasi alat yang disuntikkan secara dinamis harus berupa definisi alat yang lengkap; Anda tidak dapat hanya meneruskan nama alat atau mereferensikan alat yang dideklarasikan secara global.
- Pesan
systemyang membawatoolstidak boleh sekaligus membawa fieldcontent; jika tidak, permintaan akan gagal dengan kesalahan 400. Saat menggunakan SDK OpenAI, Anda dapat meneruskan fieldtoolssecara langsung di dalammessages.
Pemuatan sesuai kebutuhan yang dikombinasikan dengan alat pencarian
Tidak tersedia API khusus untuk pencarian alat. Jika jumlah alat banyak, Anda dapat mengombinasikan alat pencarian kustom dengan alat yang dimuat secara dinamis untuk memuat alat sesuai kebutuhan:
- Di awal sesi, deklarasikan di
toolstingkat atas hanya alatsearch_toolsyang diimplementasikan oleh backend aplikasi Anda (alat ini mengembalikan nama dan ringkasan alat yang cocok berdasarkan kata kunci), ditambah beberapa alat inti yang mungkin digunakan di setiap giliran. - Deklarasikan kata kunci yang dapat dicari (seperti katalog alat atau tag domain) di prompt sistem untuk mengarahkan model agar memanggil
search_toolsterlebih dahulu saat memerlukan alat. Menetapkantool_choice: "required"pada permintaan pertama menjamin setidaknya satu panggilan alat, tetapi tidak menjamin bahwasearch_toolsdipanggil terlebih dahulu. Jika pencarian terlebih dahulu bersifat wajib, tetapkan secara eksplisittool_choice: {"type": "function", "function": {"name": "search_tools"}}, lalu kembalikantool_choiceke"auto"setelah pencarian. Mengubahtool_choicetidak merusak prefix cache. - Berdasarkan hasil yang dikembalikan oleh
search_tools, aplikasi secara dinamis menyisipkan deklarasi lengkap alat yang sesuai ke dalammessagesmelalui pesansystemyang membawatools. - Model kemudian dapat memanggil alat yang baru dimuat tersebut secara langsung pada proses generasi berikutnya.
Catatan
- Deklarasi alat dinamis berlaku per permintaan dan tidak diingat oleh server. Apakah deklarasi tersebut tetap dibawa pada permintaan berikutnya bergantung pada pihak integrator: jika tetap dibawa, alat tetap tersedia (yang juga membantu mencapai prefix cache); jika tidak lagi dibawa, deklarasi kedaluwarsa. Jika alat tidak dideklarasikan di tempat lain, model tidak dapat memanggilnya, dan prefix cache setelah titik perubahan mungkin tidak tercapai.
- Menambahkan deklarasi alat dinamis di akhir
messagestidak memengaruhi cache dari prefiks yang sudah ada; menghapus atau mengubah deklarasi alat sebelumnya dapat memengaruhi cache hit setelah titik perubahan. Mendeklarasikan alat global di fieldtoolstingkat atas permintaan juga tidak memengaruhi cache hit. - Pesan
systemyang membawatoolsjuga menggunakan panjang konteks, jadi suntikkan hanya alat yang benar-benar diperlukan oleh percakapan saat ini. - Deklarasi alat dinamis menggunakan format yang sama persis dengan deklarasi
toolsglobal, sehingga integrator tidak perlu memelihara dua skema.
Parameter default
Model | enable_thinking | temperature | top_p | presence_penalty | fps | max_frames |
|---|---|---|---|---|---|---|
kimi-k3.1-pro | true (dapat dinonaktifkan; sangat disarankan untuk tetap diaktifkan) | 1.0 | 0.95 | 0.0 | - | - |
kimi-k3 | true (dapat dinonaktifkan; disarankan untuk tetap diaktifkan) | 1.0 | 0.95 | 0.0 | - | - |
kimi-k2.7-code | true (hanya mode berpikir) | 1.0 | 0.95 | 0.0 | 2 | 2000 |
kimi-k2.6 | false | mode berpikir: 1.0 mode non-berpikir: 0.6 | Kedua mode: 0.95 | Kedua mode: 0.0 | 2 | 2000 |
kimi-k2.5 | false | mode berpikir: 1.0 mode non-berpikir: 0.6 | Kedua mode: 0.95 | Kedua mode: 0.0 | 2 | 2000 |
temperature=1.0, top_p=0.95, dan presence_penalty=0.0. Meneruskan nilai selain nilai default untuk salah satu parameter ini akan mengembalikan kesalahan.
Tingkat upaya penalaran berikut hanya berlaku untuk kimi-k3.1-pro, dengan max sebagai nilai default:
max(default): penalaran mendalamhigh: penalaran yang ditingkatkanmedium: penalaran sedanglow: penalaran ringan
- OpenAI Chat Completions: Gunakan field
reasoning_efforttingkat atas. Dengan SDK Python OpenAI, teruskanreasoning_effort="max"secara langsung. - DashScope: Gunakan parameter SDK
reasoning_effortatauparameters.reasoning_effortdalam permintaan HTTP. - OpenAI Responses: Gunakan
reasoning.effort. - Anthropic Messages: Gunakan
output_config.effort.
Model dan penagihan
Seri Kimi adalah model bahasa besar dari Moonshot AI.
- kimi-k3.1-pro: Mendukung input teks dan gambar, output teks, serta pemuatan alat dinamis. Input video, Batch, dan fine-tuning tidak didukung.
- kimi-k3: Model unggulan Kimi. Secara default, model ini melakukan penalaran dan menggunakan preserved thinking. Mendukung input teks dan gambar (input video tidak didukung), percakapan dan tugas agen, serta pemuatan alat dinamis.
- kimi-k2.7-code: Model Kimi untuk pemrograman. Model ini mengikuti instruksi konteks panjang lebih andal dan mencapai tingkat keberhasilan lebih tinggi dalam tugas pemrograman. Mendukung input teks, gambar, dan video, mode berpikir, percakapan, dan tugas agen.
- kimi-k2.6: Model dalam seri Kimi dengan peningkatan kinerja dalam pemrograman jangka panjang, mengikuti instruksi, dan koreksi diri. Mendukung input teks, gambar, dan video, mode berpikir dan non-berpikir, percakapan, dan tugas agen.
- kimi-k2.5: Mencapai kinerja teknologi terkini (SOTA) pada benchmark sumber terbuka untuk tugas agen, pembuatan kode, pemahaman visual, dan tugas kecerdasan umum lainnya. Mendukung input gambar, video, dan teks, mode berpikir dan non-berpikir, percakapan, dan tugas agen.
thinking_budget. Anda tidak dapat menggunakan parameter ini untuk membatasi panjang proses berpikir.Untuk harga, lihat penagihan pemanggilan model.Untuk detail harga dan jendela konteks, lihat Konsol Model Studio. Penagihan didasarkan pada jumlah token input dan output.
Dalam mode berpikir, rantai pemikiran dihitung sebagai token output.