Skip to main content

Macaron-MindLab

Dokumen ini menjelaskan cara memanggil layanan inferensi model Macaron yang disediakan langsung oleh MindLab di Alibaba Cloud Model Studio.

Fitur-fitur yang dijelaskan dalam dokumen ini hanya tersedia di Wilayah Singapura. Untuk menggunakan model tersebut, panggil dari Wilayah Singapura.
Alibaba Cloud Model Studio telah merilis domain khusus ruang kerja untuk Wilayah China (Beijing), Singapura, dan China (Hong Kong). Domain khusus baru ini memberikan performa lebih unggul dan stabilitas lebih tinggi untuk permintaan inferensi. Kami menyarankan migrasi ke domain-domain baru berikut:
  • China (Beijing): dari https://dashscope.aliyuncs.com ke https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com
  • Singapura: dari https://dashscope-intl.aliyuncs.com ke https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com
  • China (Hong Kong): dari https://cn-hongkong.dashscope.aliyuncs.com ke https://{WorkspaceId}.cn-hongkong.maas.aliyuncs.com
{WorkspaceId} adalah ID ruang kerja Anda, yang dapat ditemukan di halaman Workspace Details di Konsol Alibaba Cloud Model Studio. Domain yang ada tetap berfungsi penuh.

Aktivasi layanan

  1. Buka Konsol Model Studio, cari MindLab atau Macaron, temukan kartu model seri MindLab Macaron, lalu klik Activate Now.
  2. Pada kotak dialog, konfirmasi aktivasi dan otorisasi.
Setelah menyelesaikan langkah-langkah tersebut, Anda dapat memanggil layanan model Macaron dari MindLab.

Mulai cepat

MindLab menyediakan model seri Macaron, termasuk mindlab/macaron-v1-tall, mindlab/macaron-v1.1-venti, dan mindlab/macaron-v1.1-coding-venti. Jalankan kode berikut untuk segera memanggil mindlab/macaron-v1.1-venti dalam mode streaming. Anda harus telah memperoleh Kunci API dan mengonfigurasi Kunci API sebagai variabel lingkungan. Jika Anda memanggil model menggunakan SDK, Anda juga harus menginstal SDK.
  • Kompatibel dengan OpenAI
  • Kompatibel dengan Anthropic
Parameter reasoning_effort bukan parameter OpenAI standar. Di OpenAI Python SDK, Anda meneruskannya melalui extra_body. Di Node.js SDK, Anda meneruskannya sebagai parameter tingkat atas.
  • Python
  • Node.js

Contoh kode

from openai import OpenAI
import os

# Inisialisasi klien OpenAI
client = OpenAI(
    # Jika variabel lingkungan tidak diatur, ganti "sk-xxx" dengan Kunci API Alibaba Cloud Model Studio Anda.
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # Wilayah Singapura. Ganti {WorkspaceId} dengan ID ruang kerja Anda. URL bervariasi menurut wilayah.
    base_url="https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1",
)

messages = [{"role": "user", "content": "Siapa Anda?"}]
completion = client.chat.completions.create(
    model="mindlab/macaron-v1.1-venti",
    messages=messages,
    # reasoning_effort mengontrol upaya penalaran. Nilai opsional: low, medium, high, xhigh, max.
    extra_body={"reasoning_effort": "high"},
    stream=True,
    stream_options={
        "include_usage": True
    },
)

reasoning_content = ""  # Proses penalaran
answer_content = ""     # Jawaban akhir
is_answering = False    # Apakah proses penalaran telah berakhir dan jawaban akhir telah dimulai

for chunk in completion:
    if not chunk.choices:
        print("\n" + "=" * 20 + "Penggunaan token" + "=" * 20 + "\n")
        print(chunk.usage)
        continue

    delta = chunk.choices[0].delta

    # Kumpulkan proses penalaran
    if hasattr(delta, "reasoning_content") and delta.reasoning_content is not None:
        if not is_answering:
            print(delta.reasoning_content, end="", flush=True)
        reasoning_content += delta.reasoning_content

    # Kumpulkan jawaban akhir
    if hasattr(delta, "content") and delta.content:
        if not is_answering:
            print("\n" + "=" * 20 + "Jawaban akhir" + "=" * 20 + "\n")
            is_answering = True
        print(delta.content, end="", flush=True)
        answer_content += delta.content

Kontrol berpikir

Model seri Macaron adalah model penalaran hibrida. Anda dapat mengontrol upaya penalaran dengan parameter reasoning_effort. Nilai opsional: low, medium, high, xhigh, dan max. Proses berpikir dikembalikan dalam bidang reasoning_content. Untuk mindlab/macaron-v1-tall, proses berpikir dikembalikan dalam bidang reasoning.
Untuk percakapan multi-putaran, atur preserve_thinking ke true untuk meneruskan reasoning_content historis kembali ke input model.

Dukungan parameter

Tabel berikut mencantumkan parameter yang kompatibel dengan OpenAI yang didukung oleh model seri Macaron.
ParameterDeskripsiDidukung
model (string)Parameter model menentukan model yang digunakan.Ya
messages (array)Riwayat percakapan antara pengguna dan model.Ya
stream (boolean)Mengontrol apakah akan menggunakan output streaming.Ya
stream_options (object)Item konfigurasi untuk output streaming (include_usage).Ya
temperature (float)Mengontrol keacakan dan keragaman respons model.Ya
top_p (float)Ambang probabilitas untuk metode nucleus sampling.Ya
top_k (float)Menentukan jumlah token kandidat yang digunakan untuk sampling selama generasi.Tidak
repetition_penalty (float)Tingkat pengulangan dalam urutan berurutan selama generasi model.Tidak
presence_penalty (float)Mengontrol tingkat pengulangan di seluruh urutan selama generasi model.Tidak
response_format (object)Format konten yang dikembalikan (text, json_object, json_schema).Ya
max_tokens (integer)Menentukan jumlah maksimum token yang dapat dihasilkan model.Ya
n (integer)Jumlah respons yang dihasilkan (1-4).Ya
enable_thinking (boolean)Menentukan apakah mode berpikir diaktifkan.Ya
preserve_thinking (boolean)Menentukan apakah reasoning_content historis digabungkan ke input model.Ya
thinking_budget (integer)Jumlah token maksimum untuk proses berpikir.Ya
reasoning_effort (string)Mengontrol upaya penalaran (low, medium, high, xhigh, max).Ya
tool_stream (boolean)Menentukan apakah tool_call arguments dari Function Calling dikembalikan dalam mode streaming.Tidak
enable_code_interpreter (boolean)Menentukan apakah fitur code interpreter diaktifkan.Ya
seed (integer)Seed acak yang digunakan selama generasi.Tidak
logprobs (boolean)Menentukan apakah probabilitas log dari token output dikembalikan.Ya
top_logprobs (integer)Jumlah token kandidat dengan probabilitas tertinggi yang dikembalikan (0-5).Ya
stop (string or array)Kontrol presisi atas proses generasi konten.Ya
tools (array)Menentukan pustaka alat yang dapat dipanggil oleh model.Ya
tool_choice (string or object)Strategi pemilihan alat (auto, none, specific).Ya
parallel_tool_calls (boolean)Menentukan apakah panggilan alat paralel diaktifkan.Tidak
enable_search (boolean)Menentukan apakah hasil pencarian internet digunakan sebagai referensi.Tidak
search_options (object)Konfigurasi strategi pencarian internet.Tidak
skill (object)Mengaktifkan keterampilan generasi tertentu (seperti pembuatan PPT).Tidak
instructions (string)Bidang yang kompatibel dengan OpenAI Responses API.Ya

Daftar model dan penagihan

Model seri Macaron disediakan oleh MindLab dan hanya tersedia di Wilayah Singapura (cakupan penerapan Internasional).
ID ModelJendela konteksInformasi model
mindlab/macaron-v1-tall256Kmindlab/macaron-v1-tall
mindlab/macaron-v1.1-venti1Mmindlab/macaron-v1.1-venti
mindlab/macaron-v1.1-coding-venti1Mmindlab/macaron-v1.1-coding-venti
Penagihan didasarkan pada token input dan output model. Token input yang terkena cache hit dan token yang digunakan untuk membuat explicit cache ditagih dengan harga satuan terpisah. Untuk informasi lebih lanjut, lihat Harga model dan Context Cache.
Dalam mode berpikir, chain of thought ditagih berdasarkan token output.

Kode kesalahan

Jika terjadi kesalahan, lihat Kode kesalahan untuk menyelesaikan masalah.