Skip to main content

Bonnes pratiques du cache explicite

Cette rubrique explique comment utiliser le cache explicite et présente les bonnes pratiques associées. L'ajout de marqueurs de cache à vos requêtes garantit des correspondances déterministes pour un contenu d'entrée identique, ce qui réduit considérablement les coûts et la latence.

Quand utiliser le cache explicite

  • Garantie de correspondance : Le cache explicite assure un taux de réussite de 100 %, indépendamment de l'ordonnancement des ressources backend. Privilégiez cette option si votre application nécessite une réutilisation stable du contenu.
  • Réutilisation fréquente du même prompt : La soumission répétée de prompts identiques ou très similaires permet de réaliser des économies substantielles. La création du cache n'entraîne qu'un supplément de 25 % par rapport au prix standard d'entrée, tandis que chaque correspondance ultérieure génère une économie de 90 %. Une seule correspondance suffit à rentabiliser l'opération.
  • Gestion de contextes longs pour les Agents en production : Dans les applications Agent, des mécanismes courants comme la compression, le résumé ou les rappels système modifient continuellement le contexte. Le cache explicite permet d'ancrer et de réutiliser des segments clés du contexte afin qu'ils restent en cache, même lorsque le contexte environnant évolue.

Outils Agent et de codage

Les outils Agent et de codage suivants se connectent à Alibaba Cloud Model Studio via le protocole Anthropic et prennent en charge nativement le cache explicite. Configurez-les selon leur documentation respective pour qu'ils exploitent automatiquement le cache explicite et optimisent la gestion du contexte. Les exemples ci-dessous utilisent l'endpoint de Singapour. Pour d'autres régions, remplacez l'URL de base par l'endpoint régional correspondant.
  • Claude Code
  • Open Code
  • OpenClaw
  • Hermes
À partir de la version v2.x, Claude Code inclut automatiquement des marqueurs cache_control dans les requêtes (système, environnement et dernier message utilisateur). Aucune configuration supplémentaire n'est requise après la connexion à l'endpoint compatible Anthropic d'Alibaba Cloud Model Studio.ConfigurationCréez ou modifiez le fichier ~/.claude/settings.json (Windows : C:\Users<username>.claude\settings.json) avec les paramètres de plan appropriés. Vous pouvez également établir la connexion via des variables d'environnement :
export ANTHROPIC_BASE_URL="https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/apps/anthropic"
export ANTHROPIC_AUTH_TOKEN="${DASHSCOPE_API_KEY}"
export ANTHROPIC_MODEL="qwen3.7-max"
claude
Définissez l'endpoint du protocole Anthropic :Pour plus de détails, consultez Claude Code.Facultatif : Améliorer le taux de réussite inter-sessionPar défaut, Claude Code intègre des informations dynamiques dans le prompt système (répertoire actuel, date, état git), ce qui peut réduire le taux de réussite du cache entre les sessions. Ajoutez l'indicateur suivant au démarrage pour déplacer les sections dynamiques vers les messages utilisateur :
claude --exclude-dynamic-system-prompt-sections

Intégration API

Points clés

  • Ajoutez "cache_control": {"type": "ephemeral"} au contenu du message que vous souhaitez mettre en cache. Tout le contenu, depuis le début du tableau messages jusqu'à ce marqueur, sera mis en cache sous forme de bloc.
  • Le contenu mis en cache doit comporter au moins 1024 tokens.
  • Une requête unique prend en charge jusqu'à 4 marqueurs de cache.
  • La durée de vie (TTL) du cache est de 5 minutes, renouvelée automatiquement à chaque correspondance.
  • Les définitions d'outils font partie du prompt système pour la mise en cache. Toute modification des outils entraîne une invalidation du cache.

Démarrage rapide

L'exemple suivant illustre le flux de travail de base : la première requête crée un cache, tandis que la seconde l'utilise.
from openai import OpenAI
import os

client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # Replace WorkspaceId with your actual Workspace ID.
    base_url="https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1",
)

# Long text to cache (must exceed 1024 tokens)
long_text_content = "<Your Long Text Here>" * 400

def get_completion(user_input):
    messages = [
        {
            "role": "system",
            "content": [
                {
                    "type": "text",
                    "text": long_text_content,
                    # Cache marker: content from the start of messages to this point will be cached
                    "cache_control": {"type": "ephemeral"},
                }
            ],
        },
        {"role": "user", "content": user_input},
    ]
    completion = client.chat.completions.create(
        model="qwen3.7-max",
        messages=messages,
        extra_body={"enable_thinking": False},
    )
    return completion

# First request: creates cache
first = get_completion("Summarize the key points of this document")
print(f"Cache created: {first.usage.prompt_tokens_details.cache_creation_input_tokens}")
print(f"Cache hit: {first.usage.prompt_tokens_details.cached_tokens}")

# Second request: same system content, different question — hits cache
second = get_completion("What precautions are mentioned in the document?")
print(f"Cache created: {second.usage.prompt_tokens_details.cache_creation_input_tokens}")
print(f"Cache hit: {second.usage.prompt_tokens_details.cached_tokens}")
Sortie attendue :
Cache created: 2005
Cache hit: 0
Cache created: 0
Cache hit: 2005
La première requête crée un bloc de cache. La seconde requête utilise ce cache car le contenu du prompt système est identique. Les tokens mis en cache sont facturés à seulement 10 % du prix standard d'entrée.

Vérifier l'état du cache

Examinez le champ usage dans la réponse pour confirmer le comportement du cache :
  • cache_creation_input_tokens : Nombre de tokens pour lesquels un nouveau cache a été créé. Une valeur supérieure à 0 indique la création d'un nouveau bloc de cache.
  • cached_tokens (compatible OpenAI) ou cache_read_input_tokens (compatible Anthropic) : Nombre de tokens ayant trouvé une correspondance dans le cache. Une valeur supérieure à 0 confirme que le cache a été utilisé avec succès.

Bonnes pratiques par scénario

Conversations multi-tours

Caractéristiques :
  • Les utilisateurs interagissent avec le modèle sur plusieurs tours, chaque requête transportant l'historique complet de la conversation.
  • Cas d'usage typiques : service client, questions-réponses sur une base de connaissances, assistants de codage.
Bonne pratique : Ajoutez un marqueur cache_control au dernier message de chaque requête. Chaque tour utilise ainsi le cache créé lors du tour précédent (l'historique de la conversation), tout en créant un nouveau cache incluant le tour actuel pour la prochaine itération. Exemple :
from openai import OpenAI
import os

client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # Replace WorkspaceId with your actual Workspace ID.
    base_url="https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1",
)

# System prompt: product manual (must exceed 1024 tokens)
product_manual = """You are the support assistant for "BaiLian SmartHome" smart home controller. Here is the complete product manual:

## Product Overview
BaiLian SmartHome is a whole-home smart controller supporting voice control, scene automation, and energy management...

## Installation Guide
1. Install at a central location with good WiFi coverage...
2. Connect the power adapter (5V/2A)...

## FAQ
Q: Cannot connect to WiFi? A: Make sure your router supports 2.4GHz...
""" * 80  # Repeat to exceed 1024 tokens

messages = [{"role": "system", "content": product_manual}]

def chat(user_input):
    # Key: add cache_control to the last user message
    messages.append({
        "role": "user",
        "content": [
            {
                "type": "text",
                "text": user_input,
                "cache_control": {"type": "ephemeral"},
            }
        ],
    })
    completion = client.chat.completions.create(
        model="qwen3.7-max",
        messages=messages,
        extra_body={"enable_thinking": False},
    )
    assistant_msg = completion.choices[0].message.content
    messages.append({"role": "assistant", "content": assistant_msg})

    usage = completion.usage
    created = usage.prompt_tokens_details.cache_creation_input_tokens
    cached = usage.prompt_tokens_details.cached_tokens
    print(f"  [Cache] Created: {created} tokens, Hit: {cached} tokens")
    return assistant_msg

# Simulate multi-turn conversation
print("User: What voice assistants does BaiLian SmartHome support?")
print(f"Agent: {chat('What voice assistants does BaiLian SmartHome support?')[:80]}...\n")

print("User: What if I cannot connect to WiFi?")
print(f"Agent: {chat('What if I cannot connect to WiFi?')[:80]}...\n")

print("User: How many devices can it control simultaneously?")
print(f"Agent: {chat('How many devices can it control simultaneously?')[:80]}...")
Sortie attendue :
User: What voice assistants does BaiLian SmartHome support?
  [Cache] Created: 8739 tokens, Hit: 0 tokens
Agent: BaiLian SmartHome supports Tmall Genie, XiaoAi, Siri, and other voice assistants...

User: What if I cannot connect to WiFi?
  [Cache] Created: 151 tokens, Hit: 8739 tokens
Agent: For WiFi connectivity issues, try the following: 1. Confirm your router supports 2.4GHz...

User: How many devices can it control simultaneously?
  [Cache] Created: 101 tokens, Hit: 8890 tokens
Agent: BaiLian SmartHome can control up to 256 smart devices simultaneously...
À partir du deuxième tour, chaque requête utilise le cache du tour précédent (l'historique de la conversation) tout en créant un nouveau cache incluant le tour actuel. Plus la conversation comporte de tours, plus les économies sont importantes.

Agent en production (plusieurs marqueurs de cache)

Caractéristiques :
  • Conversations longues et multi-tours comprenant : prompt système + définitions de compétences/outils + contexte projet + messages utilisateur / appels d'outils.
  • Fréquences de modification variables selon les sections.
  • Cas d'usage typiques : assistants de codage IA (Claude Code, OpenClaw), systèmes de questions-réponses basés sur le RAG.
Bonne pratique : Utilisez plusieurs marqueurs de cache (jusqu'à 4) pour ancrer le contenu selon différents niveaux de stabilité. Chaque marqueur doit figurer sur un message distinct (rôle différent) afin de servir de point d'arrêt indépendant :
  • Prompt système — un marqueur (change rarement).
  • Définitions de compétences/outils — un marqueur (peut changer par combinaison).
  • Contexte projet — un marqueur (peut être remplacé ou compressé).
  • Messages utilisateur / appels d'outils — un marqueur (s'allonge à chaque tour).
Exemple : Cet exemple simule une architecture Agent typique avec 3 marqueurs de cache ancrant le persona système et les outils (marqueur 1), la base de connaissances (marqueur 2) et l'historique de conversation (marqueur 3). Notez que la base de connaissances est placée dans un message utilisateur pour garantir son propre point d'arrêt de cache indépendant ; en effet, plusieurs messages système sont fusionnés en interne et ne peuvent pas servir de points d'arrêt distincts :
from openai import OpenAI
import os

client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # Replace WorkspaceId with your actual Workspace ID.
    base_url="https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1",
)

# Layer 1: System persona (rarely changes)
system_persona = """You are the senior AI support agent for "Model Studio Electronics". Your guidelines:
1. Answer questions based on the knowledge base
2. For information not in the knowledge base, say "Let me transfer you to a human agent"
3. Maintain a professional and friendly tone
4. If the user is unhappy, apologize first then resolve the issue

Below is your complete service specification and script guide:
""" + "Detailed service specification..." * 200  # Ensure > 1024 tokens

# Layer 2: Tools/skills definitions (changes occasionally, e.g. when new features launch)
tools_description = """### Available Tools
- search_product(query): Search product information
- check_inventory(sku, color): Check stock status
- create_ticket(type, description): Create a support ticket
- transfer_to_human(reason): Transfer to a human agent

### Tool Usage Rules
1. When user asks about product details, use search_product first
2. When user asks about stock/shipping, use check_inventory
3. When user requests return/exchange, use create_ticket
4. When a tool returns an error, apologize and transfer_to_human
""" + "Detailed tool usage examples..." * 150  # Ensure > 1024 tokens

# Layer 3: Project knowledge base (semi-stable, changes when user switches products)
knowledge_base_product_a = """### Current product: Model Studio Pro Max Wireless Earbuds
- SKU: BL-PM-2024
- Price: CNY 599
- Colors: Night Black / Nebula White / Ice Blue
- Battery: 8 hours (ANC on), 12 hours (ANC off)
- Water resistance: IPX5
- Warranty: 1 year, 7-day no-questions-asked return
- Stock: Night Black (in stock) / Nebula White (low) / Ice Blue (out of stock)
""" * 50  # Ensure > 1024 tokens

def ask_agent(user_question, history=None):
    if history is None:
        history = []
    messages = [
        {
            "role": "system",
            "content": [
                {
                    "type": "text",
                    "text": system_persona + "\n\n" + tools_description,
                    "cache_control": {"type": "ephemeral"},  # Marker 1: system persona + tools
                }
            ],
        },
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": f"Here is the knowledge base for the current product:\n{knowledge_base_product_a}",
                    "cache_control": {"type": "ephemeral"},  # Marker 2: knowledge base
                }
            ],
        },
        {"role": "assistant", "content": "Got it. I have the product details ready. How can I help you?"},
    ]
    messages.extend(history)
    # Add current question with marker 3
    messages.append({
        "role": "user",
        "content": [
            {
                "type": "text",
                "text": user_question,
                "cache_control": {"type": "ephemeral"},  # Marker 3: conversation history
            }
        ],
    })

    completion = client.chat.completions.create(
        model="qwen3.7-max",
        messages=messages,
        extra_body={"enable_thinking": False},
    )
    usage = completion.usage
    print(f"  Created: {usage.prompt_tokens_details.cache_creation_input_tokens}, "
          f"Hit: {usage.prompt_tokens_details.cached_tokens}")
    return completion.choices[0].message.content

# First request
print("Q1: Is the Ice Blue color available?")
a1 = ask_agent("Is the Ice Blue color available?")
print(f"A1: {a1}\n")

# Second request: same product (persona + tools + knowledge base all hit)
history = [
    {"role": "user", "content": "Is the Ice Blue color available?"},
    {"role": "assistant", "content": a1},
]
print("Q2: When will it be back in stock?")
a2 = ask_agent("When will it be back in stock?", history)
print(f"A2: {a2}")
Sortie attendue :
Q1: Is the Ice Blue color available?
  Created: 7659, Hit: 0
A1: I'm sorry, but the Ice Blue color... is currently out of stock...

Q2: When will it be back in stock?
  Created: 73, Hit: 7659
A2: I don't have access to specific restock dates... Let me transfer you to a human agent...
Dans Q2, le préfixe jusqu'au marqueur 2 (persona + outils + base de connaissances = 7 659 tokens) reste inchangé, ce qui permet une correspondance totale avec le cache. Seul le nouveau contenu après le marqueur 2 (historique de conversation + nouvelle question) nécessite un traitement. Fonctionnement de la mise en cache multi-marqueurs :
  • L'utilisateur continue de poser des questions sur le même produit : Le persona, les outils et la base de connaissances restent inchangés, ce qui déclenche une correspondance au niveau du marqueur 2 (correspondance de préfixe la plus longue) pour des économies maximales.
  • Augmentation du nombre de tours de conversation : Le contenu antérieur (persona + outils + base de connaissances + historique) correspond au cache du tour précédent ; seul le nouveau contenu nécessite la création d'un nouveau cache.
Organisez le contenu du plus stable au moins stable : placez le contenu qui change le moins au début (par exemple, le persona système) et celui qui change le plus à la fin (par exemple, la conversation en cours) afin de maximiser les taux de réussite du cache.

Traitement par lots (exécution de tâches)

Caractéristiques :
  • Requêtes à tour unique, sans nécessité de mémorisation du contexte.
  • Prompt système long et fixe (instructions de tâche) + entrée utilisateur variable (données à traiter).
  • Cas d'usage typiques : classification de texte, reconnaissance d'intention, extraction de données, modération de contenu.
Bonne pratique : Ajoutez le marqueur cache_control uniquement sur le prompt système. Toutes les requêtes suivantes utiliseront le cache tant que le prompt système reste inchangé. Exemple :
from openai import OpenAI
import os

client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # Replace WorkspaceId with your actual Workspace ID.
    base_url="https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1",
)

# Long system prompt: detailed classification rules (must exceed 1024 tokens)
classification_prompt = """You are a product review classifier. Classify each review into one of these categories:
- Positive
- Negative
- Neutral
- Question
- Complaint

Output only the category name, nothing else.

Detailed classification rules and examples:
""" + """Rules:
1. Positive: Contains positive sentiment words (e.g., "great", "excellent", "recommend"), or expresses satisfaction.
2. Negative: Contains negative sentiment words (e.g., "terrible", "disappointed", "return"), or expresses dissatisfaction.
3. Neutral: No clear sentiment, merely states facts.
4. Question: Phrased as a question asking for product information.
5. Complaint: Expresses suggestions for improvement or lodges a complaint.
""" * 100

# Reviews to classify (simulating batch processing)
reviews = [
    "This product is amazing, great quality, highly recommended!",
    "Shipping took a week and the packaging was damaged",
    "Does this come in red? Does it run large or small?",
    "You should add more size options, medium is too big for me",
    "It's okay I guess, nothing special, does what it says",
]

print("=== Batch Classification (Explicit Cache) ===")
for i, review in enumerate(reviews):
    completion = client.chat.completions.create(
        model="qwen3.7-max",
        messages=[
            {
                "role": "system",
                "content": [
                    {
                        "type": "text",
                        "text": classification_prompt,
                        "cache_control": {"type": "ephemeral"},  # Cache classification rules
                    }
                ],
            },
            {"role": "user", "content": review},
        ],
    )
    result = completion.choices[0].message.content
    cached = completion.usage.prompt_tokens_details.cached_tokens
    created = completion.usage.prompt_tokens_details.cache_creation_input_tokens
    print(f"Review {i+1}: \"{review[:40]}...\" -> {result}")
    print(f"  Created: {created}, Hit: {cached}")
Sortie attendue :
Review 1: "This product is amazing, great quality, ..." -> Positive
  Created: 10353, Hit: 0
Review 2: "Shipping took a week and the packaging w..." -> Negative
  Created: 0, Hit: 10353
Review 3: "Does this come in red? Does it run large..." -> Question
  Created: 0, Hit: 10353
Review 4: "You should add more size options, medium..." -> Complaint
  Created: 0, Hit: 10353
Review 5: "It's okay I guess, nothing special, does..." -> Neutral
  Created: 0, Hit: 10353
Une fois le cache créé par la première requête, toutes les requêtes suivantes l'utilisent. Lors du traitement de 1 000 éléments, 999 requêtes bénéficient d'une réduction de 90 % du coût des tokens d'entrée.

Function Calling avec définitions d'outils mises en cache

Caractéristiques :
  • Utilisation de Function Calling avec une longue liste de définitions d'outils.
  • Les définitions d'outils restent inchangées d'une requête à l'autre.
Bonne pratique : Le contenu du paramètre tools fait partie du prompt système pour la mise en cache. Assurez-vous que les définitions d'outils sont strictement identiques d'une requête à l'autre (même ordre, même ordre des champs, même structure) et ajoutez un marqueur cache_control au contenu du message.
from openai import OpenAI
import os

client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # Replace WorkspaceId with your actual Workspace ID.
    base_url="https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1",
)

# Long text to meet the 1024-token minimum
long_text_content = "<Your Code Here>" * 400

# Tool definitions: must be exactly identical across requests
tools = [
    {
        "type": "function",
        "function": {
            "name": "get_weather",
            "description": "Get the current weather for a given city",
            "parameters": {
                "type": "object",
                "properties": {
                    "city": {"type": "string", "description": "City name"},
                    "unit": {"type": "string", "enum": ["celsius", "fahrenheit"]}
                },
                "required": ["city"]
            }
        }
    },
    {
        "type": "function",
        "function": {
            "name": "search_flights",
            "description": "Search flights between two cities",
            "parameters": {
                "type": "object",
                "properties": {
                    "origin": {"type": "string", "description": "Departure city"},
                    "destination": {"type": "string", "description": "Destination city"},
                    "date": {"type": "string", "description": "Departure date in YYYY-MM-DD format"}
                },
                "required": ["origin", "destination", "date"]
            }
        }
    }
]

def ask(user_input):
    messages = [
        {
            "role": "system",
            "content": [
                {
                    "type": "text",
                    "text": long_text_content,
                    # cache_control can only be added to message content, not to tools
                    "cache_control": {"type": "ephemeral"},
                }
            ],
        },
        {"role": "user", "content": user_input},
    ]
    completion = client.chat.completions.create(
        model="qwen3.7-max",
        messages=messages,
        tools=tools,
        extra_body={"enable_thinking": False},
    )
    usage = completion.usage
    print(f"  Created: {usage.prompt_tokens_details.cache_creation_input_tokens}, "
          f"Hit: {usage.prompt_tokens_details.cached_tokens}")
    tool_calls = completion.choices[0].message.tool_calls
    if tool_calls:
        print(f"  Tools called: {[t.function.name for t in tool_calls]}")
    return completion

# First request: creates cache (includes tool definitions)
print("Q1: What's the weather in Beijing today?")
ask("What's the weather in Beijing today?")

# Second request: hits cache
print("\nQ2: Find flights from Shanghai to Beijing tomorrow")
ask("Find flights from Shanghai to Beijing tomorrow")
Sortie attendue :
Q1: What's the weather in Beijing today?
  Created: 1995, Hit: 0
  Tools called: ['get_weather']

Q2: Find flights from Shanghai to Beijing tomorrow
  Created: 0, Hit: 1995
  Tools called: ['search_flights']
Clés pour maximiser les correspondances de cache avec Function Calling :
  • Ordre cohérent des outils : Conservez le même ordre d'outils dans le tableau tools.
  • Ordre cohérent des champs : Maintenez le même ordre des champs JSON dans chaque définition d'outil.
  • Structure cohérente : N'ajoutez, ne supprimez et ne réorganisez aucun champ entre les requêtes, même s'ils sont facultatifs ou vides.

Remarques importantes

  • Exigence de format de contenu : Lors de l'ajout de cache_control, le champ content doit être au format tableau. Le contenu sous forme de chaîne ne prend pas en charge les marqueurs de cache.
  • Granularité des marqueurs de cache : Les modèles Qwen3.5 et ultérieurs ne prennent en charge que les points d'arrêt de cache au niveau du message. Placer plusieurs marqueurs cache_control dans le tableau de contenu d'un seul message ne crée pas de points d'arrêt distincts ; le système stocke uniquement le cache à la position du dernier marqueur dans ce message et ne peut pas effectuer de correspondance par troncature sur des blocs de contenu intermédiaires. De plus, plusieurs messages système sont fusionnés en interne en un seul segment et ne peuvent pas servir de points d'arrêt distincts. Pour créer plusieurs points d'arrêt indépendants, répartissez les marqueurs cache_control sur des messages ayant des rôles différents (par exemple, un sur system, un sur user). Les modèles antérieurs à Qwen3.5 prennent en charge les points d'arrêt au niveau du contenu (intra-message).
  • Exclusivité mutuelle avec le cache implicite : Une requête ne peut utiliser qu'un seul mode de mise en cache. Si la requête contient un marqueur cache_control, le cache explicite est utilisé ; sinon, le système utilise automatiquement le cache implicite.

Modèles pris en charge

Pour obtenir la liste des modèles prenant en charge le cache explicite, consultez la rubrique Cache de contexte.