Skip to main content

Contexte long (Qwen-Long)

Qwen-Long traite des documents pouvant atteindre 10 millions de tokens grâce à un mécanisme de téléchargement et de référence de fichiers, dépassant ainsi les limites de contexte des modèles standards.

Ce document s'applique uniquement à la région Chine continentale (Pékin). Pour utiliser le modèle, vous devez disposer d'une clé API de la région Chine continentale (Pékin).

Mode d'utilisation

Utilisez Qwen-Long en deux étapes : téléchargez les fichiers, puis appelez l'API.
  1. Téléchargement et analyse des fichiers :
    • Téléchargez un fichier via l'API. Pour plus de détails sur les formats pris en charge et les limites de taille, consultez la section Formats pris en charge.
    • Après un téléchargement réussi, le système retourne un file-id unique pour votre compte et lance l'analyse. Le téléchargement, le stockage et l'analyse des fichiers sont gratuits.
  2. Appel d'API et facturation :
    • Lors de l'appel du modèle, référencez un ou plusieurs file-id dans le message system.
    • Le modèle effectue l'inférence en se basant sur le contenu textuel associé au file-id.
    • Pour chaque appel d'API, le nombre de tokens du contenu de fichier référencé est comptabilisé comme tokens d'entrée pour cette requête.
Cette approche évite de transférer des fichiers volumineux à chaque requête. Notez toutefois que les tokens des fichiers sont facturés par appel d'API.

Prise en main

Prérequis

  • Obtenez une clé API et configurez-la en tant que variable d'environnement.
  • Pour appeler le modèle via un SDK, installez le SDK OpenAI.

Télécharger un document

Cet exemple télécharge le fichier Model_Studio_Phone_Product_Introduction.docx vers le stockage sécurisé de Model Studio via l'interface compatible OpenAI et obtient un file-id. Consultez la documentation de l'API pour connaître les paramètres de téléchargement.
Python
import os
from pathlib import Path
from openai import OpenAI

client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),  # If not configured, replace with your API key.
    # The following URL is for the China (Beijing) region. Replace {WorkspaceId} with your Workspace ID. URLs vary by region.
    base_url="https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1",
)

file_object = client.files.create(file=Path("Model_Studio_Phone_Product_Introduction.docx"), purpose="file-extract")
print(file_object.id)
Exécutez le code pour obtenir le file-id du fichier téléchargé.

Transmettre des informations et discuter via un ID de fichier

Transmettez le file-id dans les messages système : le premier message définit le rôle, le second contient le file-id, puis ajoutez les questions de l'utilisateur.
Les documents volumineux nécessitent un temps d'analyse plus long. Attendez la fin de l'analyse avant d'effectuer l'appel.
Python
import os
from openai import OpenAI, BadRequestError

client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),  # If not configured, replace with your API key.
    # Endpoint for the China (Beijing) region. Replace {WorkspaceId} with your Workspace ID. URLs vary by region.
    base_url="https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1",
)
try:
    # Initialize messages list.
    completion = client.chat.completions.create(
        model="qwen-long",
        messages=[
            # sys1: Role definition.
            {'role': 'system', 'content': 'You are a helpful assistant.'},
            # sys2: Document content (plain text or file-id).
            # Replace '{FILE_ID}' with the file-id used in your conversation.
            {'role': 'system', 'content': f'fileid://{FILE_ID}'},
            # When the request includes a second system message, the user message content is limited to 9,000 tokens.
            {'role': 'user', 'content': 'What is this article about?'}
        ],
        # All examples use streaming output to show the model's response process. For non-streaming examples, see https://www.alibabacloud.com/help/en/model-studio/text-generation
        stream=True,
        stream_options={"include_usage": True}
    )

    full_content = ""
    for chunk in completion:
        if chunk.choices and chunk.choices[0].delta.content:
            # Concatenate the output content.
            full_content += chunk.choices[0].delta.content
            print(chunk.model_dump())

        # Get token usage.
        if chunk.usage:
            print(f"Total tokens: {chunk.usage.total_tokens}")

    print(full_content)

except BadRequestError as e:
    print(f"Error: {e}")
    print("See documentation: https://www.alibabacloud.com/help/en/model-studio/error-code")

Transmettre plusieurs documents

Transmettez plusieurs file-id dans un seul message système ou ajoutez des messages système distincts pour chaque document.
  • Pass multiple documents
  • Append documents
Python
import os
from openai import OpenAI, BadRequestError

client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),  # If not configured, replace with your API key.
    # Endpoint for the China (Beijing) region. Replace {WorkspaceId} with your Workspace ID. URLs vary by region.
    base_url="https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1",
)
try:
    # Initialize messages list.
    completion = client.chat.completions.create(
        model="qwen-long",
        messages=[
            {'role': 'system', 'content': 'You are a helpful assistant.'},
            # Replace '{FILE_ID1}' and '{FILE_ID2}' with the file-ids used in your conversation.
            {'role': 'system', 'content': f"fileid://{FILE_ID1},fileid://{FILE_ID2}"},
            {'role': 'user', 'content': 'What are these articles about?'}
        ],
        # All examples use streaming output to show the model's response process. For non-streaming examples, see https://www.alibabacloud.com/help/en/model-studio/text-generation
        stream=True,
        stream_options={"include_usage": True}
    )

    full_content = ""
    for chunk in completion:
        if chunk.choices and chunk.choices[0].delta.content:
            # Concatenate the output content.
            full_content += chunk.choices[0].delta.content
            print(chunk.model_dump())

    print(full_content)

except BadRequestError as e:
    print(f"Error: {e}")
    print("See documentation: https://www.alibabacloud.com/help/en/model-studio/error-code")

Transmettre des informations sous forme de texte brut

Au lieu d'utiliser des file-id, transmettez directement le contenu du document sous forme de chaîne de caractères. Ajoutez la définition du rôle dans le premier message afin d'éviter toute confusion avec le contenu du document.
Si le contenu du document dépasse 1 million de tokens, utilisez plutôt un ID de fichier en raison des limites de taille de l'API.
  • Simple example
  • Pass multiple documents
  • Append documents
Saisissez le contenu du document directement dans le message système.
Python
import os
from openai import OpenAI

client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),  # Replace your API key here if you haven't set the environment variable
    # Endpoint for the China (Beijing) region. Replace {WorkspaceId} with your Workspace ID. URLs vary by region.
    base_url="https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1",
)
# Initialize the messages list
completion = client.chat.completions.create(
    model="qwen-long",
    messages=[
        {'role': 'system', 'content': 'You are a helpful assistant.'},
        {'role': 'system', 'content': 'Alibaba Cloud Model Studio smartphone product introduction: Alibaba Cloud Model Studio X1 —————— Enjoy an ultimate visual experience: features a 6.7-inch 1440 x 3200 pixel ultra-clear screen...'},
        {'role': 'user', 'content': 'What does the article talk about?'}
    ],
    # All code examples use streaming output to clearly and intuitively show the model's output process. For non-streaming examples, see https://www.alibabacloud.com/help/en/model-studio/text-generation
    stream=True,
    stream_options={"include_usage": True}
)

full_content = ""
for chunk in completion:
    if chunk.choices and chunk.choices[0].delta.content:
        # Append output content
        full_content += chunk.choices[0].delta.content
        print(chunk.model_dump())

print(full_content)

Tarification du modèle

Nom du modèleVersionLongueur du contexteEntrée max.Sortie max.Coût d'entréeCoût de sortie
(Tokens)(pour 1 million de tokens)
qwen-long
API Batch à 50 % des tarifs en temps réel
Stable10 000 00010 000 00032 7680,072 $0,287 $

FAQ

  1. Le modèle Qwen-Long prend-il en charge la soumission de tâches par lot ? Oui. Qwen-Long prend en charge l'API Batch d'OpenAI à 50 % du tarif des appels en temps réel. Soumettez les tâches par lot sous forme de fichiers ; ces tâches s'exécutent de manière asynchrone et retournent les résultats une fois terminées ou en cas de délai d'attente dépassé.
  2. Où sont enregistrés les fichiers après leur téléchargement via l'API de fichiers compatible OpenAI ? Les fichiers sont téléchargés gratuitement dans votre bucket Model Studio. Consultez la section API File d'OpenAI pour interroger et gérer les fichiers.
  3. Comment garantir que le modèle génère une chaîne JSON dans un format standard ? qwen-long et tous ses instantanés prennent en charge la sortie structurée. Spécifiez un schéma JSON pour obtenir un JSON valide conforme à votre structure.

Référence de l'API

Reportez-vous aux détails de l'API Qwen pour connaître les paramètres d'entrée et de sortie du modèle Qwen-Long.

Codes d'erreur

Si l'appel du modèle échoue et renvoie un message d'erreur, consultez la section Codes d'erreur pour résoudre le problème.

Limites

  • Dépendances du SDK :
    • Les opérations sur les fichiers (téléchargement, suppression, requête) nécessitent un SDK compatible OpenAI.
    • Appelez les modèles à l'aide d'un SDK compatible OpenAI ou du SDK Dashscope.
  • Téléchargement de fichiers :
    • Formats pris en charge : TXT, DOCX, PDF, XLSX, EPUB, MOBI, MD, CSV, JSON, BMP, PNG, JPG/JPEG et GIF.
    • Taille des fichiers : la taille maximale des fichiers image est de 20 Mo. Pour les autres formats de fichiers, elle est de 150 Mo.
    • Quota du compte : maximum 10 000 fichiers ou 100 Go par compte. Les téléchargements échouent lorsque l'une de ces limites est atteinte. Supprimez des fichiers pour libérer du quota. Consultez la section Compatible OpenAI - Fichier.
    • Durée de conservation : actuellement, aucune limite d'expiration n'est imposée aux fichiers stockés.
  • Entrées de l'API :
    • Le premier message system définit le rôle. Le second contient le contenu du document ou fileid://xxx. Le message user contient la requête.
    • Lorsque vous référencez des fichiers à l'aide d'un file-id, une seule requête peut référencer jusqu'à 100 fichiers.
    • En présence d'un second message system, la limite du message user est de 9 000 tokens. Aucune limite ne s'applique s'il n'y a qu'un seul message système.
    • La longueur totale du contexte est limitée à 10 millions de tokens.
  • Sorties de l'API :
    • La longueur de sortie maximale est de 32 768 tokens.
  • Partage de fichiers :
    • Les file-id sont spécifiques à un compte et ne peuvent pas être utilisés entre comptes ni avec des clés API d'utilisateurs RAM.
  • Limitation du débit : pour plus d'informations sur les conditions de limitation du débit des modèles, consultez la section Limitation du débit.