處理超長文字文件時,標準大型語言模型會因上下文視窗限制而失敗。Qwen-Long 模型提供 1000 萬 Token 的上下文長度,通過檔案上傳和引用機制處理大規模資料。
本文檔僅適用於華北2(北京)地區。如需使用模型,需使用華北2(北京)地區的API Key。
使用方式
Qwen-Long 處理長文檔分為以下兩個步驟:檔案上傳與 API 呼叫。
-
檔案上傳與解析:
- 通過 API 上傳檔案,檔案格式與大小限制請參考支援格式。
- 上傳並成功後,系統返回一個當前帳號下的唯一
file-id並開始解析。檔案上傳、儲存以及解析本身不產生費用。
-
API 呼叫與計費:
- 在調用模型時,通過在
system訊息中引用一個或多個file-id。 - 模型根據
file-id關聯的常值內容進行推理。 - 每次API 呼叫都會將所引用檔案內容 Token 數計入該次請求的輸入Token。
- 在調用模型時,通過在
快速開始
前提條件
- 已擷取API Key,並配置API Key到環境變數。
- 如果通過SDK調用,還需要安裝OpenAI SDK。
文檔上傳
以阿里雲百鍊系列手機產品介紹.docx為例,通過OpenAI相容介面上傳到阿里雲百鍊平台的安全儲存空間,擷取返回的file-id。有關文檔上傳介面的詳細參數解釋及調用方式,請參考API文檔頁面進行瞭解。
Python
file-id。
通過檔案ID傳入資訊並對話
將擷取的 file-id 嵌入到System Message 中。第一條System Message用於設定角色向模型提問,後續的System Message用於傳入 file-id,User Message包含針對文檔的具體問題。
較長的文檔可能會需要相對更長的時間完成解析,請耐心等待解析完成後進行調用。
Python
傳入多個文檔
您可以在一條System Message中傳入多個file-id,以便在一次請求中處理多個文檔;也可以在messages中添加新的System Message以補充新的文檔資訊。
- 傳入多文檔
- 追加文檔
Python
通過純文字傳入資訊
除了通過 file-id 傳入文檔資訊外,您還可以直接使用字串傳入文檔內容。在此方法下,為避免模型混淆角色設定與文檔內容,請確保在 messages 的第一條訊息中添加用於角色設定的資訊。
受限於API調用請求體大小,如果您的常值內容長度超過100萬Token,請通過檔案ID傳入資訊對話。
- 簡單樣本
- 傳入多文檔
- 追加文檔
您可以直接將文檔內容輸入System Message中。
Python
模型定價
- 華北2(北京)
- 華北2(北京)
| 模型名稱 | 版本 | 上下文長度 | 最大輸入 | 最大輸出 | 輸入成本 | 輸出成本 |
|---|---|---|---|---|---|---|
| (Token數) | (每百萬Token) | |||||
qwen-long-latest始終與最新快照版能力相同 | 最新版 | 10,000,000 | 10,000,000 | 32,768 | $0.072 | $0.287 |
qwen-long-2025-01-25又稱qwen-long-0125 | 快照版 | |||||
常見問題
- Qwen-Long模型是否支援批量提交任務? 是的,Qwen-Long相容 OpenAI Batch 介面並按照即時調用費用的 50% 來進行計費出賬。該介面支援以檔案方式批量提交任務,任務會以非同步形式執行,並在完成或達到最長等待時間時返回結果。
- 通過OpenAI檔案相容介面上傳檔案後,檔案將被儲存在何處? 所有通過OpenAI檔案相容介面上傳的檔案均將被儲存在當前阿里雲帳號下的阿里雲百鍊儲存空間且不會產生任何費用,關於所上傳檔案的資訊查詢與管理請參考OpenAI檔案介面。
-
qwen-long-2025-01-25是什嗎? 這是一個版本快照標識。它代表模型在某個時間點的功能和效能凍結版本,提供比 latest 版更高的穩定性。它不代表到期日。 -
如何確定檔案已經解析完成?
推薦通過查詢檔案狀態來確認解析進度,無需反覆試調用:調用查詢檔案資訊(retrieve)介面擷取檔案對象,查看其
status欄位——processing表示仍在解析中,processed表示解析完成、可以引用調用,error表示解析失敗;當 status 為 processed 後即可正常調用。查詢檔案資訊介面的詳細說明請參考OpenAI檔案介面。此外,也可以直接嘗試使用該file-id與模型進行對話:若檔案尚未解析完成,系統將返回錯誤碼 400,並提示“File parsing in progress, please try again later.”;若模型調用成功並返回了回複內容,則表示檔案已解析完成。 -
如何確保模型輸出標準格式的 JSON 字串?
qwen-long及其所有快照版本均支援結構化輸出功能。可以通過指定一個JSON Schema,使模型按照定義的結構以合法的JSON格式返回。
API參考
關於Qwen-Long模型的輸入與輸出參數,請參考通義千問API詳情。
錯誤碼
如果模型調用失敗並返回報錯資訊,請參見錯誤碼進行解決。
限制
-
SDK 依賴:
- 檔案上傳、刪除、查詢等管理操作必須使用 OpenAI 相容 SDK。
- 模型調用可使用 OpenAI 相容 SDK 或 Dashscope SDK。
-
檔案上傳:
- 支援格式:TXT, DOCX, PDF, XLSX, EPUB, MOBI, MD, CSV, JSON, BMP, PNG, JPG/JPEG, GIF。
- 檔案大小:圖片格式檔案上限 20MB,其他格式檔案上限 150MB。
- 賬戶配額:單個賬戶最多上傳 1 萬個檔案,總大小不超過 100GB。當檔案數量或總大小達到任一上限時,新的檔案上傳請求將會失敗。請先參考OpenAI相容-File,刪除不再需要的檔案以釋放配額,然後才能繼續上傳。
- 儲存有效期間:當前暫無有效期間限制。
-
API 輸入:
- 第 1 條
system訊息用於角色定義,第 2 條system訊息用於傳入文檔內容或fileid://xxx,user訊息用於使用者提問。 - 通過
file-id引用時,單次請求最多引用 100 個檔案。 - 當請求中包含第 2 條
system訊息(即存在兩個 system 訊息)時,user訊息的內容長度不得超過 9,000 Token。僅當請求中不存在第 2 條 system 訊息時,user 訊息才不受此限制。 - 總上下文長度上限為 1000 萬 Token。
- 第 1 條
-
API 輸出:
- 最大輸出長度為 32,768 Token。
-
檔案分享權限設定:
file-id僅在產生它的阿里雲主帳號內有效,不支援跨帳號或通過 RAM 使用者 API Key 調用。
- 限流:關於模型的限流條件,請參見限流。