Skip to main content
模型部署

模型匯入

介紹百鍊平台從阿里雲 OSS 匯入 LoRA 模型的全流程操作,涵蓋首次 OSS 授權、模型檔案準備、匯入表單填寫、匯入模型管理與常見問題排查。

模型匯入概述

本篇介紹將本地訓練的 LoRA 模型從阿里雲Object Storage Service 匯入到百鍊平台的全流程,覆蓋首次 OSS 授權、模型檔案準備、匯入表單填寫、模型查看管理與刪除,以及匯入失敗、已失效等常見問題排查。匯入成功後即可部署服務,部署、擴縮容與下線操作詳見部署營運,通過 API 完成部署與調用詳見使用 API 進行模型部署,部署前置概念與計費方案對比詳見模型部署簡介,本篇與三者構成概念、匯入、部署、調用的完整鏈路。 匯入頁基本模型欄位由平台介面動態返回當前支援匯入的基本模型清單,可能隨版本更新,請以控制台可選列表為準。當前支援的基本模型如下:
以下清單由後端介面動態返回,可能隨版本更新而調整,請以控制台實際可選項為準。

模型系列

模型名稱

千問3

千問3-32B

千問3

千問3-14B

千問3

千問3-8B

千問3

千問3-4B-Instruct-2507

千問3-VL

千問3-VL-8B-Instruct

千問2.5

千問2.5-72B-Instruct

千問2.5

千問2.5-32B-Instruct

千問2.5

千問2.5-14B-Instruct

千問2.5

千問2.5-7B-Instruct

千問2.5-VL

千問2.5-VL-72B-Instruct

千問2.5-VL

千問2.5-VL-7B-Instruct

訓練方式可選項取決於所選基本模型的聲明,選擇基本模型後訓練方式欄位自動渲染可選項並預設選中第一項。目前的版本僅支援匯入 LoRA 模型,全參微調模型不可匯入。 匯入來源僅支援「從 OSS 匯入」一項,表單中預設選中且無其他選項,暫不支援從其他渠道匯入模型。 匯入成功後的模型狀態為建立成功,可在我的模型列表中部署服務;從 OSS 匯入的模型不支援增量訓練,如需迭代請重新訓練後再次匯入。匯入後將使用百鍊提供的免費儲存空間存放模型記錄。

首次匯入前完成 OSS 授權

首次從 OSS 匯入模型前,須完成 OSS 服務關聯角色授權,並為目標 Bucket 添加訪問標籤。授權通過匯入頁一鍵完成,授權後系統自動建立服務關聯角色 AliyunServiceRoleForSFMDataHubOSSImport(服務名 datahub.sfm.aliyuncs.com,權限原則 AliyunServiceRolePolicyForSFMDataHubOSSImport),通常秒級生效。服務關聯角色說明詳見OSS 服務關聯角色,主帳號與子帳號的概念與區別詳見主帳號與子帳號 匯入模型頁的「匯入來源」選擇「從 OSS 匯入」後,若未授權,OSS 欄位區會提示「您還未授權OSS」並顯示「前往授權」連結,確定按鈕在未授權時不可用。主帳號與子帳號的授權路徑不同,請按帳號類型選擇。
  • 使用主帳號
  • 使用子帳號
  1. 在匯入模型頁「匯入來源」選擇「從 OSS 匯入」後,頁面提示「您還未授權OSS」,在提示欄右側點擊「前往授權」。
  2. 在彈出的對話方塊中點擊「立即授權」,系統自動建立服務關聯角色 AliyunServiceRoleForSFMDataHubOSSImport,通常秒級生效,服務高峰期可能稍有延遲。
  3. 為目標 OSS Bucket 添加標籤:訪問 OSS 管理主控台的 Bucket 列表,找到目標 Bucket,懸停標籤列表徵圖並點擊「前往編輯」→「建立標籤」,添加標籤名 bailian-datahub-access、標籤值 read,儲存。
  4. 返回匯入模型頁,重新選擇目標 Bucket 再嘗試匯入。百鍊不支援訪問 Bucket 根目錄下的檔案,須選擇 Bucket 下已有的子目錄或建立子目錄。
授權後須為目標 OSS Bucket 添加標籤:標籤名為 bailian-datahub-access,標籤值為 read。該標籤用於標記百鍊可訪問的 Bucket,未添加此標籤的 Bucket 在下拉式清單中不可選,須到OSS 管理主控台添加標籤後重新選擇。 OSS Bucket 儲存類型不支援歸檔、冷歸檔或深度冷歸檔,支援內容加密的 Bucket 與私人 Bucket。百鍊不支援訪問 Bucket 根目錄下的檔案,須選擇 Bucket 下已有的子目錄或建立子目錄。

舊授權方式升級

若您此前使用的是舊授權方式,匯入頁 Bucket 欄位下方會提示「建議轉換為新的 Bucket 授權方式,提升安全性」並提供「直接轉換」連結。點擊後彈出確認框,確認即可升級為服務關聯角色授權方式,升級不影響原有資料。

未開通 OSS 產品

若主帳號尚未開通Object Storage Service,匯入頁會提示「您還未開通OSS」並提供前往購買的連結。須由主帳號前往 OSS 控制台開通 OSS 後返回匯入頁重新授權。

準備 LoRA 模型檔案

匯入前須將 LoRA 模型檔案按以下要求存放在 OSS Bucket 的子目錄中(不支援 Bucket 根目錄),並在提交前通過系統的自動校正。模型檔案須直接放在所選子目錄下,系統會自動識別。
目前的版本僅支援匯入 LoRA 模型,不支援匯入全參微調模型。

必需檔案與目錄結構

子目錄中須包含以下檔案:adapter_model.safetensors(LoRA 適配器權重,SafeTensors 格式)、adapter_config.json(含 rank、alpha 等參數的設定檔)、config.json(基本模型配置)。選中目錄後系統會自動校正這些檔案的格式與完整性。

訓練參數約束

  • rank 取值:rank 必須為 8、16、32 或 64 之一,且同一模型的所有 LoRA 層須使用相同的 rank 值,否則無法匯入。
  • 詞彙表不可修改:訓練中添加新 token 或修改原始詞彙表的模型無法匯入,須與基本模型詞彙表完全一致。
  • 對話模板不可修改:訓練中修改 chat_template 的模型無法匯入,須與基本模型預設配置一致。chat_template 位於 config.json 或 tokenizer_config.json 的 chat_template 欄位。
  • 視覺模型須凍結 VIT:視覺語言模型必須凍結 Vision Transformer 部分。若 LoRA 適配器中包含 visual 相關權重參數(即未凍結 VIT),該模型無法匯入。
可在匯入前運行以下指令碼檢查 adapter_model.safetensors 是否含 visual 開頭的參數鍵,以判斷 VIT 是否凍結。
from safetensors import safe_open
import argparse

def print_safetensor_structure(file_path):
    print(f"Loading safetensor file: {file_path}")
    print("="*80)

    with safe_open(file_path, framework="pt") as f:
        keys = f.keys()
        print(f"Found {len(keys)} tensors in the file:\n")

        for key in sorted(keys):
            tensor = f.get_tensor(key)
            shape = tuple(tensor.shape)
            dtype = str(tensor.dtype)
            device = tensor.device if hasattr(tensor, 'device') else 'cpu'

            lora_tag = " [LoRA]" if "lora_A" in key or "lora_B" in key else ""

            print(f"[{dtype:>14}] {shape} | {key} {lora_tag}")

if __name__ == "__main__":
    parser = argparse.ArgumentParser(description="Print structure of a .safetensors LoRA adapter.")
    parser.add_argument("filepath", type=str, help="Path to the .safetensors file")
    args = parser.parse_args()

    print_safetensor_structure(args.filepath)
判斷方法:若指令碼輸出中存在以 visual 開頭的參數鍵(如 visual.encoder.layer.0...),說明 VIT 部分未被凍結,該模型無法匯入;若僅含 lora_A、lora_B 等 LoRA 相關參數鍵,則 VIT 已凍結,可正常匯入。

提交前自動校正

匯入頁選中模型目錄後,系統會自動調用檔案校正介面檢查目錄下模型檔案的格式與完整性。校正失敗會在目錄欄位下方顯示紅標提示並阻斷提交,須按提示修本文件後再提交。常見失敗原因如缺少必需檔案,對應錯誤碼 AvailableModelFileNotFound。

匯入 LoRA 模型

完成 OSS 授權並準備好模型檔案後,在百鍊控制台·我的模型頁面點擊右上方「匯入模型」按鈕進入建立頁,按以下步驟完成匯入。
  1. 在「我的模型」頁面,點擊右上方的「匯入模型」按鈕進入匯入模型建立頁。
  2. 按下方表格填寫模型資訊,其中基本模型須與 LoRA 訓練時的基座一致,Bucket 須已添加 bailian-datahub-access=read 標籤,模型目錄選中後系統會自動校正檔案。
  3. 確認資訊無誤後點擊確定提交,系統自動驗證檔案格式和完整性,通過後開始匯入;如需放棄點擊取消返回列表頁。匯入後可在管理匯入的模型查看狀態。
匯入模型表單各欄位含義如下:

欄位

說明

約束

模型名稱

輸入模型的顯示名稱。

必填,最多 50 字元

基本模型

選擇 LoRA 訓練時的基座模型,須與訓練基座一致。

必填,下拉選擇

訓練方式

可選項取決於所選基本模型,選擇基本模型後自動渲染並預設選中第一項。

必填,下拉選擇

匯入來源

當前僅支援「從 OSS 匯入」,無其他選項。

唯讀,預設選中

Bucket

選擇存放模型檔案的 OSS Bucket,僅列出已添加 bailian-datahub-access=read 標籤的 Bucket。

必填,下拉選擇

模型目錄

在選定 Bucket 中瀏覽並選擇模型 Checkpoint 所在子目錄,不支援選 Bucket 根目錄。

必填,樹形選擇

模型加密

平台自動為匯出的模型檔案開啟 OSS 服務端加密(SSE-OSS),使用 OSS 完全託管密鑰,密碼編譯演算法為 AES256。

唯讀,平台強制

若尚未完成 OSS 授權,確定按鈕不可用,須先完成首次匯入前完成 OSS 授權後再提交。匯入成功後即可部署,部署操作詳見部署營運 匯入後的模型狀態包括建立中(正在匯入)、建立成功(可部署)、建立失敗(匯入失敗)和已失效(源檔案已變更)。

管理匯入的模型

匯入提交後返回我的模型列表頁,可查看與管理所有匯入的模型。列表展示模型名稱、模型 ID(附複製按鈕)、基本模型、來源、支援部署方式、狀態、建立時間與操作列,右上方提供匯入模型入口與重新整理按鈕。

狀態與流轉

模型狀態包括建立中、建立成功、建立失敗和已失效。建立中表示正在匯入;建立成功表示匯入完成可部署;建立失敗表示匯入未成功;已失效表示建立成功後 OSS 源模型檔案發生變更。列表對處於建立中狀態的模型每 3 秒自動靜默重新整理,屬正常行為,非介面異常。 建立失敗狀態旁附「詳情」連結,懸停可查看失敗錯誤碼(如 AvailableModelFileNotFound)與對應的 oss://bucket/path 路徑,用於定位失敗檔案。 已失效狀態可懸停查看彈出框,展示「如下檔案檢測到更新」及發生變更的源檔案名稱列表,提示須重新匯入。

操作列可用性

  • 部署:僅建立成功狀態可點擊,點擊後跳轉部署建立頁,部署操作詳見部署營運;其餘狀態或無可選部署方式時按鈕不可用。
  • 增量訓練:從 OSS 匯入的模型不支援增量訓練,按鈕不可用。
  • 刪除:建立中狀態不可刪除;量化模型須前往模型壓縮介面刪除。
在操作列點擊刪除並確認後,僅刪除百鍊側的模型記錄,不影響 OSS 源檔案。其餘狀態刪除時會調用刪除介面清理記錄。
刪除操作不可恢複:僅移除百鍊側的模型記錄,須重新匯入才能恢複;不會刪除 OSS 中的源檔案。
列表頂部搜尋方塊可按模型名稱篩選模型,支援清空重設。來源列按匯入來源渲染:OSS 匯入顯示 oss://bucket/path,訓練任務顯示來源任務 ID(已刪除則顯示「訓練任務已刪除」),並標註全參、LoRA 或量化標籤。通過 API 呼叫已部署模型詳見使用 API 進行模型部署 所有操作按單個模型進行,不支援大量刪除或批量部署。

常見問題

匯總匯入處理程序中常見的問題與處理方式。
該錯誤表示模型目錄檔案校正未通過(格式或完整性問題),不是單純重傳檔案可解決。請檢查所選目錄是否包含齊全合規的 adapter_model.safetensors、adapter_config.json、config.json,並確認 rank、詞彙表、chat_template 等約束均滿足,修正後重新選擇目錄提交。
已失效表示該模型建立成功後,OSS 源模型檔案發生了變更,屬正常檢測行為而非故障。將滑鼠移至上方在已失效狀態上可查看發生變更的檔案名稱列表,需重新匯入模型方可恢複可用。
一般是由於主帳號尚未開通Object Storage Service服務 OSS。須由主帳號前往 OSS 管理主控台按介面指引開通 OSS,再返回百鍊匯入模型介面重新嘗試授權。
子帳號授權失敗是因為沒有建立服務關聯角色的許可權,並非真失敗。須先由主帳號在 RAM 控制台建立自訂權限原則(操作為 ram:CreateServiceLinkedRole,針對服務 datahub.sfm.aliyuncs.com)並授予子帳號,再由子帳號重新點擊授權。OSS 服務關聯角色說明詳見OSS 服務關聯角色
這是授權要求而非故障。新授權方式下,未添加 bailian-datahub-access=read 標籤的 Bucket 在下拉中不可選。須到 OSS 管理主控台為目標 Bucket 添加該標籤後返回匯入頁重新選擇。
不是故障。列表檢測到有處於建立中狀態的模型時,會每 3 秒靜默重新整理以擷取最新狀態,無建立中狀態時自動停止,屬正常行為。
百鍊推理引擎的參數預設值可能與本地推理架構不同,並非模型匯入有誤。為對齊 vLLM 預設值,建議調用時參考下表設定參數;使用 SGLang 等其他架構請參考對應文檔調整。該參數對照屬部署與調用範疇,詳見使用 API 進行模型部署

參數名稱

推薦值(對應 vLLM 預設值)

temperature

取值範圍 [0, 2),設定為 1.0 等同於 vLLM 引擎預設值。

top_p

取值範圍 (0, 1.0],設定為 1.0 等同於 vLLM 引擎預設值。

top_k

取值為 None 或大於 100 時不啟用 top_k 策略,僅 top_p 生效;設定為 99 不支援全採樣,接近 vLLM 預設值 0(全採樣)。

presence_penalty

取值範圍 [-2.0, 2.0],設定為 0 等同於 vLLM 引擎預設值。

repetition_penalty(DashScope 協議)

提高可降低產生重複度,1.0 表示不懲罰;取值範圍大於 0,設定為 1.0 等同於 vLLM 引擎預設值。

不會。刪除僅移除百鍊側的模型記錄,需重新匯入方可恢複;OSS 源檔案歸您所有,百鍊僅通過 bailian-datahub-access=read 標籤讀取存取,刪除模型不會改動 OSS 中的任何檔案。
Token Plan
模型體驗
  • 音樂產生
用量統計與效能監控
資產中心
服務支援