Skip to main content

模型壓縮

模型壓縮通過量化技術將全精度微調模型轉為低精度版本,降低部署所需的 MU 規格和成本。本文介紹如何在控制台建立和管理模型壓縮任務。

功能概述

模型壓縮通過量化技術將全精度微調模型轉換為低精度版本,在保持模型能力的前提下降低部署所需的 MU 規格,從而減少推理部署成本。百鍊平台的模型壓縮特指量化,不涉及結構剪枝或知識蒸餾。 模型壓縮是模型生產鏈路中的可選環節,完整鏈路為:模型調優 → 模型壓縮 → 模型部署。您需要先完成模型微調訓練,再對產出的微調模型執行壓縮,最後將壓縮後的模型部署為推理服務。
壓縮無法復原。壓縮後的模型不支援繼續微調,也不支援二次壓縮。請在壓縮前確認量化模板選擇。

支援壓縮的模型

當前支援壓縮的模型如下表所示,具體以控制台展示為準。
  • 中國(北京)
  • 新加坡

模型系列

基本模型

壓縮前部署規格

壓縮後部署規格

Qwen

qwen3.5-flash-2026-02-23

MU1*2($14.852/小時)

MU5/MU8/MU9

Qwen

qwen3.6-plus-2026-04-02

MU1*8($59.408/小時)

以控制台為準

使用限制

  • 僅華北2(北京)地區可用。
  • 僅支援通過百鍊平台微調產出的自訂模型,不支援基本模型或第三方模型。
  • 壓縮後的模型不支援繼續微調,也不支援二次壓縮。

建立壓縮任務

前提條件

使用模型壓縮功能前,請確保當前工作空間中已有通過百鍊平台微調訓練完成的自訂模型。如果尚未完成模型微調,請先參見模型調優完成訓練。

操作步驟

  1. 登入百鍊控制台,在頂部導覽列選擇模型 > 模型训练 > 模型压缩。
  2. 在模型壓縮頁面,單擊创建压缩任务。
  3. 在建立壓縮任務頁面,配置以下參數:
    image

    參數

    是否必填

    說明

    任务名称

    是

    最長 50 個字元。建議包含模型簡稱、量化方式和版本號碼,便於後續管理。

    任务描述

    否

    最長 200 個字元。

    选择源模型

    是

    單擊後彈出模型選擇彈窗,僅展示可壓縮的微調模型。如果彈窗中無可用模型,請先完成模型微調訓練。切換源模型會自動清空已選的量化模板,因為不同模型支援的模板列表不同。

    量化产出模型名后缀

    是

    僅支援小寫字母和數字,最長 8 位。輸入非法字元時自動過濾。該尾碼將拼接到源模型名稱後作為壓縮後模型的標識。

    量化模板

    是

    以卡片網格形式展示可用模板。須先選擇源模型後才能選擇模板。模板名中的 MU 編號越大,表示部署規格越小、成本越低。

    校准数据

    條件選填

    僅當所選量化模板包含校準輸入參數時顯示此欄位。最多選擇 5 個資料集,不支援 OSS 掛載的資料集。資料集需在資料管理中建立並發布。

  4. 確認配置無誤後,單擊开始压缩。所有必要欄位填寫完成後按鈕才可點擊。建立成功後自動跳轉到工作清單頁。
壓縮任務建立後不可修改配置。請在單擊开始压缩前仔細確認量化模板的選擇。

查看壓縮任務進度和日誌

在工作清單頁單擊任務名稱進入詳情頁。詳情頁包含详情和日志兩個頁簽。

詳情頁簽

image
详情頁簽展示以下資訊:
  • 基本資料:任務 ID(可複製)、運行狀態、建立時間、任務耗時(運行中即時更新)。任務失敗時額外顯示錯誤資訊。
  • 壓縮配置:源模型、壓縮後模型、量化方法、校準資料等建立時的配置資訊。

日誌頁簽

image
切換到日志頁簽,查看壓縮任務的作業記錄。
  • 顯示行數:可選擇顯示最近 100、500、2000 或 5000 行日誌。
  • 自動重新整理:開啟後每 30 秒自動重新整理日誌內容。
  • 記錄層級著色:INFO(綠色)、DEBUG(灰色)、ERROR(紅色)、WARN(黃色)。
  • 日誌操作:支援下載全量日誌(不受顯示行數限制)、摺疊或展開子條目、切換暗色或亮色模式、切換是否換行顯示。

失敗排查

如果壓縮任務失敗,建議按以下步驟排查:
  1. 在详情頁簽查看錯誤資訊。
  2. 切換到日志頁簽,搜尋 ERROR 層級日誌。
  3. 下載全量日誌進行詳細分析。
  4. 如仍無法解決,請提交工單並附上任務 ID 和記錄檔。

管理壓縮任務

在控制台選擇模型 > 模型训练 > 模型压缩進入工作清單頁,管理已建立的壓縮任務。
image

工作清單

工作清單展示以下 7 列資訊:

列名

說明

任务名称/ID

任務名稱和任務 ID。單擊任務名稱可進入詳情頁。

量化模板

建立任務時選擇的量化模板名稱。

任务状态

當前任務的運行狀態。

源模型

壓縮前的微調模型名稱。

压缩后模型

壓縮產出的模型名稱。僅任務成功時可點擊跳轉到模型中心查看。

创建时间

任務的建立時間。

操作

可執行檔操作,包括停止和刪除。操作可用性與任務狀態相關。

支援按量化模板、任务状态(5 種)、時間範圍和任務名稱或 ID進行篩選和搜尋。列表支援排序,每頁顯示 10 條記錄。

任務狀態

壓縮任務共有 7 種狀態,生命週期如下:
  • PENDING(待開始):任務已建立,等待調度。
  • QUEUING(排隊中):任務已進入執行隊列。
  • RUNNING(運行中):任務正在執行壓縮。
  • SUCCEEDED(壓縮成功):壓縮完成,模型已產出。
  • FAILED(壓縮失敗):壓縮過程中出錯。
  • CANCELING(停止中):使用者發起停止,任務正在終止。
  • CANCELED(已取消):任務已被使用者停止。

停止和刪除任務

  • 停止任務:僅 PENDING 和 RUNNING 狀態的任務可停止。單擊停止後需在確認彈窗中二次確認。停止後任務不可恢複。詳情頁中也提供停止按鈕。
  • 刪除任務:僅終態(SUCCEEDED、FAILED、CANCELED)的任務可刪除,QUEUING 狀態不可刪除。刪除任務記錄不影響已產出的壓縮後模型。
空狀態提示:無任務時頁面顯示引導文案並提供建立入口;有篩選無結果時提示"未找到匹配項",建議調整篩選條件或清空搜尋。

計費說明

  • 壓縮任務本身限時免費,截止時間以控制台公告為準。
  • 壓縮後的模型在部署階段按 MU 規格計費。詳細的部署計費資訊,請參見模型部署。
以 qwen3.5-flash-2026-02-23 微調模型為例,壓縮前後的部署規格與價格請參見支援壓縮的模型,部署成本節省約 56%。建議在免費期內對比多個量化模板的壓縮效果,選擇最優方案後再正式部署。

常見問題

選擇源模型彈窗中僅展示可壓縮的微調模型。如果彈窗中無可選項,說明當前工作空間沒有合格微調模型。請先參見模型調優完成微調訓練,確保訓練狀態為成功後再建立壓縮任務。
不能。壓縮是單向操作,如需調整請從上遊全精度微調模型重新壓縮。詳見功能概述中的使用限制。
三者是不同的模型最佳化技術。量化降低參數精度,剪枝移除冗餘結構,蒸餾用大模型訓練小模型。百鍊當前僅支援量化。
量化模板決定了壓縮後模型的部署規格。模板名稱中 MU 編號越大,部署規格越小、成本越低,但精度損失可能越大。建議根據業務對成本和精度的權衡來選擇模板。如果不確定,可以在免費期內嘗試多個模板,部署後用業務測試集驗證效果。
校準資料用於提升量化精度,建議選擇與目標推理情境語義相近的資料集。例如,如果壓縮後的模型用於客服問答情境,建議選擇包含客服對話樣本的資料集作為校準資料。
量化壓縮可能導致一定程度的精度損失。建議在部署後使用業務測試集進行推理驗證。如果精度不滿足需求,可以嘗試更換量化模板重新壓縮,或添加校準資料提升量化品質。
壓縮任務當前限時免費,免費期結束後的計費方式以控制台公告為準。壓縮後模型的部署費用不受免費期影響,始終按 MU 規格計費。
建議在免費期內對同一微調模型嘗試多個量化模板,分別部署後使用業務測試集驗證推理效果。對比不同模板在精度和成本之間的表現,選擇最適合業務需求的方案後再正式上線。
如果您需要通過 API 管理壓縮任務,請參見模型壓縮 API 參考。