模型壓縮通過量化技術將全精度微調模型轉為低精度版本,降低部署所需的 MU 規格和成本。本文介紹如何在控制台建立和管理模型壓縮任務。
功能概述
模型壓縮通過量化技術將全精度微調模型轉換為低精度版本,在保持模型能力的前提下降低部署所需的 MU 規格,從而減少推理部署成本。百鍊平台的模型壓縮特指量化,不涉及結構剪枝或知識蒸餾。
模型壓縮是模型生產鏈路中的可選環節,完整鏈路為:模型調優 → 模型壓縮 → 模型部署。您需要先完成模型微調訓練,再對產出的微調模型執行壓縮,最後將壓縮後的模型部署為推理服務。
支援壓縮的模型
當前支援壓縮的模型如下表所示,具體以控制台展示為準。
- 中國(北京)
- 新加坡
模型系列 | 基本模型 | 壓縮前部署規格 | 壓縮後部署規格 |
|---|---|---|---|
Qwen | qwen3.5-flash-2026-02-23 | MU1*2($14.852/小時) | MU5/MU8/MU9 |
Qwen | qwen3.6-plus-2026-04-02 | MU1*8($59.408/小時) | 以控制台為準 |
使用限制
- 僅華北2(北京)地區可用。
- 僅支援通過百鍊平台微調產出的自訂模型,不支援基本模型或第三方模型。
- 壓縮後的模型不支援繼續微調,也不支援二次壓縮。
建立壓縮任務
前提條件
使用模型壓縮功能前,請確保當前工作空間中已有通過百鍊平台微調訓練完成的自訂模型。如果尚未完成模型微調,請先參見模型調優完成訓練。
操作步驟
- 登入百鍊控制台,在頂部導覽列選擇模型 > 模型训练 > 模型压缩。
- 在模型壓縮頁面,單擊创建压缩任务。
-
在建立壓縮任務頁面,配置以下參數:

參數
是否必填
說明
任务名称
是
最長 50 個字元。建議包含模型簡稱、量化方式和版本號碼,便於後續管理。
任务描述
否
最長 200 個字元。
选择源模型
是
單擊後彈出模型選擇彈窗,僅展示可壓縮的微調模型。如果彈窗中無可用模型,請先完成模型微調訓練。切換源模型會自動清空已選的量化模板,因為不同模型支援的模板列表不同。
量化产出模型名后缀
是
僅支援小寫字母和數字,最長 8 位。輸入非法字元時自動過濾。該尾碼將拼接到源模型名稱後作為壓縮後模型的標識。
量化模板
是
以卡片網格形式展示可用模板。須先選擇源模型後才能選擇模板。模板名中的 MU 編號越大,表示部署規格越小、成本越低。
校准数据
條件選填
僅當所選量化模板包含校準輸入參數時顯示此欄位。最多選擇 5 個資料集,不支援 OSS 掛載的資料集。資料集需在資料管理中建立並發布。
- 確認配置無誤後,單擊开始压缩。所有必要欄位填寫完成後按鈕才可點擊。建立成功後自動跳轉到工作清單頁。
查看壓縮任務進度和日誌
在工作清單頁單擊任務名稱進入詳情頁。詳情頁包含详情和日志兩個頁簽。
詳情頁簽

- 基本資料:任務 ID(可複製)、運行狀態、建立時間、任務耗時(運行中即時更新)。任務失敗時額外顯示錯誤資訊。
- 壓縮配置:源模型、壓縮後模型、量化方法、校準資料等建立時的配置資訊。
日誌頁簽

- 顯示行數:可選擇顯示最近 100、500、2000 或 5000 行日誌。
- 自動重新整理:開啟後每 30 秒自動重新整理日誌內容。
- 記錄層級著色:INFO(綠色)、DEBUG(灰色)、ERROR(紅色)、WARN(黃色)。
- 日誌操作:支援下載全量日誌(不受顯示行數限制)、摺疊或展開子條目、切換暗色或亮色模式、切換是否換行顯示。
失敗排查
如果壓縮任務失敗,建議按以下步驟排查:
- 在详情頁簽查看錯誤資訊。
- 切換到日志頁簽,搜尋 ERROR 層級日誌。
- 下載全量日誌進行詳細分析。
- 如仍無法解決,請提交工單並附上任務 ID 和記錄檔。
管理壓縮任務
在控制台選擇模型 > 模型训练 > 模型压缩進入工作清單頁,管理已建立的壓縮任務。

工作清單
工作清單展示以下 7 列資訊:
列名 | 說明 |
|---|---|
任务名称/ID | 任務名稱和任務 ID。單擊任務名稱可進入詳情頁。 |
量化模板 | 建立任務時選擇的量化模板名稱。 |
任务状态 | 當前任務的運行狀態。 |
源模型 | 壓縮前的微調模型名稱。 |
压缩后模型 | 壓縮產出的模型名稱。僅任務成功時可點擊跳轉到模型中心查看。 |
创建时间 | 任務的建立時間。 |
操作 | 可執行檔操作,包括停止和刪除。操作可用性與任務狀態相關。 |
任務狀態
壓縮任務共有 7 種狀態,生命週期如下:
- PENDING(待開始):任務已建立,等待調度。
- QUEUING(排隊中):任務已進入執行隊列。
- RUNNING(運行中):任務正在執行壓縮。
- SUCCEEDED(壓縮成功):壓縮完成,模型已產出。
- FAILED(壓縮失敗):壓縮過程中出錯。
- CANCELING(停止中):使用者發起停止,任務正在終止。
- CANCELED(已取消):任務已被使用者停止。
停止和刪除任務
- 停止任務:僅 PENDING 和 RUNNING 狀態的任務可停止。單擊停止後需在確認彈窗中二次確認。停止後任務不可恢複。詳情頁中也提供停止按鈕。
- 刪除任務:僅終態(SUCCEEDED、FAILED、CANCELED)的任務可刪除,QUEUING 狀態不可刪除。刪除任務記錄不影響已產出的壓縮後模型。
計費說明
- 壓縮任務本身限時免費,截止時間以控制台公告為準。
- 壓縮後的模型在部署階段按 MU 規格計費。詳細的部署計費資訊,請參見模型部署。
常見問題
建立壓縮任務時無可選模型怎麼辦?
建立壓縮任務時無可選模型怎麼辦?
壓縮後的模型能否繼續微調或二次壓縮?
壓縮後的模型能否繼續微調或二次壓縮?
量化與剪枝、蒸餾有什麼區別?
量化與剪枝、蒸餾有什麼區別?
量化模板怎麼選?
量化模板怎麼選?
校準資料怎麼選?
校準資料怎麼選?
壓縮後模型精度下降怎麼辦?
壓縮後模型精度下降怎麼辦?
免費期結束後怎麼收費?
免費期結束後怎麼收費?
如何利用免費期確定最佳壓縮方案?
如何利用免費期確定最佳壓縮方案?