模型監控

• 查看調用記錄
• 指標監控與警示，如Token延時、調用時間長度、RPM（每分鐘請求數）、TPM（每分鐘Token數）和失敗率
• 統計Token消耗

​

支援的模型

• 監控：普通監控支援選擇模型中的所有模型；進階監控支援北京、新加坡、維吉尼亞地區下的所有模型。
• 警示功能：支援北京、新加坡、維吉尼亞地區下的所有模型。

​

監控模型運行

列表記錄按“模型 + 業務空間”維度產生。新模型在首次資料同步完成後自動加入列表（普通監控的延遲通常為小時級，請耐心等待；如需分鐘級的資料洞察，請使用進階監控）。

預設業務空間成員可查看所有業務空間的模型調用情況；子業務空間成員僅能查看當前空間的資料，無法切換查看其他業務空間資料。

• 安全：識別對話中的違規內容，例如Alibaba Content Security Service錯誤次數。
• 成本：評估模型的成本效益，例如平均單次請求調用量。
• 效能：觀察模型的效能變化，例如調用時間長度、首Token延時。
• 錯誤：判斷模型的穩定性，例如失敗次數、失敗率。

• 限流錯誤次數：指因429狀態代碼導致的調用失敗。
• Alibaba Content Security Service錯誤次數：指輸入或輸出包含疑似敏感或高風險內容（例如涉黃、涉政和廣告等）被Alibaba Content Security Service服務攔截。

​

查看 Token 消耗

• 匯總：按業務空間維度匯總模型的歷史Token消耗，並可按時間範圍和API Key進一步篩選。
• 追蹤：記錄每一次模型調用的Token消耗。
• 警示：設定Token消耗閾值，當指定模型出現異常消耗時，系統立即警示。

​

查看模型歷史 Token 消耗

• 查看最近30天的Token消耗：
  1. 當模型出現在目標業務空間的模型監控列表中後，點擊其右側操作列的监控。
  2. 在調用統計頁簽的調用量地區，可以查看Token消耗資料。
• 查看更早的用量：在費用與成本頁面查詢。

​

查看某次調用的 Token 消耗

該功能目前適用於华北2（北京）、新加坡地區的部分模型。

1. 使用主帳號（或擁有足夠許可權的子帳號）登入，在目標業務空間的模型監控（北京）或模型監控（新加坡）頁面，點擊右上方的模型监控配置，按照指引依次開通審計日誌和推理日誌。

   開通後，系統即開始記錄該業務空間內每一次模型調用的輸入與輸出。從調用發生到日誌被記錄存在分鐘級延遲，請耐心等待。

2. 在模型監控列表中找到目標模型，點擊其右側操作列的日志。
3. 日志頁簽以表格形式展示該模型的即時推理調用記錄，表格包含Request ID/調用時間、調用時間長度、狀態代碼（支援篩選）、錯誤碼、用量、請求和響應、操作等列。其中用量欄位即為本次調用的Token消耗。

​

建立異常消耗警示

• 請參見建立主動警示。

​

查看歷史對話（模型日誌）

​

步驟一：開通日誌

開通後，系統即開始記錄該業務空間內每一次模型調用的輸入與輸出。從調用發生到日誌被記錄存在分鐘級延遲，請耐心等待。

如需停止記錄，只需在模型監控配置中關閉推理日誌即可。

​

步驟二：查看歷史對話

1. 在模型監控列表中找到目標模型，點擊其右側操作列的日志。
2. 日志頁簽以表格形式展示該模型的即時推理調用記錄，表格包含Request ID/調用時間、調用時間長度、狀態代碼（支援篩選）、錯誤碼、用量、請求和響應、操作等列。其中请求和响应欄位分別對應本次調用的輸入與輸出。

​

建立主動警示

​

步驟一：開啟進階監控

1. 使用主帳號（或擁有足夠許可權的子帳號）登入，在目標業務空間的模型監控（新加坡、維吉尼亞或北京）頁面，點擊右上方的模型监控配置。
2. 在進階監控地區，手動開啟性能和用量指标监控。

​

步驟二：建立警示規則

1. 在模型警示（新加坡、維吉尼亞或北京）頁面，點擊右上方的创建告警规则。
2. 在對話方塊中，選擇要監控的模型和監控模板，確認無誤後點擊确定。當指定的監控指標（如調用統計或效能指標）出現異常時，系統將通知您的團隊。
   • 通知方式：支援簡訊、電子郵件、電話、DingTalk群機器人、企業微信機器人及Webhook。
   • 警示等級：分為普通、警告、错误和紧急，不支援自訂新增或修改。各等級與通知渠道的對應關係如下：
     • 緊急（CRITICAL）: 電話、簡訊、郵件
     • 錯誤（ERROR）: 簡訊、郵件
     • 警告（WARNING）: 簡訊、郵件
     • 普通（INFO）: 郵件

​

接入 Grafana 與自建應用

​

步驟一：擷取資料來源HTTP API地址

1. 確保已開啟進階監控。
2. 在模型監控（新加坡）、模型監控（維吉尼亞）或模型監控（北京）頁面，點擊右上方的模型监控配置。點擊CloudMonitorPrometheus執行個體右側的查看详情。
3. 在设置頁面，根據您的用戶端網路環境（公網或VPC訪問），複製對應的 HTTP API 地址。
   

​

步驟二：接入 Grafana 或自建應用

​

監控模式對比

普通监控：作為基礎服務提供，隨阿里雲百鍊的開通自動開啟，不支援關閉。

高级监控：需主帳號（或擁有足夠許可權的子帳號）在目標業務空間的模型監控（新加坡）、模型監控（維吉尼亞）或模型監控（北京）介面手動開啟，支援關閉。僅記錄開啟進階監控後的調用資料。

​

配額與限制

• 資料保留周期：普通和進階監控的資料預設均保留30天。開啟推理日誌後，調用資料寫入Log ServiceSLS並保留30天，可在SLS控制台調整保留時間。關閉推理日誌後，日誌不再同步到SLS。如需查詢更早的用量資訊，請通過費用與成本頁面查詢。
• 警示模板限制：每個業務空間最多可建立100個警示模板。
• API限制：模型監控的監控指標資料請通過Prometheus HTTP API查詢。
  • 替代方案：如需通過API擷取單次調用Token消耗，可在每次調用模型時從響應中的usage欄位提取當前調用資料。該欄位結構樣本如下（更多說明請參見千問API參考）：

{
  "prompt_tokens": 3019,
  "completion_tokens": 104,
  "total_tokens": 3123,
  "prompt_tokens_details": {
    "cached_tokens": 2048
  }
}

• API Key 用量限額：當前不支援為單個 API Key 設定月度或每日 Token 消耗上限並自動停服（即不支援硬性阻斷，無法實現額度用盡後自動禁用 API 呼叫）。如需防止意外欠費，可採用以下替代方案：
  • 警示通知 + 手動禁用 Key：開啟高级监控（收費功能）後，可對 Token 消耗配置警示閾值，當消耗超出閾值時接收消費預警通知，再人工介入處理（如手動禁用對應 API Key）。普通監控僅支援基礎用量查看，不支援配置警示。
  • 免費額度用完即停：適用於僅使用免費配額的情境，開啟後免費額度耗盡時自動停止調用。

​

計費說明

• 普通監控：免費。
• 進階監控：開啟後，分鐘級的監控資料將寫入CloudMonitorCMS服務併產生費用。具體計費方式參見CloudMonitorCMS計費概述。
• 推理日誌：開啟後，分鐘級的日誌資料將寫入Log ServiceSLS服務併產生費用。具體計費方式參見Log ServiceSLS計費概述。

​

常見問題

1. 資料延遲：確認是否已等待足夠的資料同步時間。普通監控延遲為小時級，進階監控為分鐘級。
2. 業務空間：如果當前處於某個子業務空間，則只能看到該空間內的資料。切換到預設業務空間可查看所有資料。

• 輸出內容過長：模型產生內容過多導致整體耗時超過用戶端等待上限。建議改用流式輸出方式，以更快獲得首個Token。
• 網路問題：檢查用戶端與阿里雲服務之間的網路連接是否穩定。

1. 為子帳號配置AliyunBailianFullAccess全域管理（阿里雲百鍊）許可權。
2. 為子帳號配置模型監控-操作（或管理員）頁面許可權，使其能在模型監控頁面執行寫入類操作。
3. 為子帳號配置AliyunCloudMonitorFullAccess系統策略。
4. 建立並授予子帳號建立服務關聯角色系統策略。
   1. 登入RAM控制台，在左側導覽列，選擇許可權管理權限原則，然後點擊頁面上的建立權限原則。
   2. 點擊指令碼編輯，將以下內容粘貼至策略輸入框後，點擊确定。

{
    "Version": "1",
    "Statement": [
        {
            "Action": "ram:CreateServiceLinkedRole",
            "Resource": "*",
            "Effect": "Allow"
        }
    ]
}

3. 輸入權限原則名稱CreateServiceLinkedRole後，點擊确定。
4. 在左側導覽列，選擇身份管理使用者。從頁面列表中找到待授權的子帳號，然後點擊子帳號操作列的添加权限。
5. 從權限原則列表中，選擇剛建立的權限原則（CreateServiceLinkedRole），然後點擊確認新增授權。至此，子帳號擁有了建立服務關聯角色的許可權。
6. 完成以上所有許可權配置後，返回模型監控（新加坡）、模型監控（維吉尼亞）或模型監控（北京）頁面，使用子帳號重試開啟高级监控。

1. 為子帳號配置AliyunBailianFullAccess全域管理（阿里雲百鍊）許可權。
2. 為子帳號配置模型監控-操作（或管理員）頁面許可權，使其能在模型監控頁面執行寫入類操作。
3. 為子帳號配置AliyunLogFullAccess系統策略。
4. 建立並授予子帳號建立服務關聯角色系統策略。
   1. 登入RAM控制台，在左側導覽列，選擇权限管理权限策略，然後點擊頁面上的建立權限原則。
   2. 點擊指令碼編輯，將以下內容粘貼至策略輸入框後，點擊确定。

{
    "Version": "1",
    "Statement": [
        {
            "Action": "ram:CreateServiceLinkedRole",
            "Resource": "*",
            "Effect": "Allow"
        }
    ]
}

3. 輸入權限原則名稱CreateServiceLinkedRole後，點擊确定。
4. 在左側導覽列，選擇身份管理使用者。從頁面列表中找到待授權的子帳號，然後點擊子帳號操作列的添加权限。
5. 從權限原則列表中，選擇剛建立的權限原則（CreateServiceLinkedRole），然後點擊確認新增授權。至此，子帳號擁有了建立服務關聯角色的許可權。
6. 完成以上所有許可權配置後，返回模型監控（北京）或模型監控（新加坡）頁面，使用子帳號重試開啟推理日志。

​

附錄

​

名詞解釋