Skip to main content

查看评测结果

介绍如何查看评测任务状态与结果详情:任务总览、Case 分析(逐次采样/按题聚合 Pass@K、多模态输入输出展示)、结果分桶与导出回流,以及基线评测报告的解读。

查看评测结果概述

评测任务提交后,可在评测任务列表中查看任务状态和评测结果。任务列表展示任务名称、评测模型、评测方式、评测状态、综合得分、评测详情和创建时间,操作列支持终止、下载、删除,支持按名称搜索、按状态筛选和按时间排序。任务状态变为评测完成后,单击任务名称进入详情页查看详细评测结果——自定义评测报告包含任务总览、Case 分析、多任务对比三个页签(详见下文),基线评测报告包含任务总览、基线评分明细、Case 分析、多任务对比四个页签(详见基线评测报告)。

任务状态

评测任务的状态按以下顺序流转:待执行 → 进行中 → 评测完成/评测失败/评测终止。

状态

说明

可执行操作

待执行

任务已提交,等待系统调度

终止

进行中

正在执行评测

终止

评测完成

所有数据评测完毕

下载、删除、重命名

评测失败

数据格式问题或模型不可用

删除

评测终止

手动终止,已评测部分保留

下载、删除

任务总览、Case 分析与多任务对比

任务状态变为评测完成后,单击任务名称进入详情页,包含任务总览、Case 分析、多任务对比三个页签。 任务总览页签:展示任务基础信息(评测模型、推理配置、评测方式、任务类型、评测维度、并发数、单样本推理次数、创建与更新时间)、整体指标表(各评测维度的综合得分与 Bad Case 数)与消耗总览表(模型名称、类型、用量、用量单位)。用量按模型计费单位统计:文本与视觉理解模型为输入、输出 Token,图片生成、视频生成模型为图片张数、视频时长等。单击推理配置旁的查看详情可查看 System Prompt 与推理参数。 Case 分析页签:逐样本展示评测明细,工具栏支持:
  • 评测集原始数据、输入列显示切换(Prompt&Completion、Prompt 或 Completion)与列表视图切换。
  • 逐次采样视图:每次推理一行,展示输入列(prompt&completion 数据集为 Prompt 与 Completion 两列,ChatML 数据集为 Messages 列,展示完整多轮对话)、模型输出(Output)、各评测维度评分、分桶结果与状态。单击详情可在抽屉中查看完整多轮输入、评分依据(裁判模型 Prompt 与输出)。
  • 按题聚合视图:以样本(题目)为单位聚合多次推理结果,展示各评测维度的 Pass@K 指标(K 次推理中判定通过的次数占比,反映模型在该样本上的稳定性),单击查看明细查看该样本各次推理结果。单样本推理次数为 1 时此视图不可用;某次推理未成功(评分失败、评分终止或进行中)时,该样本的 Pass@K 显示为 -。
  • 普通模式与快速标注切换,用于人工标注(详见人工标注评测)。
  • 人工维度配置、分桶与导出入口(详见下文)。
多模态评测任务(视觉理解、文生图、图生图、图生视频)的 Case 列表展示文本与图片、视频输入,以及模型生成的图片、视频输出:输入/输出图片可单击查看大图,多图可滑动查看,视频可直接播放;模型输出与参考答案并列展示,便于人工比对。 多任务对比页签:单击添加模型对比在弹层中添加历史评测任务(仅相同模态的任务可对比,模态即任务类型所属的类别:文本生成、视觉理解、文生图、图生图、图生视频。每次最多添加 5 个任务,含当前任务)。添加后生成多任务雷达对比图(各评测维度为轴,直观对比各任务在各维度上的得分)、综合对比表(评测维度 × 各任务得分)与优劣势分析(各任务的强项与弱项维度)。

结果分桶与导出

分桶用于对评测样本按规则分类,便于定位难例样本并针对性优化:
  • 分桶规则:在 Case 分析页签单击分桶配置规则(仅评测完成的任务支持分桶)。分桶按所选指标的得分区间划分,区间含下限不含上限;同一样本命中多个区间时,从上到下首个命中的分桶生效;未命中任何分桶的样本归入其他(未命中上述规则)。配置时单击新增分桶添加分桶并选择分桶指标(如 Pass@K)。按题聚合视图下 Pass@K 为 - 的样本不参与分桶。
  • 分桶结果:应用分桶后,Case 列表新增分桶结果列,展示各样本所属桶。
  • 导出:单击导出图标打开导出分桶结果弹窗。导出范围可选导出全部或按分桶下载;导出去向可选下载到本地(生成包含分桶、评分和采样明细的数据文件,XLSX 格式)或回流平台数据集(按所选分桶创建新的平台数据集,供后续训练或评测使用)。未应用分桶时仅支持导出全部。

基线评测报告

基线评测任务完成后,单击任务名称进入报告页,包含"任务总览"、"基线评分明细"、"Case 分析"、"多任务对比"四个页签。评测完成后可在任务列表行操作列单击"下载"下载评测报告。 任务总览:展示基础信息(评测模型、推理配置、评测方式、创建时间、更新时间、任务进度、任务类型、并发数、评测数据集)、整体指标表(各评测数据集的已完成/总样本数、综合得分、Bad Case 数)与消耗总览表(模型名称、评测类型、模型类型、输入 Token、输出 Token、Token 合计),并附计费说明:官方模型按实际 Token 消耗量计费,如使用已部署的模型,按照相应的部署方式计费。 基线评分明细:按 Benchmark 筛选查看,多维度基线可切换下钻维度,展示基线评分柱状图与基线评分明细结果表(评测数据集、科目得分、样本数、Bad Case 数),操作列查看可跳转 Case 分析。 Case 分析:工具栏支持按 Benchmark 与维度筛选及输入、参考答案列显示切换,列表展示每条 case 的状态、序号、输入、参考答案、模型输出、评测结果(数值得分)与操作。单击详情打开右侧 Case 详情抽屉,展示该条 case 的状态、评测结果(通过/未通过)、评测维度、输入、参考答案(含【评测规则】)、模型输出与评测模型参数,底部支持上一条、下一条逐条翻页。多模态基线评测(视觉理解)的 case 输入含图片,图片可单击查看大图,多图可滑动查看。 多任务对比:单击添加模型对比添加历史评测任务(仅相同模态可对比,最多 5 个,含当前任务)。添加后以柱状图展示各任务得分对比,支持在综合得分与各维度得分之间切换查看,并附综合对比表(评测维度 × 各任务得分)与优劣势分析(各任务的强项与弱项维度)。

结果分析建议

分析评测结果时,建议关注分数分布而非仅看综合得分。综合得分是各维度的平均分,可能掩盖维度间的显著差异。例如综合得分 85 分可能是某些维度 95 分与某些维度 75 分的均值,需要逐维度分析才能发现短板。 1-3% 的分数差异通常为评测噪声而非模型能力差异,不建议仅凭微小分差做决策。使用人工评估维度的任务须全部数据标注完成后才变为评测完成状态,详细流程请参见人工标注评测。 单样本推理次数大于 1 时,可结合 Pass@K 判断样本难度:多次推理通过率高的样本为模型稳定掌握的内容,通过率低的样本为难例。难例可结合分桶筛选后回流为平台数据集(在数据管理中查看),用于扩充评测集或调优数据。

常见问题

该样本的多次推理中存在未成功的次数(评分失败、评分终止或进行中),Pass@K 无法计算,显示为 -。可单击“查看明细”查看各次推理的状态,定位失败原因。
分桶基于完整评测结果计算,仅评测完成的任务支持。请等待任务评测完成后再配置分桶规则。