Skip to main content

创建基线评测任务

基线评测内置覆盖通用知识、数学、代码、上下文推理、领域专项 5 大类共 13 个文本基线,以及视觉理解模态的 4 个多模态基线,无需自行准备数据集或配置评测维度,快速获得模型基础能力的基准分数。

创建基线评测任务概述

基线评测内置覆盖通用知识、数学、代码、上下文推理、领域专项 5 大类共 13 个文本基线,以及视觉理解模态的 4 个多模态基线,自动评测模型基础能力,无需自行准备数据集或配置评测维度,快速获得基准分数。
基线评测仅北京地域可用。其他地域不显示此选项,属正常现象。

基线库

基线库分为文本基线与多模态基线两组。文本基线按 5 大类组织:
  • 通用知识:评估模型在多学科专业知识、多语言理解、指令遵循等通用能力上的表现。
  • 数学:评估模型的数学推理与竞赛数学能力。
  • 代码:评估模型的代码生成能力。
  • 上下文推理:评估模型在长文本中的检索、理解与推理能力。
  • 领域专项:评估模型在金融、医学等领域专业场景的能力。
多模态基线当前覆盖视觉理解模态:评估多模态模型对图片内容的学科理解能力,客观题自动打分。图片生成与视频生成模型暂不支持基线评测,可使用自定义评测。 各基线的标签、题目数量、评测维度与说明如下:

分类

Benchmark

标签

题目数

评测维度

说明

通用知识

MMLU-Pro

知识问答 10选项

12,032

14 项

涵盖 STEM 等 14 个学科领域的增强版多选题,测试专业知识与深度推理能力

通用知识

MMMLU

文本推理 多语言

196,588

14 项

MMLU 多语言版,将测试题专业翻译为 14 种语言,评估多语言能力

通用知识

BrowseComp-ZH-Revised

推理 文本 中文

289

—

中文网络环境高难度基准,289 道跨 11 领域多跳问题

通用知识

IFEval

指令遵循 25种规则

541

—

涵盖格式约束、长度限制等 25 类可验证指令规则,评估精确遵循指令能力

数学

GSM8K

数学 文本 英文

1,319

—

小学数学应用题,需多步推理和基本算术,评估数学推理基础能力

数学

MATH-500

数学推理 5难度级别

500

5 项

涵盖代数、几何、数论等 500 道分级竞赛数学题

数学

AIME-2025

竞赛数学 整数答案

30

—

30 道高难度竞赛题,源自美国数学邀请赛

代码

HumanEval

Python 函数生成

164

—

164 道 Python 函数生成题(含签名、文档字符串、测试用例),测试代码生成能力

上下文推理

LongBench-v2

双语 6类任务 长文本

503

3 项

涵盖单/多文档问答、长上下文学习、代码仓库理解等 6 类双语长文本任务

上下文推理

OpenAI-MRCR

长上下文 共指消解 双语

2,400

3 项

多轮对话共指消解任务,测试超长上下文中精确检索和区分相似内容的能力

领域专项

FinanceQA

金融推理 数值计算 多步骤

148

3 项

对冲基金、投行等真实金融分析场景的多步骤数值计算题,测试金融推理能力

领域专项

PubMedQA

生物医学 三分类 文献QA

1,000

—

基于 PubMed 文献摘要的研究类问答,答案为 yes/no/maybe 三分类

领域专项

MedMCQA

医学 21学科 MCQ

4,183

—

涵盖解剖学、生理学、药理学等 21 个医学学科的多选题

视觉理解

CMMMU Validation

视觉理解 中文 900题

900

6 项

中文多学科多模态理解验证集,覆盖 6 大学科和 30 个子学科

视觉理解

MMMU-Pro Standard 4

视觉理解 英文 Standard 4

1,730

6 项

Standard 4 选项设置,共 1,730 道英文多模态学科题

视觉理解

MMMU-Pro Standard 10

视觉理解 英文 Standard 10

1,730

6 项

Standard 10 选项设置,共 1,730 道英文多模态学科题

视觉理解

MMMU-Pro Vision

视觉理解 英文 Vision

1,730

6 项

将题干和选项完整嵌入图片的设置,共 1,730 道英文多模态学科题

创建流程

  1. 在百炼控制台,选择评测任务页签,单击创建评测任务。
  2. 评测方式选择基线评测。
  3. 选择要评测的目标模型。支持选择官方模型(千问系列及 Kimi 等第三方模型)和我的模型(已部署的调优模型)。
  4. 选择任务类型。选项随所选模型的能力自动联动:文本模型仅可选文本生成;具备图片与视频理解能力的模型(如 Qwen4-Max)可选视觉理解。任务类型决定可选的基线库范围。
  5. 选择基线评测数据。任务类型为文本生成时,基线库按 5 大类分页签展示;任务类型为视觉理解时,展示视觉理解基线卡片。卡片含 benchmark 名称、标签、说明和题目数量,可多选。部分 benchmark 支持评测维度勾选,默认全部选中,可自定义取消只跑指定子维度数据。
  6. (可选)完成以下配置:
    1. System Prompt:最多 5,000 字符,为被评测模型设定角色定位或行为规范。
    2. 推理参数配置:展开后可调整并发数。
    3. 数据采样百分比:开启后按百分比采样评测数据以缩短评测耗时,关闭后对全量数据执行评测。
  7. 单击开始评测提交任务。费用按实际推理与评分消耗计算,提交前可查看计算详情。

与自定义评测的区别

  • 基线评测不使用自定义评测维度,系统使用预设标准自动评分。
  • 基线评测不支持推理结果集数据来源,仅使用平台预设的公开数据集。
  • 基线评测任务在任务列表中显示综合得分,不显示维度详情列(显示短横线)。
  • 基线评测任务不可进入人工标注页面。
自定义评测的创建请参见创建自定义评测任务。

常见问题

基线评测仅限北京地域使用。如果您在其他地域,评测方式只显示自定义评测,这是预期行为。
任务类型的可选项由所选模型的能力决定:文本模型仅可选文本生成;具备图片与视频理解能力的模型可选视觉理解。不支持的选项呈置灰状态,属预期行为。
暂不支持。当前基线评测面向文本生成与具备图片、视频理解能力的模型;图片生成与视频生成模型请使用自定义评测(人工评估方式)。