人工评估维度由评测人员手动按标签对模型输出分类,适合需要主观判断的场景,如创意性写作、专业领域判断。
人工评估概述
人工评估由评测人员逐条查看模型推理结果并标注 Pass/Fail 标签,不涉及裁判模型,无评分费用,但需要人力投入且耗时更长。适合机器难以准确评价的场景:
- 创意性写作、语气风格等主观质量判断。
- 专业领域内容合规性审核。
创建人工评估维度
登录百炼控制台,选择左侧导航栏的模型评测,切换到评测维度 Tab,单击创建评测维度,在弹窗中单击+ 创建自定义评测维度进入自定义配置页面。公共字段(维度名称不超过 20 字符、描述不超过 100 字符、类型创建后不可更改)填写后,按以下步骤完成配置:
- 配置Pass 标签:定义通过判定的标签含义。
- 配置Fail 标签:定义未通过的判定标签含义。Pass 和 Fail 标签不可重复。
- 单击保存。