大模型的输入输出中可能包含敏感或高风险内容,例如涉黄、涉政和广告等。大模型自有的合规检查机制通常能够提供有效的内容安全保障。此外,Alibaba Cloud Model Studio 支持接入 AI 安全护栏服务,进一步识别输入输出内容的违规信息,保障安全与合规性。
配置 AI 安全护栏服务
调用 Alibaba Cloud Model Studio 的大模型时,会根据模型自动匹配对应的 AI 安全护栏服务。
步骤一:开通 AI 安全护栏服务
访问 AI 安全护栏购买页面,创建服务关联角色并完成开通。
步骤二:授权 AI 安全护栏
-
访问安全管理页面。
安全管理入口仅在华北2(北京)地域下显示,其他地域的左栏管理分组中无此菜单。 若您访问上述链接进入的页面显示全局设置标题、右侧状态为已开通(不可取消)、页面主体展示自建安全机制承诺函全文内容,说明此前已进行过授权操作,请跳转步骤三:设置请求头header。 - 单击去授权,开启 AI 安全护栏。
- 确认授权。
步骤三:设置请求头header
调用 Alibaba Cloud Model Studio 时,在请求头header设置以下参数,接入 AI 安全护栏服务。注意:参数值为 JSON 字符串,而非嵌套 JSON 对象。
调用时请设置DASHSCOPE_API_KEY,获取方法,请参见获取与配置 API Key。
- Python
- Java
- Node.js
- cURL
- OpenAI
- DashScope
查看审核结果
登录AI 安全护栏控制台,在检测结果结果查询页签页面查看审核结果,以进一步分析文本内容中高频的违规类型,审核结果示例如下。
结果查询页面包含筛选栏(支持按条件、文本内容、时间范围搜索)和结果表格。表格列包括文本内容、服务Service、风险等级、返回标签(释义)、反馈结果、请求时间和操作。示例中两条记录分别对应bailian_query_check(请求检查)和bailian_response_check(响应检查)服务,均被标记为高风险,返回标签为contraband_act(疑似其他的刑事犯罪):100,每行可单击详情或反馈进行操作。
服务与模型对应关系
调用时在请求头传入 cip 标识后,系统会根据所用模型自动匹配以下护栏服务:
服务名称 | service 标识 | 适用模型 | 检测内容 |
|---|---|---|---|
百炼输入内容安全护栏 |
| 百炼主流模型(不含 Qwen3-Max、Qwen-Max、Qwen-VL-Max) | 输入中的底线类违规(涉黄、涉政、涉暴)、不良诱导信息及部分诱导性敏感话题 |
百炼输出内容安全护栏 |
| 百炼主流模型(不含 Qwen3-Max、Qwen-Max、Qwen-VL-Max) | 输出中的底线类违规、不良诱导信息,以及辱骂、偏见、不良价值观内容 |
百炼输入内容安全护栏(Pro) |
| 仅 Qwen3-Max、Qwen-Max、Qwen-VL-Max | 检测范围同输入护栏,基于 Qwen3-Max 系列历史模型定向调优 |
百炼输出内容安全护栏(Pro) |
| 仅 Qwen3-Max、Qwen-Max、Qwen-VL-Max | 检测范围同输出护栏,基于 Qwen3-Max 系列历史模型定向调优 |
百炼输入图片安全护栏 |
| 图片类模型,与模型系列无关 | 输入图片的内容合规风险 |
百炼输出图片安全护栏 |
| 图片类模型,与模型系列无关 | 输出图片的内容合规风险 |
风险标签管理
护栏检测结果中的风险标签置信分为 0~100,分数越高置信度越高,主要覆盖以下类别:
- 色情内容(如
pornographic_adult、sexual_prompts) - 涉政(如
political_figure、political_prompts) - 暴力极端(如
violent_extremist、violent_prompts) - 违禁(如
contraband_drug、contraband_act) - 不当内容(如
inappropriate_discrimination、inappropriate_profanity) - 引流广告(如
pt_to_sites、pt_to_contact) - 宗教(如
religion_b、religion_c) - 自定义(
customized,命中自定义词库)
通过 AI 网关使用护栏
如果您通过 AI 网关调用 Model API,可以在 AI 网关控制台按消费者维度配置护栏的检查策略与拦截策略(支持内容合规、提示词攻击、敏感信息、模型幻觉、恶意 URL 等防护维度,各维度可设置低、中、高防护等级)。详细操作请参见如何在AI网关开启使用AI安全护栏产品服务。
知识库检索场景安全拦截
使用知识库检索问答功能时,上传到知识库的文档内容经检索后会作为上下文注入模型输入。如果知识库文档中包含违规或敏感内容,这些内容同样会触发 AI 安全护栏,导致请求被拦截并返回 DataInspectionFailed 错误。
如果您在知识库检索场景中遇到安全策略拦截,建议按以下步骤排查:
- 检查上传到知识库的文档内容,确认是否包含政治敏感、涉黄涉暴、违法不良、个人隐私数据或可能诱导违规的表述。
- 简化或改写应用的提示词,减少可能触发安全拦截的表述。
- 如问题仍未解决,收集完整报错信息(HTTP 状态码、错误码、错误消息),联系客户经理申请加白,具体流程见下方内容加白申请流程。
内容加白申请流程
如果您的业务场景需要豁免特定内容的安全拦截,可通过联系客户经理申请内容加白。安全部门审核通过后,指定内容将被添加至豁免名单。
申请加白前,请准备以下信息:
- HTTP 状态码(如
400) - 错误码(如
DataInspectionFailed或data_inspection_failed) - 完整错误消息(如
Input data may contain inappropriate content.)
- 收集上述完整报错信息及问题复现场景描述(包括知识库 ID、调用的模型名称、触发拦截的操作)。
- 联系客户经理,提供报错信息、使用场景及需要加白的具体内容。
- 等待安全部门完成审核,审核通过后加白处理生效。