双层内容安全防护系统，集成DeBERTa提示注入检测(99.99%准确率)与OpenAI多类别内容审核，专为公开部署的多用户Agent环境设计
说明：
## 核心用法
**Content Moderation** 是面向Agent系统的双层内容安全框架，通过 `scripts/moderate.sh` 脚本实现输入/输出全链路防护。
**第一层：提示注入检测**
– 基于 ProtectAI DeBERTa 分类器，通过 HuggingFace Inference API（免费）运行
– 输出 SAFE/INJECTION 二元判定，典型攻击识别置信度 >99.99%
– 专防：指令覆盖、系统提示泄露、隐藏配置探测等对抗性输入
**第二层：内容安全审核**
– 调用 OpenAI omni-moderation 端点（免费，可选）
– 覆盖13个风险类别：harassment/hate/self-harm/sexual/violence 及子类别
**调用模式**
| 方向 | 命令 | 检测能力 |
|——|——|———|
| 输入 | `echo “msg” \| scripts/moderate.sh input` | 注入检测 + 内容审核 |
| 输出 | `scripts/moderate.sh output “text”` | 仅内容审核 |
**响应处理**：注入检测触发→拒绝执行并解释；输入违规→拒答；输出违规→重写再检；API故障→降级人工判断。
## 显著优点
– **零成本门槛**：双层核心能力均免费（HF Token + OpenAI moderation）
– **SOTA检测力**：DeBERTa在典型提示注入攻击上达99.99%识别率
– **灵活阈值**：`INJECTION_THRESHOLD` 可调敏感度
– **结构化输出**：统一JSON格式，便于自动化决策链集成
– **生产就绪**：专为”公开-facing/多用户/对抗性输入”场景设计
## 局限与风险
– **依赖外部API**：HF或OpenAI服务中断将触发降级策略，存在检测盲区
– **英文优化**：DeBERTa对非英语注入攻击的泛化能力未明确标注
– **黑盒审核**：OpenAI moderation类别定义不透明，可能出现过度拦截
– **无本地回退**：核心模型未本地化部署，网络隔离环境不可用
– **上下文缺失**：单条消息检测，不维护跨轮对话的累积风险评分
## 适合人群
– 部署公开ChatBot/Agent的开发者（Discord bot、客服系统、论坛机器人）
– 需防范”越狱”攻击的企业级AI应用架构师
– 多租户SaaS平台运营方，需隔离用户间提示泄露风险
– 教育/医疗等敏感领域的内容合规团队
## 常规风险
| 风险类型 | 说明 |
|———|——|
| API密钥泄露 | HF_TOKEN/OPENAI_API_KEY需妥善保管，建议配合密钥管理服务 |
| 检测绕过 | 新型注入手法可能突破DeBERTa训练分布，需持续更新模型版本 |
| 误杀率 | 低阈值配置可能导致正常技术讨论（如”忽略此前指令”的合法场景）被拦截 |
| 合规真空 | moderation端点覆盖范围≠各国法律要求，需叠加地域化审核层 |
会员专属
