名称: 内容审核API 描述: 使用OpenAI审核、Perspective API等工具集成的内容审核API 允许工具:
- 读取
- 写入
- 编辑
- Bash
- Glob
- Grep
内容审核API技能
能力
- 集成OpenAI审核API
- 设置Perspective API进行毒性检测
- 配置审核阈值
- 实现内容过滤管道
- 设计审核响应处理
- 创建审核日志和报告
目标流程
- 内容审核安全
- 系统提示护栏
实施细节
审核API
- OpenAI审核: 仇恨、暴力、自残、色情内容
- Perspective API: 毒性、侮辱、脏话、威胁
- Azure内容安全: 文本和图像审核
- LlamaGuard: 开源安全分类器
配置选项
- API凭证和端点
- 类别阈值
- 操作策略(阻止、警告、标记)
- 日志配置
- 备用行为
最佳实践
- 设置适当阈值
- 优雅处理边缘情况
- 记录审核决策
- 定期阈值审查
- 多层审核
依赖项
- openai
- google-cloud-language (Perspective)
- azure-ai-contentsafety