名称: 提示词压缩 描述: 用于成本优化的令牌高效提示词压缩技术 允许使用的工具:
- 读取
- 写入
- 编辑
- Bash
- Glob
- Grep
提示词压缩技能
能力
- 实现令牌高效的提示词压缩
- 设计上下文修剪策略
- 配置选择性上下文包含
- 实现LLMLingua风格压缩
- 设计基于摘要的压缩
- 创建压缩质量指标
目标流程
- 大语言模型成本优化
- 智能体性能优化
实现细节
压缩技术
- LLMLingua: 令牌级压缩
- 摘要压缩: 基于大语言模型的摘要
- 选择性上下文: 相关部分提取
- 令牌修剪: 移除低重要性令牌
- 文档过滤: 检索前过滤
配置选项
- 压缩率目标
- 质量阈值设置
- 令牌预算约束
- 压缩模型选择
- 评估指标
最佳实践
- 监控质量与压缩的权衡
- 使用代表性提示词测试
- 设置适当的压缩比率
- 验证压缩后提示词质量
- 跟踪成本节省
依赖项
- llmlingua (可选)
- tiktoken
- transformers