名称: 性能基准测试套件 描述: SDK性能基准测试与回归检测 允许的工具:
- 读取
- 写入
- 编辑
- 全局搜索
- 文本搜索
- Bash
性能基准测试套件技能
概述
该技能实现全面的SDK性能基准测试,跟踪延迟、吞吐量、内存使用情况,并检测跨版本的性能回归。
能力
- 测量延迟百分位数(p50、p95、p99)
- 跟踪内存使用和分配模式
- 自动检测性能回归
- 生成可视化基准测试报告
- 比较不同SDK版本的性能
- 为关键路径实现微基准测试
- 在CI中配置持续基准测试
- 支持负载测试场景
目标流程
- 性能基准测试
- SDK测试策略
- SDK版本管理与发布
集成点
- k6 用于负载测试
- Artillery 用于HTTP基准测试
- hyperfine 用于CLI基准测试
- Benchmark.js 用于JavaScript
- pytest-benchmark 用于Python
- 持续基准测试系统(Bencher)
输入要求
- 性能要求(SLOs)
- 基准测试场景
- 用于比较的基线版本
- 环境规格
- 报告要求
输出产物
- 基准测试套件
- 性能基线数据
- 回归检测规则
- 可视化基准测试报告
- CI基准测试配置
- 历史趋势分析
使用示例
技能:
名称: 性能基准测试套件
上下文:
工具: k6
场景:
- 名称: 基础增删改查
操作: ["创建", "读取", "更新", "删除"]
虚拟用户数: 10
持续时间: "30秒"
- 名称: 高负载
虚拟用户数: 100
持续时间: "5分钟"
服务水平目标:
p95延迟: "100毫秒"
p99延迟: "500毫秒"
错误率: "0.1%"
对比版本: "v1.0.0"
回归阈值: "10%"
最佳实践
- 在优化前建立基线
- 跟踪百分位数,而不仅仅是平均值
- 在一致的环境中运行基准测试
- 在CI中自动化回归检测
- 监控内存和延迟
- 记录基准测试方法