| 名称 | 机器人仿真评测方案 |
| 描述 | 当需要为机器人策略或自动化任务设计仿真评测方案、判断是否具备上真机条件时使用。该技能定义任务集、成功判据、随机化范围、性能与安全指标，规划仿真到实机的差距分析和小样本真机验证。适用于机械臂抓取、移动机器人导航、仓储分拣、人形机器人任务与 Isaac Sim/Lab 等仿真环境。关键词：机器人仿真、评测方案、Isaac Sim、Isaac Lab、任务集、成功率、域随机化、sim2real、仿真到实机、导航、抓取、评测指标、验收、机器人策略、强化学习。 |
机器人仿真评测方案
用一套可重复的仿真评测，回答“这个策略能不能上真机”。
何时使用
- 训练出新策略，需要客观评估而非看视频。
- 需要比较两套算法或两组参数。
- 上真机前需要设定验收门槛。
- 仿真表现好但真机不稳定，需要定位差距。
不适用：纯仿真渲染效果评估；无明确任务定义的研究探索。
输入
- 任务描述与操作对象。
- 机器人模型、关节限位、末端执行器。
- 仿真环境（Isaac Sim/Lab、MuJoCo、Gazebo 等）与物理参数。
- 真机条件：传感器、控制频率、安全边界。
- 成功标准与业务节拍要求。
工作流
第 1 步：定义任务集
任务集要覆盖“典型 + 边界 + 扰动”：
| 层 | 内容 | 示例 |
|---|---|---|
| 标准 | 正常摆放、光照、无干扰 | 桌面中央抓取 |
| 边界 | 极限位置、最小/最大尺寸 | 靠近边缘、超薄物体 |
| 扰动 | 遮挡、滑动、外力 | 中途碰撞、传送带抖动 |
| 组合 | 多物体、多步骤 | 分拣后放置到指定格 |
每个任务给出可判定的成功条件，例如“物体进入目标区域且保持 2 秒”。
第 2 步：确定指标
- 成功率：主指标，按任务层分别报告。
- 节拍：单次任务耗时分布（P50/P95）。
- 精度：放置误差、抓取点偏差。
- 稳定性：重复次数内的方差。
- 安全性：碰撞次数、超限次数、急停触发。
- 泛化：未见物体与未见布局的成功率。
不要只报平均成功率，必须给置信区间与样本量。
第 3 步：随机化设计
按 references/sim-metrics.md 控制变量：
- 物体位姿、尺寸、质量、摩擦。
- 光照、纹理、相机噪声。
- 传感器延迟与丢帧。
- 关节控制噪声与执行器延迟。
随机化范围要有依据：超出真机实际分布会高估鲁棒性，过窄则无法暴露问题。
第 4 步：评测执行
- 固定随机种子集合，保证可复现。
- 每个任务至少 100 次，关键任务 500 次以上。
- 记录每次运行的种子、初始状态、结果、失败原因。
- 失败分类：感知失败、规划失败、执行失败、超时、碰撞。
第 5 步：sim2real 差距
对照清单：
- 物理参数是否校准（质量、摩擦、关节阻尼）。
- 传感器模型是否含噪声与延迟。
- 控制频率与真机一致。
- 执行器限幅与真实饱和一致。
- 渲染与真实视觉差异（纹理、反光、阴影）。
差距分析用“同任务同指标”对比，而不是主观感觉。
第 6 步：真机小样本验证
- 先在安全围栏内、低速运行。
- 选择仿真中成功率中等的任务，避免只挑简单场景。
- 记录失败案例并回流到仿真任务集。
- 达到门槛后再扩大场景与速度。
检查清单
- [ ] 任务集覆盖标准、边界、扰动、组合。
- [ ] 成功条件可自动判定。
- [ ] 指标包含成功率、节拍、精度、安全。
- [ ] 随机化范围有依据。
- [ ] 随机种子固定且记录。
- [ ] 样本量足够并给出置信区间。
- [ ] 失败原因已分类统计。
- [ ] 物理与传感器参数经过校准。
- [ ] 真机验证有小样本计划与安全措施。
输出模板
## 评测配置
仿真环境： 机器人： 控制频率： 种子数：
## 结果
| 任务层 | 尝试 | 成功 | 成功率 | 95% CI | P95 耗时 |
| --- | --- | --- | --- | --- | --- |
## 失败分类
| 类型 | 次数 | 占比 | 典型场景 |
| --- | --- | --- | --- |
## sim2real 差距
| 维度 | 仿真 | 真机 | 影响 |
| --- | --- | --- | --- |
## 结论
可上真机 / 需改进 / 不建议
反模式
- 只跑 10 次就宣布成功率高。
- 只测标准场景，不测边界。
- 随机化范围拍脑袋。
- 用平均耗时掩盖长尾卡顿。
- 仿真与真机控制频率不一致。
参考文件
references/sim-metrics.md：指标定义、样本量与随机化清单。