| 名称 | 合成数据方案设计 |
| 描述 | 当需要为视觉模型、机器人策略或感知系统设计合成数据方案时使用。该技能规划场景覆盖、传感器配置、标注规范、域随机化与数据配比，并定义训练集/验证集隔离与质量验收标准。适用于目标检测、分割、姿态估计、缺陷检测与仿真合成数据管线（Omniverse Replicator、Cosmos 等）。关键词：合成数据、数据集设计、数据标注、域随机化、仿真数据、Replicator、Cosmos、目标检测、分割、姿态估计、数据配比、训练集验证集、数据质量、标注规范、长尾场景。 |
合成数据方案设计
用仿真数据补足真实数据缺口，同时避免“看起来很多、实际没用”。
何时使用
- 真实数据稀缺或标注成本高。
- 需要覆盖危险、罕见或不可复现场景。
- 真实数据存在隐私或授权限制。
- 需要快速验证模型上限。
不适用：真实数据充足且分布稳定的场景；仅需少量样本的规则模型。
输入
- 任务与模型类型（检测、分割、关键点、深度）。
- 真实数据规模与分布现状。
- 目标场景清单与长尾需求。
- 传感器参数（相机内参、分辨率、帧率、光照）。
- 标注规范与评测指标。
工作流
第 1 步：缺口分析
先量化真实数据缺什么：
- 类别不均衡：哪些类别样本少于阈值。
- 场景缺口：缺少哪些视角、光照、背景。
- 标注缺口：哪些属性未标。
- 长尾：故障、遮挡、极端姿态。
没有缺口分析就生成数据，通常只是在放大已有分布。
第 2 步：场景设计
按 references/dataset-spec.md 建立场景矩阵：
| 维度 | 取值 |
|---|---|
| 物体 | 类别、尺寸、材质、形变 |
| 布局 | 位置、朝向、堆叠、遮挡 |
| 环境 | 背景、光照色温、反射 |
| 传感器 | 视角、焦距、噪声、运动模糊 |
| 干扰 | 杂物、人流、灰尘 |
每个组合给出目标样本量，优先填补缺口。
第 3 步：传感器与渲染一致性
- 相机内参与真实设备一致。
- 分辨率与宽高比一致。
- 渲染噪声、运动模糊、曝光按真机特性加入。
- 色彩空间与后处理一致，避免训练/推理不一致。
- 深度与点云需模拟真实噪声与缺失。
第 4 步：标注规范
- 与真实数据使用同一套标注 schema。
- 自动标注需定义可见性阈值与截断处理。
- 关键点定义、遮挡标记、难度等级统一。
- 保留生成参数（场景、种子、资产版本）以便追溯。
第 5 步：域随机化
- 随机化要覆盖真实分布，而非无限扩大。
- 记录每个维度的分布，便于复现。
- 对敏感维度（如光照）做分层采样，确保每层都有样本。
- 保留一组“接近真实”的合成数据用于验证。
第 6 步：配比与训练
- 合成与真实混合训练，逐步提高真实比例。
- 合成数据用于预训练，真实数据用于微调。
- 监控合成验证集与真实验证集的指标差距。
- 若合成验证好、真实差，优先检查渲染与标注一致性。
第 7 步：质量验收
- 抽样人工检查标注正确率。
- 统计类别分布与目标尺寸分布。
- 检查重复样本与近重复。
- 用简单模型做健全性检查：能否学到合理特征。
- 记录数据版本、生成脚本与资产授权。
检查清单
- [ ] 已完成真实数据缺口分析。
- [ ] 场景矩阵覆盖长尾需求。
- [ ] 传感器参数与真机一致。
- [ ] 标注 schema 与真实数据统一。
- [ ] 域随机化范围有依据并记录。
- [ ] 保留接近真实的验证子集。
- [ ] 合成与真实数据配比有实验依据。
- [ ] 抽样人工验收标注质量。
- [ ] 数据版本与资产授权可追溯。
输出模板
## 缺口分析
| 维度 | 现状 | 目标 | 缺口 |
| --- | --- | --- | --- |
## 场景矩阵
| 场景 | 关键参数 | 样本量 | 用途 |
| --- | --- | --- | --- |
## 标注规范
...
## 随机化配置
...
## 配比方案
...
## 验收
...
反模式
- 只增加数量，不改变分布。
- 合成数据全用同一背景与光照。
- 标注 schema 与真实数据不一致。
- 用合成验证集自证效果。
- 忽略资产版权与授权。
参考文件
references/dataset-spec.md：场景矩阵、标注与验收细则。