| 名称 | i4h-workflow-dataset-annotate |
| 版本 | “0.6.0” |
| 描述 | 使用VLM验证每个回合是否满足环境任务描述。当用户要求标注、为回合打标签、筛选演示或基于成功分类器门控微调时使用。 |
| 开源协议 | Apache-2.0 metadata: |
| 作者 | “Isaac for Healthcare Team isaac-for-healthcare-support@nvidia.com” tags: - isaac-for-healthcare - i4h - 数据集 - 标注 - vlm |
i4h 工作流 — 数据集标注
目的
使用VLM验证每个回合是否满足环境任务描述。当用户要求标注、为回合打标签、筛选演示或基于成功分类器门控微调时使用。
基础代码
这些步骤驱动i4h工作流基础代码（workflows/agentic目录树）。要重用现有检出，请设置I4H_WORKFLOWS为其路径。否则解析当前仓库或克隆到默认位置。在解析后的根目录下运行所有命令。
基础知识
- 标注是可选的，除非用户请求，否则不在验证期间运行。
- 对所有记录回合进行标注时，选择一个HDF5文件中的所有回合，而不是所有历史文件。如果未指定，选择最新可标注记录。
- 环境配置是真实来源，从环境YAML读取成功标准。
- 使用OpenAI兼容端点，默认地址为localhost:8000/v1，模型为Qwen/Qwen3-VL-8B-Instruct。
- 所有标注产物保留在运行目录内。
启动VLM
如果已有视觉模型端点则跳过。按步骤执行，使用vllm.sh ensure对就绪性管理。
运行（离线HDF5）
按步骤执行，解析HDF5路径后，运行标注脚本，输出annotations.jsonl和过滤后的HDF5，然后汇总成功/失败计数。根据情况停止VLM。
实时模式
对正在运行的策略会话的相机帧进行标注，可通过参数设置持续运行、采样间隔、超时等。
验证
检查annotations.jsonl和过滤HDF5存在，汇总统计。
前提条件
工作流已设置，有HDF5录制，有可用的视觉模型端点，标注按需运行。
局限性
标注可选，需要运行中的vLLM服务器，实时模式需会话已启动。
故障排除
列举常见错误及修复方法：.venv缺失、连接拒绝、模型未找到、文本模型不支持图像、HDF5路径错误、filter参数缺失等。
最终响应
报告环境、输入HDF5、标注路径、过滤HDF5、成功失败计数和VLM阻塞问题。