| 名称 | i4h-workflow |
| 版本 | “0.6.0” |
| 描述 | “workflows/agentic/(IsaacLab-Arena + GR00T/openpi)的概述。当用户询问 i4h 工作流是什么、支持哪些功能或从哪里开始时使用。” |
| 开源协议 | Apache-2.0 metadata: |
| 作者 | “Isaac for Healthcare Team isaac-for-healthcare-support@nvidia.com” tags: - isaac-for-healthcare - i4h - agentic-workflow - robotics - overview |
i4h 智能体工作流
目的
在接触特定阶段之前先了解智能体工作流:支持哪些环境/机器人/策略,workflows/agentic/ 子项目如何组合在一起,以及接下来调用哪个分阶段技能。该技能负责路由——它本身不运行流水线阶段。
基础代码
以下步骤驱动 i4h-workflows 基础代码(workflows/agentic/ 树)。要重用现有检出,请将 I4H_WORKFLOWS 设置为其路径(不会执行克隆)。否则,该脚本会解析当前仓库,或克隆到 ~/i4h-workflows——选择该默认值,无需提示。请从解析后的根目录运行以下每条命令:
# 解析 i4h-workflows 基础代码(提供 workflows/agentic/ 目录)
ROOT="${I4H_WORKFLOWS:-$(git rev-parse --show-toplevel 2>/dev/null)}"
if [ ! -d "$ROOT/workflows/agentic" ]; then
ROOT="${I4H_WORKFLOWS:-$HOME/i4h-workflows}"
[ -d "$ROOT/workflows/agentic" ] || git clone https://github.com/isaac-for-healthcare/i4h-workflows "$ROOT"
fi
export I4H_WORKFLOWS="$ROOT"; cd "$ROOT"
基础要点
workflows/agentic/config/environments/<env>.yaml处的环境 YAML 是事实来源。- 每个流水线阶段都有自己的技能。可将这些技能组合使用,或使用 [[i4h-workflow-e2e]] 进行完整运行。
- 对于环境编写或场景编辑的源更改,请先在生成代码前加载
skills/i4h-workflow/references/repo-map.md。
支持的环境
当 --list-envs 失败(环境不完整)时的备用表:
| 环境 | 机器人 | 策略 |
|---|---|---|
scissor_pick_and_place |
SO-ARM 101 | GR00T N1.5(N1.7 替代) |
locomanip_tray_pick_and_place |
Unitree G1 | GR00T N1.6(共享 policy.locomanip.*) |
locomanip_push_cart |
Unitree G1 | GR00T N1.6(共享 policy.locomanip.*) |
assemble_trocar |
Unitree G1 + Dex 手 | GR00T N1.5(仅推理) |
ultrasound_liver_scan |
类 Franka 机械臂 | openpi PI0 |
surgical_reach_psm |
dVRK PSM | GR00T N1.5 或脚本化状态机 |
surgical_reach_dual_psm |
dVRK 双 PSM | GR00T N1.5 或脚本化状态机 |
surgical_reach_star |
STAR | GR00T N1.5 或脚本化状态机 |
surgical_lift_block |
dVRK PSM | GR00T N1.5 或脚本化状态机 |
surgical_lift_needle |
dVRK PSM | GR00T N1.5 或脚本化状态机 |
surgical_lift_needle_organs |
dVRK PSM | GR00T N1.5 或脚本化状态机 |
运行
在回答之前运行下面的步骤。每一步都是单独的 bash 调用;变量在本地代理的 tmux 会话中保持有效。
步骤 1 — 列出支持的环境
REPO_ROOT="${I4H_WORKFLOWS:-$(git rev-parse --show-toplevel 2>/dev/null)}"; [ -d "$REPO_ROOT/workflows/agentic" ] || REPO_ROOT="$HOME/i4h-workflows"
"${REPO_ROOT}/workflows/agentic/policy/run.sh" --list-envs
如果命令失败,请使用上面的“支持的环境”备用表。
子项目
| 目录 | 用途 |
|---|---|
workflows/agentic/arena/ |
IsaacLab-Arena 环境、场景、任务、遥操作、记录、重放 |
workflows/agentic/policy/ |
策略守护进程与训练调度器 |
workflows/agentic/dataset/ |
HDF5 → LeRobot 转换与可视化 |
workflows/agentic/mimic/ |
HDF5 轨迹扩展 |
workflows/agentic/annotator/ |
VLM 成功标签与筛选 |
workflows/agentic/cosmos/ |
可选的 Cosmos Transfer 视频增强 |
workflows/agentic/common/ |
共享配置、消息传递、机器人常量 |
技能索引
| 技能 | 用途 |
|---|---|
i4h-workflow-setup |
安装、同步、检查第三方依赖 |
i4h-workflow-create |
添加新环境 |
i4h-workflow-scene-edit |
编辑现有场景/任务/相机 |
i4h-workflow-dataset-teleop |
录制人工演示 |
i4h-workflow-dataset-replay |
重放 HDF5 片段 |
i4h-workflow-dataset-mimic |
用噪声扩展 HDF5 演示 |
i4h-workflow-dataset-annotate |
VLM 标签/筛选片段 |
i4h-workflow-dataset-convert |
将 HDF5 转换为 LeRobot |
i4h-workflow-finetune |
训练支持的环境 |
i4h-workflow-validate |
推出/评估策略检查点 |
i4h-workflow-e2e |
运行完整流水线 |
i4h-lerobot-viz |
打开 LeRobot HTML 查看器 |
先决条件
- 对于任何实操阶段,请先设置工作流——参见 [[i4h-workflow-setup]](需存在组件虚拟环境和第三方检出)。
workflows/agentic/config/environments/<env>.yaml处的环境 YAML 是事实来源。
限制
- 仅作概览/路由——每个流水线阶段都配有独立技能;本技能不进行记录、训练或部署。
故障排除
- 错误: 未找到环境 / 不支持该环境——原因: 输入错误、环境未注册或设置不完整。修复: 运行
workflows/agentic/policy/run.sh --list-envs;如果该命令失败,请先运行 [[i4h-workflow-setup]];否则请检查“支持的环境”表。
最终回复
回复必须包含以下三部分,并且每部分之间都用空行分隔。不能只回复散文,也不能将各部分连续写而不留空格。
-
方向概述——用一段话简述:环境 YAML、子项目、仿真到策略的流水线。
-
支持的环境——使用标题以及步骤 1(
--list-envs输出:环境、技术栈、描述)中的 Markdown 表格,或者使用“支持的环境”备用表。 -
可用技能——使用标题,并对上面完整的“技能索引”表格进行复制。
然后(再空一行后)如果设置有未完成,推荐使用 [[i4h-workflow-setup]],并推荐与用户目标相匹配的下一阶段技能。