i4h智能体工作流Skill i4h-workflow

该技能是 i4h(Isaac for Healthcare)智能体工作流的总览与路由入口,帮助用户快速了解支持环境、机器人、策略、子项目及可用技能,并导向下一阶段操作(如数据采集、训练、评估)。它面向医疗手术机器人与操作类智能体场景,本身不执行具体流水线。关键词:i4h、Isaac for Healthcare、智能体工作流、医疗机器人、手术机器人、IsaacLab、策略训练、数据采集、环境配置、技能路由。

医疗工作流 0 次安装 1 次浏览 更新于 9/6/2026
名称 i4h-workflow
版本 “0.6.0”
描述 workflows/agentic/(IsaacLab-Arena + GR00T/openpi)的概述。当用户询问 i4h 工作流是什么、支持哪些功能或从哪里开始时使用。”
开源协议 Apache-2.0 metadata:
作者 “Isaac for Healthcare Team isaac-for-healthcare-support@nvidia.com” tags: - isaac-for-healthcare - i4h - agentic-workflow - robotics - overview

i4h 智能体工作流

目的

在接触特定阶段之前先了解智能体工作流:支持哪些环境/机器人/策略,workflows/agentic/ 子项目如何组合在一起,以及接下来调用哪个分阶段技能。该技能负责路由——它本身不运行流水线阶段。

基础代码

以下步骤驱动 i4h-workflows 基础代码(workflows/agentic/ 树)。要重用现有检出,请将 I4H_WORKFLOWS 设置为其路径(不会执行克隆)。否则,该脚本会解析当前仓库,或克隆到 ~/i4h-workflows——选择该默认值,无需提示。请从解析后的根目录运行以下每条命令:

# 解析 i4h-workflows 基础代码(提供 workflows/agentic/ 目录)
ROOT="${I4H_WORKFLOWS:-$(git rev-parse --show-toplevel 2>/dev/null)}"
if [ ! -d "$ROOT/workflows/agentic" ]; then
  ROOT="${I4H_WORKFLOWS:-$HOME/i4h-workflows}"
  [ -d "$ROOT/workflows/agentic" ] || git clone https://github.com/isaac-for-healthcare/i4h-workflows "$ROOT"
fi
export I4H_WORKFLOWS="$ROOT"; cd "$ROOT"

基础要点

  • workflows/agentic/config/environments/<env>.yaml 处的环境 YAML 是事实来源。
  • 每个流水线阶段都有自己的技能。可将这些技能组合使用,或使用 [[i4h-workflow-e2e]] 进行完整运行。
  • 对于环境编写或场景编辑的源更改,请先在生成代码前加载 skills/i4h-workflow/references/repo-map.md

支持的环境

--list-envs 失败(环境不完整)时的备用表:

环境 机器人 策略
scissor_pick_and_place SO-ARM 101 GR00T N1.5(N1.7 替代)
locomanip_tray_pick_and_place Unitree G1 GR00T N1.6(共享 policy.locomanip.*
locomanip_push_cart Unitree G1 GR00T N1.6(共享 policy.locomanip.*
assemble_trocar Unitree G1 + Dex 手 GR00T N1.5(仅推理)
ultrasound_liver_scan 类 Franka 机械臂 openpi PI0
surgical_reach_psm dVRK PSM GR00T N1.5 或脚本化状态机
surgical_reach_dual_psm dVRK 双 PSM GR00T N1.5 或脚本化状态机
surgical_reach_star STAR GR00T N1.5 或脚本化状态机
surgical_lift_block dVRK PSM GR00T N1.5 或脚本化状态机
surgical_lift_needle dVRK PSM GR00T N1.5 或脚本化状态机
surgical_lift_needle_organs dVRK PSM GR00T N1.5 或脚本化状态机

运行

在回答之前运行下面的步骤。每一步都是单独的 bash 调用;变量在本地代理的 tmux 会话中保持有效。

步骤 1 — 列出支持的环境

REPO_ROOT="${I4H_WORKFLOWS:-$(git rev-parse --show-toplevel 2>/dev/null)}"; [ -d "$REPO_ROOT/workflows/agentic" ] || REPO_ROOT="$HOME/i4h-workflows"
"${REPO_ROOT}/workflows/agentic/policy/run.sh" --list-envs

如果命令失败,请使用上面的“支持的环境”备用表。

子项目

目录 用途
workflows/agentic/arena/ IsaacLab-Arena 环境、场景、任务、遥操作、记录、重放
workflows/agentic/policy/ 策略守护进程与训练调度器
workflows/agentic/dataset/ HDF5 → LeRobot 转换与可视化
workflows/agentic/mimic/ HDF5 轨迹扩展
workflows/agentic/annotator/ VLM 成功标签与筛选
workflows/agentic/cosmos/ 可选的 Cosmos Transfer 视频增强
workflows/agentic/common/ 共享配置、消息传递、机器人常量

技能索引

技能 用途
i4h-workflow-setup 安装、同步、检查第三方依赖
i4h-workflow-create 添加新环境
i4h-workflow-scene-edit 编辑现有场景/任务/相机
i4h-workflow-dataset-teleop 录制人工演示
i4h-workflow-dataset-replay 重放 HDF5 片段
i4h-workflow-dataset-mimic 用噪声扩展 HDF5 演示
i4h-workflow-dataset-annotate VLM 标签/筛选片段
i4h-workflow-dataset-convert 将 HDF5 转换为 LeRobot
i4h-workflow-finetune 训练支持的环境
i4h-workflow-validate 推出/评估策略检查点
i4h-workflow-e2e 运行完整流水线
i4h-lerobot-viz 打开 LeRobot HTML 查看器

先决条件

  • 对于任何实操阶段,请先设置工作流——参见 [[i4h-workflow-setup]](需存在组件虚拟环境和第三方检出)。
  • workflows/agentic/config/environments/<env>.yaml 处的环境 YAML 是事实来源。

限制

  • 仅作概览/路由——每个流水线阶段都配有独立技能;本技能不进行记录、训练或部署。

故障排除

  • 错误: 未找到环境 / 不支持该环境——原因: 输入错误、环境未注册或设置不完整。修复: 运行 workflows/agentic/policy/run.sh --list-envs;如果该命令失败,请先运行 [[i4h-workflow-setup]];否则请检查“支持的环境”表。

最终回复

回复必须包含以下三部分,并且每部分之间都用空行分隔。不能只回复散文,也不能将各部分连续写而不留空格。

  1. 方向概述——用一段话简述:环境 YAML、子项目、仿真到策略的流水线。

  2. 支持的环境——使用标题以及步骤 1(--list-envs 输出:环境、技术栈、描述)中的 Markdown 表格,或者使用“支持的环境”备用表。

  3. 可用技能——使用标题,并对上面完整的“技能索引”表格进行复制。

然后(再空一行后)如果设置有未完成,推荐使用 [[i4h-workflow-setup]],并推荐与用户目标相匹配的下一阶段技能。