名称: tao-validate-dataset-format
描述: 运行 tao-daft validate 来检查 NVIDIA TAO DAFT 数据集的结构、模式和交叉引用错误。
不要用于非 DAFT 格式。当用户要求验证 DAFT 数据集、检查 DAFT 模式、验证 TAO 数据集格式或运行 tao-daft validate 时使用。
许可证: Apache-2.0
兼容性: 需要 Python 3.10+ 和 nvidia-tao-sdk 包 (pip install nvidia-tao-daft)。
元数据:
作者: NVIDIA Corporation
版本: “0.1.0”
允许的工具: 读取 Bash
标签:
- tao-daft
- 数据集
- 验证
- 模式
验证 TAO DAFT 数据集
独立安装? 如果此会话不是由 TAO 技能库插件初始化的,请先运行
tao-setup技能(主机预检、凭据、跨技能发现)。
快速开始
tao-daft validate <格式> --path <数据集或父目录>
<格式> 是位置子命令(例如 metropolis-v3.0、cosmos-reason-v1.0);
--path 是必需的。通过
tao-daft validate --help 和叶子 --help 发现支持的格式和每种格式的标志(参见下面的“CLI 约定”)。
预检
python -c "import nvidia_tao_daft" 2>/dev/null || {
echo "缺少: tao-daft 未安装。运行:"
echo " pip install nvidia-tao-daft"
exit 1
}
快速开始
在选择格式别名之前发现已安装的验证器格式,然后
使用 --path 传递目标进行验证:
tao-daft --version
tao-daft validate --help
tao-daft validate <格式> --help
tao-daft validate <格式> --path /path/to/daft-dataset
目的
驱动 tao-daft validate 针对 DAFT 数据集(或它们的树)。
CLI 是规范;技能选择子命令和标志并解释结果。
当用户提到“TAO DAFT”、“DAFT 格式”、验证
DAFT 数据集、模式/交叉引用错误或 tao-daft validate 时触发。
不要为非 DAFT 布局(COCO、YOLO、Data Factory JSONL)触发,
也不要为 tao-daft info / tao-daft convert 触发——那些有专门的技能。
如果用户的开始不明确,先运行一些 --help 命令
来了解情况,然后回来确认任务。
前提条件
- 已安装
nvidia-tao-daft(pip install nvidia-tao-daft; wheel 就足够了,不需要源代码仓库)。用tao-daft --version确认。 - 本地磁盘上有 DAFT 数据集,或它们的父目录。
说明
CLI 约定
tao-daft 是嵌套的 argparse 子命令。名称和标志在不同版本间有差异,
所以从 --help 发现当前表面,而不是相信本文档中的任何列表。
- 格式是位置子命令,不是
--format:tao-daft validate <格式> [标志]。通过tao-daft validate --help列出当前格式;别名看起来像metropolis-v3.0、cosmos-reason-v1.0。 - 目标是
--path PATH,不是位置参数。它接受单个 数据集/场景或父目录——验证器遍历树。 - 标志是每种格式特有的;运行叶子帮助,例如
tao-daft validate metropolis-v3.0 --help,在做出选择之前。 不要假设一个格式的标志存在于另一个格式中。
所以循环是: tao-daft --version → tao-daft validate --help →
选择格式(如果未指定则推断,参见下文)→
tao-daft validate <格式> --help → 运行 → 解释。
格式推断
使用目录标记,而不是文件名:
meta.json在media/和text/旁边 ⇒cosmos-reason-v1.0。- 包含
contextual/的目录(或嵌套目录), 通常与raw/和task/相邻 ⇒metropolis-v3.0。 - 两个标记都不存在 ⇒ 询问用户;不要猜测。
阅读错误
CLI 每次运行都以 VALIDATION RESULTS 块结束,然后
是 ✅ VALIDATION PASSED 或 ❌ VALIDATION FAILED,失败时退出非零
(可以安全地在脚本中链式调用)。
在大型树上的输出可能很大——捕获完整输出到文件 并分块阅读,而不是内联滚动。
限制
- 仅验证 DAFT。非 DAFT 布局(COCO、YOLO、Data Factory JSONL 等)属于上游转换器技能。
- 支持的格式是
tao-daft validate --help为已安装版本报告的任何内容; 较旧的别名可能已被退役。 - 只覆盖
validate。对于tao-daft info和tao-daft convert,请使用专门的技能。 - 不要在 Python 中重新实现验证;CLI 是规范。
故障排除
tao-daft: command not found— wheel 未安装在活动环境中。pip install nvidia-tao-daft;验证tao-daft --version。error: argument --path is required— 路径被位置传递。 将其移到--path后面。invalid choice: '<格式>'— 此版本中未连接别名。 重新运行tao-daft validate --help并从列表中选择。- 自动检测(原始类型 / 上下文集)错误 — 通过格式的
范围限制标志覆盖;从叶子
--help中发现名称。 - CI 希望警告失败 — 添加
--strict。