
名称	jetson-package
描述	选择 Jetson 兼容的容器、vLLM 运行时镜像以及 Jetson AI Lab PyPI 索引；映射 Orin SM 8.7 与 Thor SM 11.0 以及 JetPack 特定的包选择。
版本	0.0.1
开源协议	“Apache-2.0” metadata:
作者	“Jetson Team” tags: [jetson, package, containers] languages: [bash] data-classification: public

Jetson 包与环境

智能体经常建议 docker pull 拉取镜像或 pip install 安装声称支持 aarch64 的 wheel 包，但这些包从未针对 Jetson 的 GPU 流式多处理器（SM） 目标构建。在 Jetson 上，除非用户明确选择其他方式，否则默认使用 NVIDIA 精选的制品。

目的

在安装 GPU 原生机器学习堆栈之前，选择合适的 Jetson 兼容容器和 Python 包索引。本技能防止智能体推荐通用 ARM wheel 包或过期的容器标签，这些标签不包含正确的 CUDA、JetPack 或 SM 目标。

使用场景

“我应该在这个 Jetson 上使用哪个 Docker 镜像 / 容器？”
“在哪里可以获取适用于 Jetson 的 PyTorch / vLLM / CUDA wheel 包？”
安装通用 ARM wheel 包后，pip install 失败或出现“错误的 CUDA / SM”。
在 Orin 或 Thor 上为 ML 堆栈执行 docker run 或 pip install 之前。
用户或智能体在 NGC 上寻找 l4t-cuda 容器 —— 请引导至 nvcr.io/nvidia/cuda（多架构）。
“我应该使用哪个 Jetson PyTorch 容器？” —— 答案取决于 Thor 与 Orin 以及 JetPack 版本。

权威来源（优先使用这些）

预构建容器（GHCR） — NVIDIA-AI-IOT packages：包括 llama_cpp、ollama、live-vlm-webui、旧版 Orin vllm 以及为 Jetson JetPack 堆栈构建的相关镜像。优先选择这些，而不是 Docker Hub 上随机的 arm64 镜像。对于 vLLM，在 Thor 和 Orin JetPack 7.2 / L4T r39+ 上使用上游 vllm/vllm-openai。
NGC CUDA / PyTorch 容器 — 标签选择取决于 Jetson 代次。不要将示例 PyTorch 标签形状视为固定建议；在给出命令之前，请查阅 NGC PyTorch 目录中的当前标签。

Jetson	CUDA 基础镜像	PyTorch
Thor	`nvcr.io/nvidia/cuda:<ver>-devel-ubuntu<ver>`（多架构，包含 arm64）	`nvcr.io/nvidia/pytorch:<current-tag>-py3`（主多架构标签；请验证当前 NGC 标签）
Orin + r36 / JetPack 6	相同的多架构 CUDA 基础镜像	`nvcr.io/nvidia/pytorch:<current-tag>-py3-igpu` —— 请验证当前 NGC 标签，并在 NGC 发布时为 Orin iGPU（SM 8.7）使用 `-igpu` 后缀
Orin + r39+（未来）	相同	一旦 Orin 成为 SBSA，可能会使用主多架构标签；请在 r39 发布时验证

l4t-cuda 是 Orin 时代的旧版 CUDA 容器产品线。 如果用户在 NGC 上找不到 l4t-cuda，请引导他们使用当前的多架构 nvcr.io/nvidia/cuda 镜像，而不是第三方镜像。

Python 包索引（devpi） — Jetson AI Lab PyPI：请浏览目录树（例如 jp6/cu126、jp6/cu128），选择与您的 JetPack / CUDA 用户空间 匹配的索引。对于 GPU 原生堆栈，优先选择这些源，而不是仅使用 PyPI 的 wheel 包。

GPU 架构提醒（为什么通用 ARM 会失败）

Jetson 系列	CUDA 计算能力	编译目标	说明
Orin（AGX / NX / Nano）	8.7	`sm_87`	许多桌面级 `aarch64` wheel 包省略了 Jetson Orin 内核。
Thor（T5000 / T4000）	11.0	`sm_110`	需要包含 Blackwell Jetson 支持的 CUDA / wheel / 容器。

一个 wheel 包或容器可能可以安装在 ARM64 Linux 上，但如果 CUDA 内核不是针对您的 Jetson SM 编译的，它可能仍然无法使用或运行缓慢。

在讨论 wheel 兼容性时，请使用 CUDA 编译目标名称：sm_87 用于 Jetson Orin，sm_110 用于 Jetson Thor。不要从提示或主机名推断代次 —— 请运行 scripts/artifact_hints.sh，并使用其检测到的 generation、variant、l4t 和 cuda_sm_hint 字段，然后再推荐 wheel 包或容器标签。

Jetson 上的 GPU Python wheel 包

Jetson 上 GPU 原生包的默认 PyPI wheel 包通常不是正确的选择，即使它们声称支持 aarch64。对于 onnxruntime-gpu、PyTorch、vLLM 等类似包，请使用 Jetson AI Lab 包索引作为权威来源，并选择与设备 JetPack / CUDA 用户空间匹配的子树。

对于 onnxruntime-gpu，请优先使用 Jetson AI Lab 而不是普通 PyPI：

pip install --extra-index-url https://pypi.jetson-ai-lab.io/jp6/cu126/+simple/ onnxruntime-gpu

请调整 jp6/cu126 部分以匹配检测到的 JetPack / CUDA 系列。不要将默认 PyPI 的 pip install onnxruntime-gpu 呈现为等效的 Jetson GPU 选项。

不要编造设备信息

不要编造 SKU 名称、内存大小、JetPack 版本、CUDA 版本或 GPU SM 目标。只能引用 scripts/artifact_hints.sh 或用户提供的环境报告。如果某个字段不可用，请省略或说明未知。

先决条件

在 Jetson 目标设备上运行包检测脚本，而不是在主机工作站上。
需要网络访问来检查 GHCR、NGC 或 Jetson AI Lab 包索引。
在推荐标签或 wheel 包之前，先从 scripts/artifact_hints.sh、jetson-diagnostic 或用户提供的环境输出中获取设备信息。

可用脚本

脚本	用途	参数
`scripts/artifact_hints.sh`	输出检测到的 Jetson SKU/代次、CUDA SM 提示、权威包 URL 和首选 vLLM 镜像提示。	`--human` 提供可读摘要；无参数输出 JSON。

如果你的智能体运行时支持 run_script，请使用它运行 scripts/artifact_hints.sh 并读取 JSON 输出。否则，请在仓库根目录使用 bash 运行该脚本。

说明

运行 scripts/artifact_hints.sh（stdout 输出 JSON）。它会引用 skills/jetson-diagnostic/scripts/detect_jetson.sh，并返回 sku、generation、product_line、variant、l4t、首选 vLLM 镜像、cuda_sm_hint 和权威 URL。
对于 pip，请在浏览器中打开 devpi 根目录，选择与您的 CUDA 系列匹配的 jp6 子树，并设置 --extra-index-url / PIP_EXTRA_INDEX_URL —— 参见 references/pypi-jetson-ai-lab.md。
对于容器，请参见 references/ghcr-images.md 和 jetson-llm-serve 以了解 vLLM。

限制

本技能指向包目录并发出兼容性提示；它不验证特定模型检查点是否适合内存。
NGC 和 GHCR 标签会发生变化。请将 <current-tag>-py3 等占位符标签形状视为查询指令，而不是字面标签。
如果 generation 或 cuda_sm_hint 未知，请勿猜测容器标签。

移交给

jetson-llm-serve — 在 Thor 和 Orin JetPack 7.2 / L4T r39+ 上运行上游/原生 vLLM 0.20+，或在较旧 Orin 上运行 vllm:latest-jetson-orin。
jetson-llm-benchmark — 在安装堆栈后进行度量。
jetson-diagnostic — 如果安装成功但运行时失败，请先拍摄快照。

安全

只读：指向目录并发出提示；不进行安装或拉取。

来源

NVIDIA-AI-IOT GitHub Packages，pypi.jetson-ai-lab.io。