大模型推理部署 Skill技能列表

⚡

Dynamo配方运行器Skill dynamo-recipe-runner

4.5

本技能用于选择、验证、修补并部署现有的 NVIDIA Dynamo Kubernetes 推理配方,实现从用户意图到 OpenAI 兼容端点的快速启动。它支持配方发现、验证、最小化 YAML 修补、kubectl 部署和烟雾测试,适用于主流大模型推理框架(vLLM、SGLang、TensorRT-LLM、TokenSpeed)及多种 GPU 配置。关键词:NVIDIA Dynamo、Kubernetes、配方部署、推理服务编排、LLM推理、vLLM、SGLang、TensorRT-LLM、TokenSpeed、模型缓存、OpenAI兼容、烟雾测试、kubectl、YAML

⚡

NeMoRelay自适应插件调优Skill nemo-relay-plugin-adaptive-tuning

4.5

该技能用于在已具备NeMo Relay插桩的应用中,配置和评估自适应插件行为。它通过运行时信号(如工具与LLM生命周期事件)来调节遥测、工具并行、自适应提示、自适应缓存治理(ACG)以及rollout策略,从而优化推理延迟、并行度和提示缓存效率。适合在已有基线的基础上进行单变量对比调优,并支持故障回退。关键词:NeMo Relay、自适应插件、遥测、工具并行、提示缓存、ACG、rollout、延迟优化、大模型推理调优。

⚡

Dynamo故障排查Skill dynamo-troubleshoot

4.5

该技能用于诊断和排查NVIDIA Dynamo在Kubernetes上的部署故障。当Pods、模型缓存作业、PVC、工作节点、前端/路由器健康、端点或基准测试作业失败时,通过收集只读调试包、分类故障,并提供明确的下一步修复命令。关键词:Dynamo、Kubernetes、故障排查、LLM推理、部署诊断、Pod、PVC、DynamoGraphDeployment

⚡

Dynamo互连检查Skill dynamo-interconnect-check

4.5

验证Dynamo部署中NIXL/UCX/NCCL互连是否就绪,确保分离式服务基于RDMA/NVLink的KV传输正确。通过检查传输环境变量、节点能力和NIXL可达性,发现并避免网络回退问题。关键词:Dynamo、NIXL、UCX、NCCL、RDMA、NVLink、分离式服务、KV传输、GPUDirect、InfiniBand、互连验证。