推理服务编排 Skill技能列表

⚡

Dynamo路由器启动器Skill dynamo-router-starter

4.5

本技能用于启动或修改Dynamo路由模式,并执行路由器端点的冒烟测试。支持轮询、KV感知、最少负载、设备感知路由等模式,以及本地和Kubernetes环境。关键词:Dynamo, 路由器, 路由模式, KV路由, 冒烟测试, 轮询, 最少负载, 设备感知, Kubernetes, NVIDIA, 推理服务编排

⚡

TAO推理微服务编排Skill tao-run-inference-service

4.5

启动、查询和停止基于TAO模型的推理微服务,支持docker/brev/slurm/kubernetes等多种平台,负责容器镜像解析、作业负载构建、服务注册与请求路由,提供OpenAI兼容的推理接口。关键词:TAO、推理微服务、容器编排、模型推理、微服务生命周期、vLLM、多平台部署。