该技能提供在NVIDIA Jetson（Thor、Orin等）上为大语言模型（LLM）和视觉语言模型（VLM）部署vLLM或SGLang OpenAI兼容服务的完整指南，包括运行时选择、Docker启动命令、MAXN电源配置、量化偏好及预检清单。关键词：Jetson, LLM, VLM, vLLM, SGLang, 服务部署, OpenAI兼容, Docker, Thor, Orin

为NVIDIA Jetson上的LLM/VLM推理服务提供内存调优与运行时选型建议。基于jetson-memory-audit快照，推荐vLLM、SGLang、llama.cpp、TensorRT Edge-LLM等运行时及gpu-memory-utilization、max-model-len、mem-fraction-static、n-gpu-layers等内存相关启动参数，以降低OOM风险、优化边缘推理部署。关键词：Jetson、内存调优、LLM推理、VLM推理、vLLM、SGLang、llama.cpp、TensorRT Edge-LLM、OOM、边缘计算、模型部署、GGUF、KV缓存。

该技能用于在Jetson边缘设备上对LLM/VLM服务进行可复现的基准测试。涵盖vLLM、llama.cpp/GGUF和Ollama三种运行时，提供标准化的包装脚本并输出结构化JSON指标（TTFT、ITL/TPOT、吞吐量等），便于对比模型性能、运行时参数和系统调优效果。关键词：Jetson、LLM基准测试、vLLM、llama.cpp、Ollama、边缘AI推理、性能测量、TTFT、TPOT、吞吐量。

本技能用于在Jetson设备上通过EAGLE-3或草稿模型的投机解码（Speculative Decoding）来优化vLLM推理服务的单流token生成性能，适用于TPOT成为瓶颈的场景。包含使用前提、Jetson专用调优参数、验证方法和错误处理。关键词：Jetson, vLLM, 投机解码, 推测解码, EAGLE-3, 草稿模型, TPOT, 边缘LLM推理, 推理加速