VLM定制 — VSS告警蓝图
使用时机
本技能用于：将VSS告警蓝图切换到不同VLM端点；独立运行rtvi-vlm并支持OpenAI兼容端点或容器内vLLM；说明修改一个VLM配置不会自动影响所有消费者。
关键说明
- rtvi-vlm、vlm-as-verifier、vss-agent是三个独立的VLM消费者，配置位置各不相同。
- 路径基于公开VSS仓库的v3.2.1版本，不适用于DeepStream仓库。
- 蓝图端的OpenAI兼容路由需分别配置RTVI_VLM_*变量、vlm-as-verifier/configs/config.yml、vss-agent的VLM_MODEL_TYPE/VLM_NAME/VLM_BASE_URL。
- 独立运行的vllm-compatible需设置VLM_MODEL_TO_USE和MODEL_PATH；HF_TOKEN仅在有需要时设置。
- 验证部署不能只依赖日志中的“Warmup done”，必须检查不存在“Error during warmup”、就绪以及一次真实推理。
- 不要将凭据写入日志或聊天；用静默读取并chmod 600。
两种RTVI-VLM部署方式
- openai-compat：由外部OpenAI兼容服务器提供推理。
- vllm-compatible：容器内vLLM加载模型，需检查模型架构与镜像内vLLM版本的兼容性。
蓝图侧配置
- 必须先配置RTVI_VLM_PORT以及修正两条8018硬编码URL。
- openai-compat方法设置RTVI_VLM_MODEL_TO_USE、RTVI_VLM_ENDPOINT、VLM_NAME、OpenAI/RTVI_VLM_API_KEY等，并推荐通过/models接口校验模型。
- vllm-compatible设置RTVI_VLM_MODEL_PATH并使用ngc:或git:前缀。
独立配置
设置容器原生变量：VLM_MODEL_TO_USE、VIA_VLM_ENDPOINT、VIA_VLM_OPENAI_MODEL_DEPLOYMENT_NAME等。
配置vlm-as-verifier（仅2d_cv）
通过config.yml指定base_url和model，执行后强制重建alert-bridge。
配置vss-agent
通过VLM_MODEL_TYPE选择rtvi/nim/openai/vllm块，并设置对应的base_url。
健康检查
重建服务后需检查：容器运行、日志中无下载/预热错误、readiness端点、/v1/models返回model、一次真实chat/completions返回非空内容。openai-compat验证方法A的模型ID，vllm-compatible不需要匹配VLM_NAME。