| 名称 | nemo-relay-plugin-adaptive-tuning |
| 描述 | 当存在基线NeMo Relay插桩且用户想要配置或评估自适应插件行为（包括遥测、状态、adaptive_hints、工具并行、ACG、提示消耗或实测rollout）时，使用此技能。 |
| 开源协议 | Apache-2.0 metadata: |
| 作者 | NVIDIA Corporation and Affiliates |
调整自适应插件行为
何时使用
当用户已有基线NeMo Relay插桩，并希望通过运行时信号改进延迟、并行度、提示缓存行为或模型请求行为时，使用此技能。 保持自适应行为与已知基线进行对比。
何时不使用
当应用尚未插桩时，请勿使用此技能。请先使用nemo-relay-instrument-calls或nemo-relay-get-started。
默认指南
- 先观察，与基线比较，然后一次只启用一个行为更改。
- 使用自适应插件组件，而不是自行发明独立的调优逻辑或在每个调用点手动注册自适应行为。
- 对于本地开发，先从内存状态和仅遥测行为开始。
- 仅当学习到的信号需要在重启后保留或在多个worker之间共享时，才迁移到持久状态。
- 只有在具有代表性的运行时事件显示需要更改后，才添加主动行为。
嵌入式自适应模型
- 自适应行为通过kind为
adaptive的第一方插件组件配置。 - 自适应需要现有NeMo Relay范围以及至少一个相关的托管工具或LLM生命周期事件流，因为它从运行时信号中学习。
- 主要配置领域包括状态、遥测、自适应提示、工具并行、自适应缓存治理(ACG)和rollout策略。
- 状态后端是
in_memory和redis。 - 工具并行模式有
observe_only、inject_hints和schedule。 - 自适应缓存治理提供程序有
passthrough、anthropic和openai；在需要提示缓存规划之前请省略ACG。 - 帮助API存在于Rust
nemo_relay_adaptive、Pythonnemo_relay.adaptive和Node.jsnemo-relay-node/adaptive中。Go和原始FFI是源码优先或高级接口。
默认路径
使用以下rollout序列：
- 确认应用能发出作用域事件以及评估行为所需的托管工具或LLM事件。当工作流只使用一种调用类型时，不要同时要求两种类型。
- 为您想要改进的工作流捕获基线。
- 启用带内存状态的自适应遥测。
- 需要精确插件配置字段时，阅读
references/config.md。 - 运行代表性流量并检查报告或运行时事件。
- 如果配置验证失败或预期事件缺失，请返回诊断并停止。保持最后一次已知可用的配置处于活动状态。
- 在启用调度之前，验证工具幂等性和竞态行为。在启用ACG之前，验证提供程序请求payload是稳定的。
- 在配置中启用最小的行为更改。
- 当应用程序逻辑消费自适应提示、工具并行指导或ACG诊断时，阅读
references/hints.md。 - 将结果与基线进行比较。如果延迟、正确性或失败率出现回退，请恢复最后一次已知可用的配置并保留经过清理的诊断以进行审查。
需要避免的故障模式
- 在工具幂等性和竞态行为已知之前，不要启用调度。
- 在提供程序payload稳定之前，不要启用提示缓存规划。
- 不要将自适应提示视为强制指令，除非消费路径明确定义了该约定。
- 不要将环境变量作为主要的自适应配置模型。
- 不要根据单次运行或无代表性的流量进行调优。
- 不要抑制或替换原始工具和模型错误。
- 在调用所有者定义其安全性之前，不要添加重试。
- 当自适应行为导致失败率上升时，请回退该行为。
何时加载参考
- 当您需要精确的自适应配置形状 ->
references/config.md - 当您需要在应用逻辑中消费自适应提示或调度指导 ->
references/hints.md
何时使用其他技能
- 当您需要构建可复用的插件行为而不是配置内置自适应组件 ->
nemo-relay-plugin-build
相关技能
nemo-relay-get-startednemo-relay-instrument-callsnemo-relay-plugin-observabilitynemo-relay-plugin-build