⚡

Phoenix-Arize-LLM可观测性平台设置技能Skill phoenix-arize-setup

该技能用于设置和配置Arize Phoenix平台，这是一个专门用于大语言模型（LLM）和AI智能体的可观测性、调试与评估工具。核心功能包括：通过OpenTelemetry实现LLM调用链追踪、使用LLM作为评判器进行自动化评估、对嵌入向量进行可视化与漂移监控、分析检索增强生成（RAG）系统的质量，以及管理评估实验数据集。它支持对OpenAI、LangChain、LlamaIndex等主流框架的自动检测，帮助开发者和研究者全面监控、分析和优化其AI应用的质量与性能。 关键词：LLM可观测性，AI评估，Phoenix平台，RAG分析，嵌入可视化，OpenTelemetry追踪，LLM-as-Judge，智能体调试，模型监控，Arize

AI智能体 0 次安装 16 次浏览 更新于 2/23/2026

名称: phoenix-arize-设置 描述: 用于LLM调试和评估的Arize Phoenix可观测性平台设置 允许的工具:

  • 读取
  • 写入
  • 编辑
  • Bash
  • Glob
  • Grep

Phoenix Arize 设置技能

能力

  • 设置Phoenix本地服务器
  • 配置追踪检测
  • 设计评估实验
  • 实现嵌入可视化
  • 设置检索分析
  • 使用LLM作为评判器创建自定义评估

目标流程

  • llm-可观测性-监控
  • 智能体-评估-框架

实施细节

核心功能

  1. 追踪: 基于OpenTelemetry的LLM追踪
  2. 评估: LLM作为评判器的评估
  3. 嵌入: 可视化和漂移检测
  4. 检索: RAG质量分析
  5. 数据集: 实验管理

检测

  • OpenAI自动检测
  • LangChain检测
  • LlamaIndex检测
  • 自定义跨度创建

配置选项

  • Phoenix服务器设置
  • 追踪采样
  • 评估指标
  • 嵌入模型
  • 导出设置

最佳实践

  • 全面的检测
  • 定期运行评估
  • 监控嵌入漂移
  • 分析检索质量

依赖项

  • arize-phoenix
  • openinference-instrumentation-openai