名称: project-aeo-monitoring-tools 描述: 构建自定义AI搜索监控工具,用于竞争性AEO分析。涵盖API访问、爬取架构、法律合规和成本估算。 版本: 1.0.0 标签: [aeo, 监控, 爬取, api, 竞争分析, 工程]
AEO监控工具
构建自定义基础设施,用于监控AI搜索引擎可见性和竞争性引用分析。
受众: 构建自定义AEO监控系统的工程师
相关: 有关AEO策略和优化指导,请参阅 marketing-ai-search-optimization
何时使用此技能
- 构建自定义AEO监控基础设施
- 评估构建与购买AI搜索跟踪工具的决策
- 理解每个平台的API与爬取权衡
- 设计引用分析的数据管道
- 估算多平台监控的成本
决策框架:构建与购买
在构建自定义工具之前,评估商业解决方案是否满足您的需求。
| 因素 | 使用商业工具 | 构建自定义 |
|---|---|---|
| 预算 | <500美元/月 | >2000美元/月的工具成本或需要自定义查询 |
| 查询量 | <500次查询/周 | >2000次查询/周 |
| 平台覆盖 | 标准5-6个引擎 | 需要小众引擎或自定义提示 |
| 集成需求 | 标准导出(CSV, API) | 深度CRM/分析集成 |
| 工程能力 | 无专职工程师 | 1+全职工程师可用 |
| 自定义化 | 标准指标足够 | 自定义评分、专有分析 |
首先评估的商业工具:
| 工具 | 价格 | 优势 |
|---|---|---|
| Profound | 499美元/月 | 完整AEO跟踪,竞争对手分析 |
| Semrush One | 199+美元/月 | 与SEO套件集成 |
| Goodie AI | 495+美元/月 | 企业功能 |
| Otterly.AI | 联系 | 专注于ChatGPT/Perplexity |
| LLMrefs | 免费 | 基本引用跟踪 |
平台访问概览
每个AI平台需要不同的访问方法。
| 平台 | 推荐方法 | API可用 | 月度成本 | 引用支持 |
|---|---|---|---|---|
| Perplexity | Sonar API | 是(引用原生) | 15-30美元 | 原生 |
| Gemini | 免费API层 | 是(1500次/天免费) | 0美元 | 从响应中提取 |
| Claude | Claude API | 是 | 75-150美元 | 从响应中提取 |
| ChatGPT / OpenAI | 官方API(使用网络搜索工具,如果可用)或商业供应商 | 是(变化) | 60-500+美元 | 变化(官方工具或供应商) |
| Google AI概述 | 仅商业工具 | 否(通常) | 不适用 | 仅商业工具 |
关键洞察: Perplexity Sonar API是最AEO友好的 - 它在响应中原生返回引用。
参见: references/platform-access-methods.md
架构层级
层级1:API优先(推荐)
在可用时使用官方API。风险最低,最可维护。
查询库 -> API编排器 -> 响应存储 -> 分析层
(250-500 (速率限制, (PostgreSQL/ (引用提取,
查询) 重试逻辑) BigQuery) 品牌检测)
覆盖平台: Perplexity, Gemini, Claude, OpenAI(基线;使用官方网络搜索工具,如果可用) 成本: 15-300美元/月,取决于量 风险: 低
层级2:混合(API + 商业爬取)
为没有良好API的平台添加商业爬取服务。
额外覆盖: ChatGPT网络界面,Google AI概述 成本: 500-1500美元/月(添加商业爬取器费用) 风险: 中等(依赖于爬取器供应商)
层级3:全自定义爬取(不推荐)
AI平台的DIY网络爬取。
为何避免:
- 高ToS违反风险
- 积极的机器人检测(尤其是Google, ChatGPT)
- 维护负担(UI更改破坏爬取器)
- 潜在法律责任
参见: assets/technical/architecture-diagrams.md
风险评估矩阵
| 方法 | ToS风险 | 法律风险 | 检测风险 | 推荐 |
|---|---|---|---|---|
| 官方API | 无 | 无 | 无 | 推荐 |
| 商业爬取服务 | 转移给供应商 | 供应商责任 | 低 | 可接受,需尽职调查 |
| DIY网络爬取 | 高 | 中高 | 高 | 不推荐 |
| 违反robots.txt | 非常高 | 高 | 非常高 | 永不 |
监控的法律发展:
- 出版商诉讼和数据来源争议(例如:Reddit v. Perplexity AI (2024))
- 平台ToS执行和违约金政策(例如:X ToS更改)
- 爬取器阻止和WAF规则的增加使用(GPTBot, ClaudeBot等)
参见: references/legal-compliance.md
成本估算
| 层级 | 组件 | 月度成本 |
|---|---|---|
| 最小化 | Gemini免费 + Perplexity Sonar + Supabase | 15-50美元 |
| 标准 | 多平台API + PostgreSQL | 150-300美元 |
| 全面 | API + 商业爬取 + 分析 | 500-1500美元 |
| 企业 | 全面覆盖 + 专用基础设施 | 2000+美元 |
参见: references/cost-estimation.md
实施时间线
| 周 | 焦点 | 可交付成果 |
|---|---|---|
| 1 | 基础 | 查询库(250-500),API账户,数据库模式 |
| 2 | 核心管道 | API编排器,响应存储,引用提取 |
| 3 | 分析 | 品牌检测,竞争对手跟踪,模型份额计算 |
| 4 | 报告 | 仪表板,警报,维护程序 |
参见: assets/setup/minimal-setup-guide.md
加载内容(渐进式披露)
根据您的需求加载额外参考:
| 参考 | 何时加载 |
|---|---|
| references/platform-access-methods.md | API设置,速率限制,每个平台的身份验证 |
| references/legal-compliance.md | ToS分析,合规检查表,免责声明语言 |
| references/cost-estimation.md | 详细定价分解,ROI计算 |
| assets/technical/architecture-diagrams.md | 系统架构,数据流图 |
| assets/technical/code-templates.md | Python编排器,SQL模式,提取函数 |
| assets/setup/minimal-setup-guide.md | 分步4周实施指南 |
快速入门清单
[ ] 定义查询库(250-500按意图的查询)
[ ] 选择监控平台(按ICP使用优先)
[ ] 评估构建与购买决策
[ ] 如果构建:设置API账户(Perplexity, Gemini, Claude/OpenAI)
[ ] 创建数据库模式(推荐PostgreSQL)
[ ] 构建带速率限制的API编排器
[ ] 实现引用提取
[ ] 设置计划运行(每日/每周)
[ ] 创建模型份额仪表板
[ ] 记录维护程序
关键指标
主要指标: 模型份额(SoM)
SoM = (您的品牌提及 / 总响应) * 100
跟踪SoM:
- 每个平台(ChatGPT, Perplexity, Gemini, Claude)
- 每个查询意图(信息性、商业性、交易性)
- 随时间(每周/每月趋势)
- 与竞争对手对比
次要指标:
- 引用率(带您URL的响应百分比)
- 引用位置(第一、第二、第三提及)
- 品牌提及的情感
- 查询覆盖率(您出现的目标查询百分比)
相关技能
marketing-ai-search-optimization- AEO策略,内容优化,测量方法software-api-design- API集成模式qa-observability- 监控和警报设置
免责声明
此指导用于教育目的。用户必须:
- 进行自己的法律审查
- 确保遵守适用的服务条款
- 尊重robots.txt指令
- 遵循其管辖区的法律和法规
构建违反平台ToS的监控工具可能导致账户终止、法律行动或两者。