name: 研究合成工作流程 description: 用于从多个来源收集、分析和综合研究以形成连贯见解和可操作知识的系统性方法。 license: MIT
研究合成工作流程
本技能提供了一种系统性方法,用于进行研究、综合多个来源的发现并生产可操作的知识工件。
核心能力
- 来源评估:评估可信度、相关性和偏见
- 信息提取:系统性笔记记录和注释
- 合成方法:主题分析、元分析、框架构建
- 知识工件:报告、文献综述、决策框架
研究工作流程概述
┌──────────────────────────────────────────────────────────────┐
│ 研究合成工作流程 │
├──────────────────────────────────────────────────────────────┤
│ │
│ 1. 范围定义 2. 收集来源 3. 信息提取 │
│ ┌─────────┐ ┌─────────┐ ┌─────────┐ │
│ │ 定义 │─────▶│ 寻找 │─────▶│ 捕获 │ │
│ │ 问题 │ │ 来源 │ │ 见解 │ │
│ └─────────┘ └─────────┘ └─────────┘ │
│ │ │ │
│ │ 5. 生产工件 4. 合成 │
│ │ ┌─────────┐ ┌─────────┐ │
│ └─────────▶│ 创建 │◀─────│ 连接 │ │
│ │ 工件 │ │ 主题 │ │
│ └─────────┘ └─────────┘ │
│ │
└──────────────────────────────────────────────────────────────┘
阶段 1:范围定义
研究问题框架
将模糊主题转化为可回答的问题:
| 类型 | 模式 | 示例 |
|---|---|---|
| 探索性 | 什么是 X?X 如何工作? | 什么是向量搜索? |
| 比较性 | X 与 Y 如何比较? | PostgreSQL 与 Neo4j 用于图形? |
| 评估性 | X 对 Y 有效吗? | RAG 对技术文档有效吗? |
| 因果性 | 什么导致 X?X 的效果是什么? | 什么导致 LLM 幻觉? |
| 规范性 | 如何实施 X? | 如何设计 RAG 管道? |
范围边界
明确定义:
- 范围内:涵盖的主题
- 范围外:排除的相邻主题
- 深度:调查(广泛)vs 深入(狭窄)
- 时间界限:来源的截止日期
- 来源类型:学术、行业、原始数据
示例范围文档
## 研究范围:向量数据库选择
### 研究问题
哪种向量数据库最适合我们的生产 RAG 系统,要求在 1000 万+ 向量下延迟 <50ms?
### 范围内
- Pinecone、Weaviate、Milvus、Qdrant、pgvector
- 规模下的延迟基准测试
- 成本分析(云 vs 自托管)
- 操作复杂性
### 范围外
- 具有向量扩展的通用数据库
- 少于百万向量的用例
- 仅学术/研究的系统
### 成功标准
基于支持证据,推荐 2-3 个顶级候选者
阶段 2:来源收集
来源质量评估
评估每个来源:
| 标准 | 高质量 | 低质量 |
|---|---|---|
| 权威性 | 专家作者,同行评审 | 匿名,无资质 |
| 时效性 | 最新,更新 | 过时,无日期 |
| 准确性 | 引用,可验证 | 无支持声明 |
| 目的 | 告知,教育 | 销售,说服 |
| 覆盖范围 | 全面 | 肤浅 |
来源类型和用途
原始来源(原创)
├── 研究论文
├── 官方文档
├── 基准数据
└── 专家访谈
二次来源(分析)
├── 综述文章
├── 技术博客
├── 行业报告
└── 书籍章节
三次来源(摘要)
├── 维基百科
├── 教科书
└── 百科全书
搜索策略
关键词扩展:
- 起始:“向量数据库性能”
- 扩展:“近似最近邻”、“HNSW 基准测试”、“嵌入搜索延迟”
引用链:
- 前向:谁引用了这篇论文?
- 后向:这篇论文引用了什么?
作者追踪:
- 找到关键研究人员,跟随他们的工作
来源文档化
对于每个来源,捕获:
## 来源:[标题]
- **URL/DOI**:
- **作者**:
- **日期**:
- **类型**:[论文/博客/文档/报告]
- **质量分数**:[1-5]
- **相关性**:[高/中/低]
- **关键主题**:
- **笔记**:
阶段 3:信息提取
结构化笔记记录
使用一致的模板进行提取:
## 主张:[具体断言]
- **来源**:[引用]
- **证据**:[支持数据/推理]
- **强度**:[强/中/弱]
- **我的评估**:[同意/不同意/不确定]
- **相关主张**:[链接到其他笔记]
证据分类
| 类型 | 描述 | 权重 |
|---|---|---|
| 经验性 | 测量数据,实验 | 高 |
| 分析性 | 逻辑推导 | 中-高 |
| 轶事性 | 案例研究,例子 | 中 |
| 专家意见 | 权威声明 | 中 |
| 理论性 | 模型预测 | 中-低 |
矛盾追踪
当来源不同意时:
## 冲突:[主题]
### 立场 A:[主张]
- 来源:[列表]
- 证据:[摘要]
### 立场 B:[主张]
- 来源:[列表]
- 证据:[摘要]
### 分析
- 方法差异:
- 上下文差异:
- 可能的解决方案:
- 我的结论:
阶段 4:合成
主题分析
- 编码 个别见解与标签
- 聚类 相关代码到主题
- 审查 主题的连贯性
- 定义 每个主题清晰
- 关联 主题到研究问题
代码 主题 发现
├─ 快速查询 ─┐
├─ 低延迟 ─┼── 性能 ─┬── 主题 1:性能
├─ 高吞吐量 ─┘ │ 因工作负载类型而异
├─ 托管服务 ─┐ │
├─ 自托管 ─┼── 部署 ─┼── 主题 2:云 vs
├─ Kubernetes ─┘ │ 自托管的权衡
├─ 定价层 ─┐ │
├─ 计算成本 ─┼── 经济学 ─┴── 主题 3:总成本
├─ 隐藏成本 ─┘ 驱动最终选择
框架构建
从合成创建决策框架:
## 向量数据库选择框架
### 决策树
1. 规模要求?
- <100 万向量 → pgvector(简单性)
- 100 万-1 亿向量 → 继续到 2
- >1 亿向量 → Milvus/Weaviate(分布式)
2. 操作能力?
- DevOps 有限 → Pinecone(托管)
- DevOps 强 → 继续到 3
3. 成本敏感性?
- 预算受限 → Qdrant(开源)
- 预算灵活 → 评估所有选项
### 比较矩阵
| 标准 | 权重 | Pinecone | Milvus | Qdrant |
|-------------|------|----------|--------|--------|
| 延迟 | 30% | 4 | 5 | 4 |
| 可扩展性 | 25% | 5 | 5 | 4 |
| 操作 | 20% | 5 | 3 | 4 |
| 成本 | 15% | 2 | 4 | 5 |
| 功能 | 10% | 4 | 5 | 4 |
| **加权** | | **4.0** | **4.4**| **4.2**|
阶段 5:知识工件生产
工件类型
| 格式 | 目的 | 受众 |
|---|---|---|
| 执行摘要 | 快速决策支持 | 领导层 |
| 技术报告 | 详细分析 | 工程师 |
| 文献综述 | 学术合成 | 研究人员 |
| 决策框架 | 结构化评估 | 决策者 |
| 参考指南 | 快速查找 | 从业者 |
结构模板
执行摘要(1-2 页):
- 背景和问题
- 关键发现(3-5 个要点)
- 建议
- 风险和考虑
技术报告(5-20 页):
- 执行摘要
- 背景和范围
- 方法
- 按主题的发现
- 分析和讨论
- 建议
- 附录(数据、来源)
质量检查清单
在最终确定前:
- [ ] 研究问题是否已回答?
- [ ] 所有主张是否有证据支持?
- [ ] 矛盾是否已解决?
- [ ] 局限性是否已承认?
- [ ] 是否有可操作的建议?
- [ ] 来源是否正确引用?
- [ ] 是否适合受众?
最佳实践
避免偏见
- 主动寻找反驳证据
- 包括多个视角
- 注意你的先验并更新它们
- 分离观察和解释
- 记录方法以提高透明度
管理范围蔓延
- 频繁返回研究问题
- 将有趣的分支放入“未来研究”
- 为每个阶段计时
- 提前定义“足够好”的标准
迭代
研究很少是线性的:
- 新来源可能需要范围调整
- 合成可能揭示需要更多收集的缺口
- 工件可能需要多个草稿
参考资料
references/evaluation-rubrics.md- 来源质量评分指南references/synthesis-methods.md- 详细合成技术references/artifact-templates.md- 文档模板和示例