科学批判性思维Skill scientific-critical-thinking

---

名称: 科学-批判性-思维 描述: “评估研究严谨性。评估方法论、实验设计、统计有效性、偏见、混杂、证据质量（GRADE、Cochrane ROB），以对科学主张进行批判性分析。”

科学批判性思维

概述

批判性思维是评估科学严谨性的系统过程。使用GRADE和Cochrane ROB框架，评估方法论、实验设计、统计有效性、偏见、混杂和证据质量。应用此技能对科学主张进行批判性分析。

何时使用此技能

此技能应在以下情况使用：

• 评估研究方法和实验设计
• 评估统计有效性和证据质量
• 识别研究中的偏见和混杂
• 审查科学主张和结论
• 进行系统综述或荟萃分析
• 应用GRADE或Cochrane偏倚风险评估
• 提供研究论文的批判性分析

核心能力

1. 方法论批判

评估研究方法的严谨性、有效性和潜在缺陷。

适用于：

• 审查研究论文
• 评估实验设计
• 评估研究方案
• 规划新研究

评估框架：

1. 研究设计评估

   • 设计是否适合研究问题？
   • 设计是否能支持所做的因果主张？
   • 对照组是否适当且充分？
   • 考虑实验、准实验或观察性设计是否合理

2. 有效性分析

   • 内部有效性： 我们是否能信任因果推断？
     • 检查随机化质量
     • 评估混杂控制
     • 评估选择偏倚
     • 审查失访/退出模式
   • 外部有效性： 结果是否具有普遍性？
     • 评估样本代表性
     • 考虑设置的生态有效性
     • 评估条件是否匹配目标应用
   • 构建有效性： 测量是否捕捉了预期构建？
     • 审查测量验证
     • 检查操作性定义
     • 评估测量是直接还是代理
   • 统计结论有效性： 统计推断是否合理？
     • 验证足够的功效/样本大小
     • 检查假设合规性
     • 评估测试适当性

3. 控制和盲法

   • 随机化是否适当实施（序列生成、分配隐藏）？
   • 盲法是否可行并实施（参与者、提供者、评估者）？
   • 控制条件是否适当（安慰剂、主动控制、无治疗）？
   • 绩效或检测偏倚是否影响结果？

4. 测量质量

   • 仪器是否经过验证和可靠？
   • 测量是否在可能时客观，或主观且有公认限制？
   • 结果评估是否标准化？
   • 是否使用多种测量来三角验证发现？

参考： 见 参考资料/科学方法.md 获取详细原则，参考资料/实验设计.md 获取全面设计清单。

2. 偏倚检测

识别和评估可能扭曲发现的潜在偏倚来源。

适用于：

• 审查已发表研究
• 设计新研究
• 解释冲突证据
• 评估研究质量

系统偏倚审查：

1. 认知偏倚（研究者）

   • 确认偏倚： 是否只突出支持性发现？
   • HARKing： 假设是先验陈述还是看到结果后形成？
   • 发表偏倚： 文献中是否缺失负面结果？
   • 精选数据： 是否选择性报告证据？
   • 检查预注册和分析计划透明度

2. 选择偏倚

   • 抽样偏倚： 样本是否代表目标人群？
   • 志愿者偏倚： 参与者是否以系统性方式自选？
   • 失访偏倚： 组间退出是否差异？
   • 幸存者偏倚： 样本中是否只可见“幸存者”？
   • 检查参与者流程图并比较基线特征

3. 测量偏倚

   • 观察者偏倚： 期望是否影响观察？
   • 回忆偏倚： 回顾性报告是否系统性不准确？
   • 社会期望： 反应是否偏向可接受性？
   • 仪器偏倚： 测量工具是否系统性错误？
   • 评估盲法、验证和测量客观性

4. 分析偏倚

   • P值操纵： 是否进行了多项分析直至显著性出现？
   • 结果切换： 非显著结果是否被显著结果替代？
   • 选择性报告： 所有计划分析是否报告？
   • 子组探索： 子组分析是否未经校正进行？
   • 检查研究注册并与发表结果比较

5. 混杂

   • 哪些变量可能同时影响暴露和结果？
   • 混杂是否被测量和控制（统计或设计上）？
   • 未测量混杂是否能解释发现？
   • 是否有合理的替代解释？

参考： 见 参考资料/常见偏倚.md 获取全面偏倚分类及检测和缓解策略。

3. 统计分析评估

批判性评估统计方法、解释和报告。

适用于：

• 审查定量研究
• 评估数据驱动主张
• 评估临床试验结果
• 审查荟萃分析

统计审查清单：

1. 样本大小和功效

   • 是否进行了先验功效分析？
   • 样本是否足够检测有意义的效应？
   • 研究是否功效不足（常见问题）？
   • 小样本的显著结果是否引发效应大小膨胀警示？

2. 统计检验

   • 检验是否适合数据类型和分布？
   • 是否检查并满足检验假设？
   • 参数检验是否合理，还是应使用非参数替代？
   • 分析是否匹配研究设计（例如，配对与独立）？

3. 多重比较

   • 是否测试了多重假设？
   • 是否应用了校正（Bonferroni、FDR、其他）？
   • 主要结果是否与次要/探索性区分？
   • 发现是否可能是多重测试导致的假阳性？

4. P值解释

   • P值是否被正确解释（如果原假设为真，数据的概率）？
   • 非显著性是否被错误解释为“无效应”？
   • 统计显著性是否被混淆为实际重要性？
   • 是否报告精确P值，还是仅“p < .05”？
   • 是否出现可疑聚集在.05以下？

5. 效应大小和置信区间

   • 是否报告效应大小与显著性？
   • 是否提供置信区间显示精确度？
   • 效应大小在实际意义上是否有意义？
   • 标准化效应大小是否在领域特定背景下解释？

6. 缺失数据

   • 多少数据缺失？
   • 是否考虑缺失数据机制（MCAR、MAR、MNAR）？
   • 如何处理缺失数据（删除、插补、最大似然）？
   • 缺失数据是否会偏倚结果？

7. 回归和建模

   • 模型是否过拟合（过多预测因子，无交叉验证）？
   • 是否在数据范围外进行预测（外推）？
   • 是否解决多重共线性问题？
   • 是否检查模型假设？

8. 常见陷阱

   • 相关被视为因果
   • 忽略回归到均值
   • 忽略基础率
   • 德州神枪手谬误（在噪声中发现模式）
   • 辛普森悖论（子组混杂）

参考： 见 参考资料/统计陷阱.md 获取详细陷阱和正确实践。

4. 证据质量评估

系统评估证据的强度和品质。

适用于：

• 权衡证据进行决策
• 进行文献综述
• 比较冲突发现
• 确定结论的置信度

证据评估框架：

1. 研究设计层次

   • 系统综述/荟萃分析（最高，用于干预效应）
   • 随机对照试验
   • 队列研究
   • 病例对照研究
   • 横断面研究
   • 病例系列/报告
   • 专家意见（最低）

   重要： 更高层次设计不总是质量更好。一个设计良好的观察性研究可能比执行不佳的RCT更强。

2. 设计类型内的质量

   • 偏倚风险评估（使用适当工具：Cochrane ROB、Newcastle-Ottawa等）
   • 方法论严谨性
   • 透明度和报告完整性
   • 利益冲突

3. GRADE考虑（如适用）

   • 从设计类型开始（RCT = 高，观察性 = 低）
   • 降级因：
     • 偏倚风险
     • 研究间不一致性
     • 间接性（错误人群/干预/结果）
     • 不精确性（宽置信区间、小样本）
     • 发表偏倚
   • 升级因：
     • 大效应大小
     • 剂量反应关系
     • 混杂会减少（而非增加）效应

4. 证据趋同性

   • 更强当：
     • 多项独立复制
     • 不同研究团队和设置
     • 不同方法论趋同相同结论
     • 机制和实证证据一致
   • 更弱当：
     • 单一研究或研究团队
     • 文献中矛盾发现
     • 发表偏倚明显
     • 无复制尝试

5. 上下文因素

   • 生物学/理论合理性
   • 与已有知识的一致性
   • 时间性（原因先于结果）
   • 关系特异性
   • 关联强度

参考： 见 参考资料/证据层次.md 获取详细层次、GRADE系统和质量评估工具。

5. 逻辑谬误识别

检测和命名科学论证和主张中的逻辑错误。

适用于：

• 评估科学主张
• 审查讨论/结论部分
• 评估大众科学传播
• 识别有缺陷的推理

科学中的常见谬误：

1. 因果谬误

   • 事后推理： “B在A之后发生，所以A导致B”
   • 相关=因果： 混淆关联与因果关系
   • 反向因果： 误认原因和结果
   • 单一原因谬误： 将复杂结果归因于单一因素

2. 概括谬误

   • 草率概括： 从小样本得出广泛结论
   • 轶事谬误： 个人故事作为证据
   • 精选数据： 只选择支持性证据
   • 生态谬误： 群体模式应用于个体

3. 权威和来源谬误

   • 诉诸权威： “专家说了，所以是真的”（无证据）
   • 人身攻击： 攻击个人而非论证
   • 起源谬误： 根据起源评判，而非优点
   • 诉诸自然： “自然=好/安全”

4. 统计谬误

   • 忽略基础率： 忽视先验概率
   • 德州神枪手： 在随机数据中找到模式
   • 多重比较： 未校正多项检验
   • 检察官谬误： 混淆P(E|H)与P(H|E)

5. 结构谬误

   • 虚假两难： “要么A要么B”而存在更多选项
   • 移动球门柱： 改变证据标准后标准已满足
   • 循环论证： 循环推理
   • 稻草人： 歪曲论证以攻击

6. 科学特定谬误

   • 伽利略赌局： “他们嘲笑伽利略，所以我的边缘想法是正确的”
   • 无知论证： “未证明错误，所以真”
   • 完美主义谬误： 拒绝不完美解决方案
   • 不可证伪性： 做出无法测试的主张

识别谬误时：

• 命名特定谬误
• 解释推理为何有缺陷
• 识别有效推断所需证据
• 注意谬误推理并不证明结论错误——只是此论证不支持它

参考： 见 参考资料/逻辑谬误.md 获取全面谬误目录及示例和检测策略。

6. 研究设计指导

提供规划严谨研究的建设性指导。

适用于：

• 帮助设计新实验
• 规划研究项目
• 审查研究提案
• 改进研究方案

设计过程：

1. 研究问题精炼

   • 确保问题具体、可回答且可证伪
   • 验证它解决文献中的空白或矛盾
   • 确认可行性（资源、伦理、时间）
   • 操作性定义变量

2. 设计选择

   • 匹配设计到问题（因果→实验；关联→观察性）
   • 考虑可行性和伦理约束
   • 选择被试间、被试内或混合设计
   • 如果测试多因素，计划因子设计

3. 偏倚最小化策略

   • 在可能时实施随机化
   • 在所有可行水平计划盲法（参与者、提供者、评估者）
   • 识别并计划控制混杂（随机化、匹配、分层、统计调整）
   • 标准化所有程序
   • 计划最小化失访

4. 样本规划

   • 进行先验功效分析（指定预期效应、期望功效、alpha）
   • 在样本大小中考虑失访
   • 定义清晰纳入/排除标准
   • 考虑招募策略和可行性
   • 计划样本代表性

5. 测量策略

   • 选择已验证、可靠的仪器
   • 尽可能使用客观测量
   • 计划关键构建的多种测量（三角验证）
   • 确保测量对预期变化敏感
   • 建立评估者间信度程序

6. 分析规划

   • 预指定所有假设和分析
   • 明确指定主要结果
   • 计划统计检验并检查假设
   • 指定如何处理缺失数据
   • 计划报告效应大小和置信区间
   • 考虑多重比较校正

7. 透明度和严谨性

   • 预注册研究分析计划
   • 使用报告指南（CONSORT、STROBE、PRISMA）
   • 计划报告所有结果，不仅仅是显著的
   • 区分验证性和探索性分析
   • 承诺数据/代码共享

参考： 见 参考资料/实验设计.md 获取全面设计清单，覆盖从问题到传播的所有阶段。

7. 主张评估

系统评估科学主张的有效性和支持性。

适用于：

• 评估论文中的结论
• 评估媒体研究报告
• 审查摘要或引言主张
• 检查数据是否支持结论

主张评估过程：

1. 识别主张

   • 究竟主张什么？
   • 是因果主张、关联主张还是描述性主张？
   • 主张有多强（已证明、可能、建议、可能）？

2. 评估证据

   • 提供了什么证据？
   • 证据是直接还是间接？
   • 证据是否足够支持主张强度？
   • 是否排除了替代解释？

3. 检查逻辑连接

   • 结论是否来自数据？
   • 是否有逻辑跳跃？
   • 相关数据是否用于支持因果主张？
   • 是否承认局限性？

4. 评估比例性

   • 置信是否与证据强度成比例？
   • 是否适当使用保留性语言？
   • 是否淡化局限性？
   • 是否明确标注推测？

5. 检查过度概括

   • 主张是否超出研究的样本？
   • 是否承认人群限制？
   • 是否识别上下文依赖性？
   • 是否包含概括的注意事项？

6. 警示标志

   • 来自相关研究的因果语言
   • “证明”或绝对确定性
   • 精选引用
   • 忽视矛盾证据
   • 忽视局限性
   • 数据外推

提供具体反馈：

• 引用有问题的主张
• 解释支持它所需证据
• 如果合理，建议适当保留性语言
• 区分数据（发现了什么）和解释（它意味着什么）

应用指南

一般方法

1. 建设性

   • 识别优势和弱点
   • 建议改进而非仅批评
   • 区分致命缺陷和次要局限性
   • 承认所有研究都有局限性

2. 具体

   • 指向具体实例（例如，“表2显示…”或“在方法部分…”）
   • 引用有问题的陈述
   • 提供问题的具体示例
   • 引用违反的具体原则或标准

3. 比例性

   • 匹配批评严重性与问题重要性
   • 区分主要有效性威胁和次要担忧
   • 考虑问题是否影响主要结论
   • 承认自己评估的不确定性

4. 应用一致标准

   • 对所有研究使用相同标准
   • 不对不喜欢的结果应用更严格标准
   • 承认自己的潜在偏倚
   • 基于方法论而非结果进行判断

5. 考虑上下文

   • 承认实际和伦理约束
   • 考虑效应大小和方法的领域特定规范
   • 识别探索性与验证性背景
   • 评估研究时考虑资源限制

提供批判时

结构化反馈为：

1. 总结： 简要概述评估内容
2. 优势： 做得好的地方（对可信度和学习重要）
3. 担忧： 按严重性组织的问题
   • 关键问题（威胁主要结论的有效性）
   • 重要问题（影响解释但不致命）
   • 次要问题（值得注意但不改变结论）
4. 具体建议： 可操作的改进建议
5. 整体评估： 关于证据质量和可以得出结论的平衡结论

使用精确术语：

• 命名特定偏倚、谬误和方法论问题
• 引用已建立的标准和指南
• 引用科学方法论原则
• 准确使用技术术语

不确定时

• 承认不确定性： “这可能是X或Y；需要额外信息是Z”
• 提出澄清问题： “是否做了[方法论细节]？这影响解释。”
• 提供条件评估： “如果做了X，那么Y遵循；如果没有，那么Z是担忧”
• 注意哪些额外信息能解决不确定性

参考资料

此技能包括全面的参考资料，提供批判性评估的详细框架：

• 参考资料/科学方法.md - 科学方法论核心原则、科学过程、批判性评估标准、科学主张中的警示标志、因果推断标准、同行评审和开放科学原则

• 参考资料/常见偏倚.md - 认知、实验、方法论、统计和分析偏倚的全面分类，包括检测和缓解策略

• 参考资料/统计陷阱.md - 常见统计错误和误解，包括P值误解、多重比较问题、样本大小问题、效应大小错误、相关/因果混淆、回归陷阱和荟萃分析问题

• 参考资料/证据层次.md - 传统证据层次、GRADE系统、研究质量评估标准、领域特定考虑、证据综合原则和实用决策框架

• 参考资料/逻辑谬误.md - 科学论述中常见的逻辑谬误，按类型组织（因果、概括、权威、相关性、结构、统计）并附示例和检测策略

• 参考资料/实验设计.md - 全面实验设计清单，覆盖研究问题、假设、研究设计选择、变量、抽样、盲法、随机化、对照组、程序、测量、偏倚最小化、数据管理、统计规划、伦理考虑、有效性威胁和报告标准

何时查阅参考资料：

• 当需要详细框架时，加载参考资料到上下文中
• 使用grep搜索参考资料中的特定主题：grep -r “模式” 参考资料/
• 参考资料提供深度；SKILL.md提供程序性指导
• 查阅参考资料获取全面列表、详细标准和具体示例

记住

科学批判性思维是关于：

• 使用已建立原则进行系统评估
• 改进科学的建设性批判
• 置信与证据强度成比例
• 关于不确定性和局限性的透明度
• 一致应用标准
• 承认所有研究都有局限性
• 怀疑主义和证据开放性之间的平衡

始终区分：

• 数据（观察到的）和解释（意味着什么）
• 相关和因果
• 统计显著性和实际重要性
• 探索性和验证性发现
• 已知和不确定的
• 反对主张的证据和证明原假设的证据

批判性思维的目标：

1. 准确识别优势和弱点
2. 确定支持哪些结论
3. 识别局限性和不确定性
4. 建议未来工作的改进
5. 推进科学理解