名称: 同行评审 描述: “系统的同行评审工具包。评估方法论、统计、设计、可重复性、伦理、图表完整性、报告标准,适用于跨学科的手稿和资助评审。”
科学关键评估与同行评审
概述
同行评审是评估科学手稿的系统过程。评估方法论、统计、设计、可重复性、伦理和报告标准。运用此技能进行跨学科的手稿和资助评审,提供建设性、严谨的评估。
何时使用此技能
此技能应在以下情况使用:
- 为期刊进行科学手稿的同行评审
- 评估资助提案和研究申请
- 评估方法论和实验设计的严谨性
- 审查统计分析和报告标准
- 评估可重复性和数据可用性
- 检查是否符合报告指南(CONSORT、STROBE、PRISMA等)
- 提供关于科学写作的建设性反馈
同行评审工作流程
通过以下阶段系统进行同行评审,根据手稿类型和学科调整深度和重点。
阶段1:初步评估
从高层次评估开始,确定手稿的范围、新颖性和整体质量。
关键问题:
- 核心研究问题或假设是什么?
- 主要发现和结论是什么?
- 工作是否科学合理且重要?
- 工作是否适合目标发表场所?
- 是否有任何立即的重大缺陷会妨碍发表?
输出: 简短的摘要(2-3句),捕捉手稿的本质和初步印象。
阶段2:详细部分评审
对手稿的每个部分进行彻底评估,记录具体关注点和优点。
摘要和标题
- 准确性: 摘要是否准确反映研究内容和结论?
- 清晰度: 标题是否具体、准确且信息丰富?
- 完整性: 关键发现和方法是否适当总结?
- 可访问性: 摘要是否能被广泛的科学受众理解?
引言
- 背景: 背景信息是否充分和最新?
- 合理性: 研究问题是否被明确动机和论证?
- 新颖性: 工作的原创性和重要性是否清晰阐述?
- 文献: 是否适当引用了相关前期研究?
- 目标: 研究目标或假设是否明确陈述?
方法
- 可重复性: 其他研究人员是否能从描述中复制研究?
- 严谨性: 方法是否适合解决研究问题?
- 细节: 协议、试剂、设备和参数是否充分描述?
- 伦理: 伦理批准、同意和数据处理是否妥善记录?
- 统计: 统计方法是否适当、清晰描述和论证?
- 验证: 控制、重复和验证方法是否充分?
需要验证的关键元素:
- 样本量和功效计算
- 随机化和盲法程序
- 纳入/排除标准
- 数据收集协议
- 计算方法和软件版本
- 统计测试和多重比较校正
结果
- 呈现: 结果是否逻辑清晰且呈现清楚?
- 图表: 可视化是否适当、清晰且正确标记?
- 统计: 统计结果是否正确报告(效应大小、置信区间、p值)?
- 客观性: 结果是否避免过度解释?
- 完整性: 是否包含所有相关结果,包括阴性结果?
- 可重复性: 是否提供原始数据或汇总统计?
需要识别的常见问题:
- 选择性报告结果
- 不适当的统计测试
- 缺失误差棒或变异性度量
- 过拟合或循环分析
- 批次效应或混淆变量
- 缺失控制或验证实验
讨论
- 解释: 结论是否得到数据支持?
- 局限性: 是否承认和讨论研究局限性?
- 背景: 发现是否在现有文献中适当放置?
- 推测: 推测是否与数据支持的结论明确区分?
- 重要性: 影响和重要性是否清晰阐述?
- 未来方向: 是否讨论后续步骤或未解答的问题?
警告信号:
- 过度陈述结论
- 忽视矛盾证据
- 从相关性数据做出因果声称
- 对局限性的讨论不足
- 没有机制证据的机制声称
参考文献
- 完整性: 是否引用了关键相关论文?
- 时效性: 是否包括近期重要研究?
- 平衡性: 是否适当引用相反观点?
- 准确性: 引用是否准确和适当?
- 自引用: 是否存在过度或不适当的自引用?
阶段3:方法论和统计严谨性
评估研究的技术质量和严谨性,特别注意常见陷阱。
统计评估:
- 统计假设是否满足(正态性、独立性、同方差性)?
- 是否报告效应大小和p值?
- 多重测试校正是否适当应用?
- 是否提供置信区间?
- 样本量是否通过功效分析论证?
- 参数与非参数测试选择是否适当?
- 缺失数据处理是否正确?
- 探索性与确认性分析是否区分?
实验设计:
- 控制是否适当和充分?
- 重复是否足够(生物和技术的)?
- 是否识别和控制潜在混淆变量?
- 随机化是否正确实施?
- 盲法程序是否充分?
- 实验设计是否针对研究问题最优?
计算/生物信息学:
- 计算方法是否清晰描述和论证?
- 软件版本和参数是否记录?
- 代码是否提供以支持可重复性?
- 算法和模型是否适当验证?
- 计算方法假设是否满足?
- 批次校正是否适当应用?
阶段4:可重复性和透明度
评估研究是否符合现代可重复性和开放科学标准。
数据可用性:
- 原始数据是否存入适当存储库?
- 是否提供公共数据库的访问号?
- 数据共享限制是否论证(如患者隐私)?
- 数据格式是否标准且可访问?
代码和材料:
- 分析代码是否可用(GitHub、Zenodo等)?
- 独特材料是否可用或充分描述以支持重建?
- 协议是否足够详细?
报告标准:
- 手稿是否遵循学科特定报告指南(CONSORT、PRISMA、ARRIVE、MIAME、MINSEQE等)?
- 参见
references/reporting_standards.md获取常见指南 - 适当清单的所有元素是否解决?
阶段5:图表和数据呈现
评估数据可视化的质量、清晰度和完整性。
质量检查:
- 图表是否高分辨率且清晰标记?
- 坐标轴是否正确标记单位?
- 误差棒是否定义(标准差、标准误差、置信区间)?
- 统计显著性指标是否解释?
- 配色方案是否适当且可访问(色盲友好)?
- 图像是否包括比例尺?
- 数据可视化是否适合数据类型?
完整性检查:
- 是否有图像操纵迹象(重复、拼接)?
- Western印迹和凝胶是否适当呈现?
- 代表性图像是否真正代表?
- 是否显示所有条件(无选择性呈现)?
清晰度:
- 图表是否能用其图例独立理解?
- 每个图表的信息是否立即清晰?
- 是否有冗余图表或面板?
- 数据是否更适合以表格或图表呈现?
阶段6:伦理考量
验证研究是否符合伦理标准和指南。
人类受试者:
- IRB/伦理批准是否记录?
- 知情同意是否描述?
- 弱势群体是否适当保护?
- 患者隐私是否充分保护?
- 潜在利益冲突是否披露?
动物研究:
- IACUC或等效批准是否记录?
- 程序是否人道且论证?
- 是否考虑3R原则(替代、减少、精炼)?
- 安乐死方法是否适当?
研究完整性:
- 是否有数据伪造或篡改的担忧?
- 作者身份是否适当和论证?
- 竞争利益是否披露?
- 资金来源是否披露?
- 是否有抄袭或重复发表的担忧?
阶段7:写作质量和清晰度
评估手稿的清晰度、组织和可访问性。
结构和组织:
- 手稿是否逻辑组织?
- 各章节是否连贯流畅?
- 想法之间的过渡是否清晰?
- 叙述是否引人入胜且清晰?
写作质量:
- 语言是否清晰、精确和简洁?
- 行话和缩写是否最小化并定义?
- 语法和拼写是否正确?
- 句子是否不必要地复杂?
- 被动语态是否过度使用?
可访问性:
- 非专家是否能理解主要发现?
- 技术术语是否解释?
- 重要性是否对广泛受众清晰?
构建同行评审报告
组织反馈,采用分层结构优先处理问题并提供可操作指导。
摘要声明
提供简洁的整体评估(1-2段):
- 研究的简要概要
- 整体建议(接受、小修、大修、拒绝)
- 关键优点(2-3要点)
- 关键缺点(2-3要点)
- 重要性和合理性的底线评估
主要评论
列出显著影响手稿有效性、可解释性或重要性的关键问题。按顺序编号以便参考。
主要评论通常包括:
- 根本方法论缺陷
- 不适当的统计分析
- 未支持或过度陈述的结论
- 缺失关键控制或实验
- 严重可重复性问题
- 文献覆盖的显著差距
- 伦理担忧
对每个主要评论:
- 明确说明问题
- 解释为何有问题
- 建议具体解决方案或附加实验
- 指示是否对发表至关重要
次要评论
列出不太关键的问题,可以改善清晰度、完整性或呈现。按顺序编号。
次要评论通常包括:
- 不清楚的图表标签或图例
- 缺失的方法细节
- 拼写或语法错误
- 改进数据呈现的建议
- 次要统计报告问题
- 加强结论的补充分析
- 请求澄清
对每个次要评论:
- 识别具体位置(章节、段落、图表)
- 明确说明问题
- 建议如何解决
具体逐行评论(可选)
对于需要详细反馈的手稿,提供特定章节或逐行评论:
- 参考特定页/行号或章节
- 注明事实错误、不清楚的陈述或缺失引用
- 建议清晰度的具体编辑
作者问题
列出需要澄清的具体问题:
- 不清楚的方法细节
- 看似矛盾的结果
- 评估工作所需的缺失信息
- 请求附加数据或分析
语气和方法
在整个评审中保持建设性、专业和合作语气。
最佳实践:
- 建设性: 将批评框定为改进机会
- 具体性: 提供具体示例和可操作建议
- 平衡性: 承认优点和缺点
- 尊重性: 记住作者投入了大量努力
- 客观性: 专注于科学,而非科学家
- 全面性: 不忽视问题,但适当优先处理
- 清晰性: 避免模糊或含糊的批评
避免:
- 个人攻击或轻蔑语言
- 讽刺或居高临下
- 没有具体示例的模糊批评
- 请求超出范围的不必要实验
- 要求遵守个人偏好而非最佳实践
- 在双盲评审中透露身份
按手稿类型的特别考虑
原创研究文章
- 强调严谨性、可重复性和新颖性
- 评估重要性和影响
- 验证结论是否数据驱动
- 检查完整方法和适当控制
综述和荟萃分析
- 评估文献覆盖的全面性
- 评估搜索策略和纳入/排除标准
- 验证系统方法且无偏倚
- 检查批判性分析而非仅仅总结
- 对于荟萃分析,评估统计方法和异质性
方法论文
- 强调验证和与现有方法比较
- 评估可重复性和协议/代码可用性
- 评估对现有方法的改进
- 检查实施细节是否充分
简短报告/信函
- 适应简洁性期望
- 确保核心发现仍严谨且重要
- 验证格式是否适合发现
预印本
- 认识到这些尚未经过正式同行评审
- 可能不如期刊提交的完善
- 仍应用科学有效性的严谨标准
- 考虑提供建设性反馈以帮助作者在期刊提交前改进
资源
此技能包括支持全面同行评审的参考资料:
references/reporting_standards.md
主要学科报告标准指南(CONSORT、PRISMA、ARRIVE、MIAME、STROBE等),用于评估方法和结果报告的完整性。
references/common_issues.md
同行评审中常见的方法论和统计问题目录,带有识别和解决指南。
最终清单
在最终化评审前,验证:
- [ ] 摘要声明清晰传达整体评估
- [ ] 主要担忧明确识别和论证
- [ ] 建议修订具体且可操作
- [ ] 次要问题已注意但正确分类
- [ ] 统计方法已评估
- [ ] 可重复性和数据可用性已评估
- [ ] 伦理考量已验证
- [ ] 图表和表格已评估质量和完整性
- [ ] 写作质量已评估
- [ ] 语气在整个过程中建设性且专业
- [ ] 评审全面但与手稿范围相称
- [ ] 建议与识别问题一致