同行评审系统工具包Skill peer-review

这是一个系统化的同行评审工具包,用于评估科学手稿和资助申请的方法论、统计、设计、可重复性、伦理、图表完整性、报告标准等,支持跨学科评审,提高评审质量和效率。关键词:同行评审、科学评估、方法论、统计、可重复性、伦理、报告标准、学术评审。

同行评审 0 次安装 2 次浏览 更新于 3/22/2026

名称: 同行评审 描述: “系统化同行评审工具包。评估方法论、统计、设计、可重复性、伦理、图表完整性、报告标准,用于跨学科的手稿和资助评审。” 允许工具: [阅读, 编写, 编辑, Bash]

科学关键评估与同行评审

概述

同行评审是评估科学手稿的系统化过程。评估方法论、统计、设计、可重复性、伦理和报告标准。将此技能应用于跨学科的手稿和资助评审,提供建设性、严格的评估。

何时使用此技能

此技能应在以下情况使用:

  • 为期刊进行科学手稿的同行评审
  • 评估资助提案和研究申请
  • 评估方法论和实验设计的严谨性
  • 评审统计分析和报告标准
  • 评估可重复性和数据可用性
  • 检查合规性(CONSORT、STROBE、PRISMA等报告指南)
  • 提供科学写作的建设性反馈

相关资源: venue-templates 技能提供 reviewer_expectations.md,包含不同场所(如Nature/Science、Cell Press、医学期刊、ML会议)的评审期望详细指导。使用此资源校准评审标准以匹配目标场所。

使用科学示意图增强视觉传达

使用此技能创建文档时,始终考虑添加科学图表和示意图以增强视觉沟通。

如果您的文档尚未包含示意图或图表:

  • 使用 scientific-schematics 技能生成AI驱动的出版质量图表
  • 只需用自然语言描述您想要的图表
  • Nano Banana Pro将自动生成、评审和优化示意图

对于新文档: 默认应生成科学示意图,以可视化表示文本中描述的关键概念、工作流、架构或关系。

如何生成示意图:

python scripts/generate_schematic.py "您的图表描述" -o figures/output.png

AI将自动:

  • 创建具有适当格式的出版质量图像
  • 通过多次迭代评审和优化
  • 确保可访问性(色盲友好、高对比度)
  • 将输出保存在 figures/ 目录中

何时添加示意图:

  • 同行评审工作流程图
  • 评估标准决策树
  • 评审过程流程图
  • 方法论评估框架
  • 质量评估可视化
  • 报告指南合规图
  • 任何受益于可视化的复杂概念

有关创建示意图的详细指导,请参考 scientific-schematics 技能文档。


同行评审工作流

通过以下阶段系统化进行同行评审,根据手稿类型和学科调整深度和焦点。

阶段1:初步评估

从高层次评估开始,确定手稿的范围、新颖性和总体质量。

关键问题:

  • 核心研究问题或假设是什么?
  • 主要发现和结论是什么?
  • 工作是否科学可靠且重要?
  • 工作是否适合目标场所?
  • 是否有任何立即的主要缺陷会阻止发表?

输出: 简要摘要(2-3句话),捕捉手稿的本质和初步印象。

阶段2:详细分部分评审

对手稿的每个部分进行彻底评估,记录具体问题和优势。

摘要和标题

  • 准确性: 摘要是否准确反映研究内容和结论?
  • 清晰性: 标题是否具体、准确且信息丰富?
  • 完整性: 关键发现和方法是否适当总结?
  • 可访问性: 摘要是否易于广泛科学受众理解?

引言

  • 背景: 背景信息是否充分且最新?
  • 合理性: 研究问题是否清晰动机和理由?
  • 新颖性: 工作的原创性和重要性是否清晰表述?
  • 文献: 相关先前研究是否适当引用?
  • 目标: 研究目标/假设是否清晰陈述?

方法

  • 可重复性: 其他研究者是否可以根据描述重复研究?
  • 严谨性: 方法是否适合解决研究问题?
  • 细节: 协议、试剂、设备和参数是否充分描述?
  • 伦理: 伦理批准、同意和数据处理是否适当记录?
  • 统计: 统计方法是否适当、清晰描述和合理?
  • 验证: 控制、重复和验证方法是否充分?

关键要素验证:

  • 样本量和功效计算
  • 随机化和盲法程序
  • 纳入/排除标准
  • 数据收集协议
  • 计算方法和软件版本
  • 统计测试和多重比较校正

结果

  • 呈现: 结果是否逻辑清晰呈现?
  • 图表/表格: 可视化是否适当、清晰且适当标签?
  • 统计: 统计结果是否适当报告(效应大小、置信区间、p值)?
  • 客观性: 结果是否无过度解释呈现?
  • 完整性: 是否包括所有相关结果,包括阴性结果?
  • 可重复性: 是否提供原始数据或汇总统计?

常见问题识别:

  • 选择性报告结果
  • 不适当的统计测试
  • 缺失误差条或变异性度量
  • 过拟合或循环分析
  • 批次效应或混杂变量
  • 缺失控制或验证实验

讨论

  • 解释: 结论是否由数据支持?
  • 局限性: 研究局限性是否承认和讨论?
  • 背景: 发现是否适当置于现有文献中?
  • 推测: 推测是否与数据支持的结论明确区分?
  • 重要性: 意义和重要性是否清晰表述?
  • 未来方向: 是否讨论下一步或未解决问题?

红旗标志:

  • 过度陈述结论
  • 忽略矛盾证据
  • 从相关数据得出因果主张
  • 局限性讨论不足
  • 无机制证据的机制主张

参考文献

  • 完整性: 是否引用关键相关论文?
  • 时效性: 是否包括近期重要研究?
  • 平衡性: 是否适当引用相反观点?
  • 准确性: 引用是否准确且适当?
  • 自引用: 是否有过度或不适当的自引用?

阶段3:方法论和统计严谨性

评估研究的技术质量和严谨性,特别关注常见陷阱。

统计评估:

  • 是否满足统计假设(正态性、独立性、同方差性)?
  • 是否报告效应大小与p值一起?
  • 多重测试校正是否适当应用?
  • 是否提供置信区间?
  • 样本量是否通过功效分析合理?
  • 参数与非参数测试选择是否适当?
  • 缺失数据是否适当处理?
  • 探索性与验证性分析是否区分?

实验设计:

  • 控制是否适当且充分?
  • 重复是否充分(生物学和技术)?
  • 是否识别和控制潜在混杂因素?
  • 随机化是否适当实施?
  • 盲法程序是否充分?
  • 实验设计是否最适合研究问题?

计算/生物信息学:

  • 计算方法是否清晰描述和合理?
  • 软件版本和参数是否记录?
  • 是否提供代码以支持可重复性?
  • 算法和模型是否适当验证?
  • 计算方法假设是否满足?
  • 批次校正是否适当应用?

阶段4:可重复性和透明度

评估研究是否满足现代可重复性和开放科学标准。

数据可用性:

  • 原始数据是否存入适当存储库?
  • 是否提供公共数据库的访问号?
  • 数据共享限制是否合理(如患者隐私)?
  • 数据格式是否标准且可访问?

代码和材料:

  • 分析代码是否可用(如GitHub、Zenodo等)?
  • 独特材料是否可用或充分描述以重建?
  • 协议是否详细到足够深度?

报告标准:

  • 手稿是否遵循学科特定报告指南(如CONSORT、PRISMA、ARRIVE、MIAME、MINSEQE等)?
  • 参见 references/reporting_standards.md 获取常见指南
  • 是否解决适当清单的所有要素?

阶段5:图表和数据呈现

评估数据可视化的质量、清晰性和完整性。

质量检查:

  • 图表是否高分辨率且清晰标签?
  • 轴是否适当标签并有单位?
  • 误差条是否定义(SD、SEM、CI)?
  • 统计显著性指示器是否解释?
  • 配色方案是否适当且可访问(色盲友好)?
  • 图像是否包括比例尺?
  • 数据可视化是否适合数据类型?

完整性检查:

  • 是否有图像操纵迹象(重复、拼接)?
  • Western印迹和凝胶是否适当呈现?
  • 代表性图像是否真正代表性?
  • 是否显示所有条件(无选择性呈现)?

清晰性:

  • 图表能否仅靠图例独立理解?
  • 每个图表的含义是否立即清晰?
  • 是否有冗余图表或面板?
  • 数据是否更适合作表格或图表呈现?

阶段6:伦理考虑

验证研究是否符合伦理标准和指南。

人类受试者:

  • 是否记录IRB/伦理批准?
  • 是否描述知情同意?
  • 是否适当保护弱势群体?
  • 是否充分保护患者隐私?
  • 是否披露潜在利益冲突?

动物研究:

  • 是否记录IACUC或等效批准?
  • 程序是否人道且合理?
  • 是否考虑3R(替代、减少、优化)?
  • 安乐死方法是否适当?

研究诚信:

  • 是否有数据捏造或篡改的担忧?
  • 作者身份是否适当且合理?
  • 是否披露竞争利益?
  • 是否披露资金来源?
  • 是否有抄袭或重复发表的担忧?

阶段7:写作质量和清晰性

评估手稿的清晰性、组织和可访问性。

结构和组织:

  • 手稿是否逻辑组织?
  • 各部分是否连贯流动?
  • 想法之间的过渡是否清晰?
  • 叙述是否引人入胜且清晰?

写作质量:

  • 语言是否清晰、精确且简洁?
  • 是否最小化并定义行话和缩写?
  • 语法和拼写是否正确?
  • 句子是否不必要复杂?
  • 是否过度使用被动语态?

可访问性:

  • 非专家是否理解主要发现?
  • 技术术语是否解释?
  • 意义是否对广泛受众清晰?

结构化同行评审报告

以层次化结构组织反馈,优先处理问题并提供可操作指导。

总结陈述

提供简洁的总体评估(1-2段):

  • 研究的简要概要
  • 总体建议(接受、小修改、大修改、拒绝)
  • 关键优势(2-3点)
  • 关键弱点(2-3点)
  • 对重要性和可靠性的底线评估

主要评论

列出对手稿有效性、可解释性或重要性有显著影响的关键问题。按顺序编号以便参考。

主要评论通常包括:

  • 基本方法论缺陷
  • 不适当的统计分析
  • 不支持或过度陈述的结论
  • 缺失关键控制或实验
  • 严重的可重复性问题
  • 文献覆盖的主要空白
  • 伦理担忧

对于每个主要评论:

  1. 清晰陈述问题
  2. 解释为何有问题
  3. 建议具体解决方案或额外实验
  4. 指示是否解决是发表必需的

次要评论

列出影响较小的问题,以提高清晰性、完整性或呈现。按顺序编号。

次要评论通常包括:

  • 不清晰的图表标签或图例
  • 缺失方法论细节
  • 打字或语法错误
  • 改进数据呈现的建议
  • 次要统计报告问题
  • 加强结论的补充分析
  • 澄清请求

对于每个次要评论:

  1. 识别具体位置(部分、段落、图表)
  2. 清晰陈述问题
  3. 建议如何解决

特定逐行评论(可选)

对于需要详细反馈的手稿,提供部分特定或逐行评论:

  • 引用具体页面/行号或部分
  • 注明事实错误、模糊陈述或缺失引用
  • 建议具体编辑以提高清晰性

对作者的问题

列出需要澄清的具体问题:

  • 方法论细节不清晰
  • 看似矛盾的结果
  • 评估工作所需的缺失信息
  • 请求额外数据或分析

语气和方法

在整个评审过程中保持建设性、专业和协作的语气。

最佳实践:

  • 建设性: 将批评构建为改进机会
  • 具体: 提供具体例子和可操作建议
  • 平衡: 承认优势以及弱点
  • 尊重: 记住作者投入了大量努力
  • 客观: 专注于科学,而非科学家
  • 全面: 不要忽视问题,但适当优先处理
  • 清晰: 避免模糊或含糊的批评

避免:

  • 人身攻击或轻视语言
  • 讽刺或居高临下
  • 无具体例子的模糊批评
  • 请求超出范围的不必要实验
  • 要求遵守个人偏好而非最佳实践
  • 如果评审是双盲,透露身份

按手稿类型的特殊考虑

原创研究文章

  • 强调严谨性、可重复性和新颖性
  • 评估重要性和影响
  • 验证结论是否数据驱动
  • 检查完整方法和适当控制

综述和荟萃分析

  • 评估文献覆盖的全面性
  • 评估搜索策略和纳入/排除标准
  • 验证系统方法和无偏性
  • 检查批判性分析与仅总结
  • 对于荟萃分析,评估统计方法和异质性

方法论文

  • 强调验证以及与现有方法的比较
  • 评估可重复性和协议/代码可用性
  • 评估对现有方法的改进
  • 检查足够细节以实施

简短报告/信件

  • 适应简洁性期望
  • 确保核心发现仍然严谨且重要
  • 验证格式是否适合发现

预印本

  • 认识到这些尚未经过正式同行评审
  • 可能不如期刊提交那样精炼
  • 仍应用科学有效性的严格标准
  • 考虑在期刊提交前提供建设性反馈以帮助作者改进

演示和幻灯片

⚠️ 关键:对于演示,绝不直接读取PDF。始终先转换为图像。

评审科学演示(如PowerPoint、Beamer、幻灯片)时:

强制基于图像的评审工作流

绝不尝试直接读取演示PDF - 这会导致缓冲区溢出错误,并且不显示视觉格式化问题。

必要过程:

  1. 使用Python将PDF转换为图像:
    python skills/scientific-slides/scripts/pdf_to_images.py presentation.pdf review/slide --dpi 150
    # 创建:review/slide-001.jpg、review/slide-002.jpg 等
    
  2. 顺序读取和检查每张幻灯片图像文件
  3. 记录具体幻灯片号的问题
  4. 提供视觉格式化和内容的反馈

开始评审时打印:

[HH:MM:SS] 同行评审:检测到演示 - 转换为图像进行评审
[HH:MM:SS] PDF评审:绝不直接读取PDF - 使用基于图像的检查

演示特定评估标准

视觉设计和可读性:

  • [ ] 文本足够大(最小18点,理想24点以上用于正文)
  • [ ] 文本和背景之间有高对比度(最小4.5:1,优选7:1)
  • [ ] 配色方案专业且色盲可访问
  • [ ] 所有幻灯片视觉设计一致
  • [ ] 空白区域充足(不拥挤)
  • [ ] 字体清晰且专业

布局和格式化(检查每张幻灯片图像):

  • [ ] 无文本溢出或幻灯片边缘截断
  • [ ] 无元素重叠(文本覆盖图像、重叠形状)
  • [ ] 标题一致定位
  • [ ] 内容适当对齐
  • [ ] 项目符号和文本未被截断
  • [ ] 图表适合幻灯片边界
  • [ ] 标题和标签可见且可读

内容质量:

  • [ ] 每张幻灯片一个主要想法(不过载)
  • [ ] 文本最少化(每张幻灯片最大3-6个项目符号)
  • [ ] 项目符号简洁(每个5-7个单词)
  • [ ] 图表简化且清晰(非从论文复制粘贴)
  • [ ] 数据可视化有大、可读标签
  • [ ] 引用存在且适当格式化
  • [ ] 结果/数据幻灯片主导演示(内容占40-50%)

结构和流程:

  • [ ] 清晰叙述弧(引言→方法→结果→讨论)
  • [ ] 幻灯片之间逻辑进展
  • [ ] 幻灯片数量适合演示时长(约每分钟1张)
  • [ ] 标题幻灯片包括作者、单位、日期
  • [ ] 引言引用相关背景文献(3-5篇论文)
  • [ ] 讨论引用比较论文(3-5篇论文)
  • [ ] 结论幻灯片总结关键发现
  • [ ] 致谢/资助幻灯片在末尾

科学内容:

  • [ ] 研究问题清晰陈述
  • [ ] 方法适当总结(不过度细节)
  • [ ] 结果以清晰可视化逻辑呈现
  • [ ] 统计显著性适当指示
  • [ ] 结论由所示数据支持
  • [ ] 局限性适当承认
  • [ ] 讨论未来方向或更广泛影响

常见演示问题标记:

关键问题(必须修复):

  • 文本溢出导致内容不可读
  • 字体大小太小(<18点)
  • 元素重叠遮蔽数据
  • 对比度不足(文本难读)
  • 图表太复杂或不可读
  • 无引用(完全无支持主张)
  • 幻灯片数量与时长严重不匹配

主要问题(应该修复):

  • 幻灯片间设计不一致
  • 文本过多(文字墙,无项目符号)
  • 图表简化不良(轴标签太小)
  • 布局拥挤,空白不足
  • 缺失关键结构元素(无结论幻灯片)
  • 颜色选择差(非色盲安全)
  • 结果内容少(<30%的幻灯片)

次要问题(改进建议):

  • 可使用更多视觉/图表
  • 一些幻灯片略文本过多
  • 轻微对齐不一致
  • 可受益于更多空白
  • 额外引用会加强主张
  • 配色方案可更现代

演示评审报告格式

总结陈述:

  • 演示质量的总体印象
  • 适合目标受众和时长的程度
  • 关键优势(视觉设计、内容、清晰性)
  • 关键弱点(格式化问题、内容空白)
  • 建议(准备演示、小修改、大修改)

布局和格式化问题(按幻灯片号):

幻灯片3:文本溢出 - 项目符号4超出右边界
幻灯片7:元素重叠 - 图表与标题文本重叠
幻灯片12:字体大小 - 轴标签太小,无法从远处读取
幻灯片18:对齐 - 标题未居中

内容和结构反馈:

  • 背景上下文和引用的充分性
  • 研究问题和目标的清晰性
  • 方法摘要的质量
  • 结果呈现的有效性
  • 结论和意义的强度

设计和可访问性:

  • 总体视觉吸引力和专业性
  • 颜色对比度和可读性
  • 色盲可访问性
  • 幻灯片间一致性

时长和范围:

  • 幻灯片数量是否匹配预期时长
  • 适合演示类型的详细程度
  • 各部分之间的平衡

基于图像评审过程示例

[14:30:00] 同行评审:开始评审演示
[14:30:05] 同行评审:检测到演示 - 转换为图像
[14:30:10] PDF评审:在 presentation.pdf 上运行 pdf_to_images.py
[14:30:15] PDF评审:将25张幻灯片转换为图像到 review/ 目录
[14:30:20] PDF评审:检查幻灯片1/25 - 标题幻灯片
[14:30:25] PDF评审:检查幻灯片2/25 - 引言
...
[14:35:40] PDF评审:检查幻灯片25/25 - 致谢
[14:35:45] PDF评审:完成基于图像的评审
[14:35:50] 同行评审:发现8个布局问题,3个内容问题
[14:35:55] 同行评审:按幻灯片号生成结构化反馈

**记住:**对于演示,通过图像的视觉检查是强制的。绝不尝试将演示PDF作为文本读取 - 这将失败并错过所有视觉格式化问题。

资源

此技能包括参考资料以支持全面同行评审:

references/reporting_standards.md

跨学科主要报告标准指南(如CONSORT、PRISMA、ARRIVE、MIAME、STROBE等),以评估方法和结果报告的完整性。

references/common_issues.md

同行评审中常见的方法论和统计问题目录,提供识别和解决指导。

最终清单

最终确定评审前,验证:

  • [ ] 总结陈述清晰传达总体评估
  • [ ] 主要担忧清晰识别和合理
  • [ ] 建议修改具体且可操作
  • [ ] 次要问题注意但适当分类
  • [ ] 统计方法已评估
  • [ ] 可重复性和数据可用性评估
  • [ ] 伦理考虑验证
  • [ ] 图表和表格质量与完整性评估
  • [ ] 写作质量评估
  • [ ] 语气在整个过程中建设性和专业
  • [ ] 评审全面但与手稿范围成比例
  • [ ] 建议与识别问题一致