name: 同行评审 description: “系统化同行评审工具包。评估方法论、统计、设计、可重复性、伦理、图形完整性、报告标准,适用于跨学科的手稿和资助申请评审。” allowed-tools: [Read, Write, Edit, Bash]
科学批判性评估与同行评审
概述
同行评审是一个系统化评估科学手稿的过程。评估方法论、统计、设计、可重复性、伦理和报告标准。将此技能应用于跨学科的手稿和资助申请评审,提供建设性、严格的评估。
何时使用此技能
此技能应在以下情况下使用:
- 为期刊进行科学手稿的同行评审
- 评估资助提案和研究申请
- 评估方法论和实验设计的严谨性
- 审查统计分析和报告标准
- 评估可重复性和数据可用性
- 检查是否符合报告指南(如 CONSORT、STROBE、PRISMA)
- 提供关于科学写作的建设性反馈
相关资源: venue-templates 技能提供 reviewer_expectations.md,包含不同场所(如 Nature/Science、Cell Press、医学期刊、ML 会议)评审者期望的详细指南。使用此资源来校准您的评审标准以适应目标场所。
使用科学示意图增强视觉效果
使用此技能创建文档时,始终考虑添加科学图表和示意图以增强视觉传达。
如果您的文档尚未包含示意图或图表:
- 使用 scientific-schematics 技能生成 AI 驱动的出版物质量图表
- 只需用自然语言描述您想要的图表
- Nano Banana Pro 将自动生成、审查并优化示意图
对于新文档: 默认应生成科学示意图,以可视化表示文本中描述的关键概念、工作流、架构或关系。
如何生成示意图:
python scripts/generate_schematic.py "您的图表描述" -o figures/output.png
AI 将自动:
- 创建具有适当格式的出版物质量图像
- 通过多次迭代审查和优化
- 确保可访问性(色盲友好、高对比度)
- 将输出保存在 figures/ 目录中
何时添加示意图:
- 同行评审工作流程图
- 评估标准决策树
- 评审过程流程图
- 方法论评估框架
- 质量评估可视化
- 报告指南符合性图表
- 任何受益于可视化的复杂概念
有关创建示意图的详细指南,请参阅 scientific-schematics 技能文档。
同行评审工作流程
通过以下阶段系统化进行同行评审,根据手稿类型和学科调整深度和重点。
阶段 1:初步评估
从高层次评估开始,确定手稿的范围、新颖性和整体质量。
关键问题:
- 核心研究问题或假设是什么?
- 主要发现和结论是什么?
- 工作是否科学合理且重要?
- 工作是否适合目标场所?
- 是否存在任何立即的主要缺陷会妨碍发表?
输出: 简要摘要(2-3 句),捕捉手稿的本质和初步印象。
阶段 2:详细分节评审
对手稿的每个部分进行彻底评估,记录具体问题和优点。
摘要和标题
- 准确性: 摘要是否准确反映研究内容和结论?
- 清晰度: 标题是否具体、准确且信息丰富?
- 完整性: 关键发现和方法是否适当总结?
- 可访问性: 摘要是否对广泛科学受众可理解?
引言
- 背景: 背景信息是否充分且最新?
- 理由: 研究问题是否清晰动机并合理?
- 新颖性: 工作的原创性和重要性是否清晰阐述?
- 文献: 是否适当引用相关先前研究?
- 目标: 研究目的/假设是否清晰陈述?
方法
- 可重复性: 其他研究者能否根据提供的描述复制研究?
- 严谨性: 方法是否适合解决研究问题?
- 细节: 协议、试剂、设备和参数是否充分描述?
- 伦理: 伦理批准、同意和数据处理是否适当记录?
- 统计: 统计方法是否适当、清晰描述并合理?
- 验证: 控制、重复和验证方法是否充分?
需要验证的关键元素:
- 样本大小和功效计算
- 随机化和盲法程序
- 纳入/排除标准
- 数据收集协议
- 计算方法和软件版本
- 统计测试和多重比较校正
结果
- 呈现: 结果是否逻辑清晰呈现?
- 图表: 可视化是否适当、清晰且正确标注?
- 统计: 统计结果是否适当报告(效应大小、置信区间、p 值)?
- 客观性: 结果是否无过度解释呈现?
- 完整性: 是否包含所有相关结果,包括阴性结果?
- 可重复性: 是否提供原始数据或汇总统计?
常见问题识别:
- 结果的选择性报告
- 不适当的统计测试
- 缺失误差条或变异性度量
- 过拟合或循环分析
- 批次效应或混淆变量
- 缺失控制或验证实验
讨论
- 解释: 结论是否由数据支持?
- 局限性: 研究局限性是否承认并讨论?
- 背景: 发现是否适当置于现有文献中?
- 推测: 推测是否与数据支持的结论清晰区分?
- 重要性: 影响和重要性是否清晰阐述?
- 未来方向: 是否讨论后续步骤或未解问题?
红旗警告:
- 过度陈述结论
- 忽视矛盾证据
- 从相关数据中提出因果声称
- 局限性讨论不足
- 无机制证据的机制声称
参考文献
- 完整性: 是否引用关键相关论文?
- 时效性: 是否包括近期重要研究?
- 平衡性: 是否适当引用对立观点?
- 准确性: 引用是否准确且适当?
- 自引: 是否存在过度或不适当的自引?
阶段 3:方法论和统计严谨性
评估研究的技术质量和严谨性,特别关注常见陷阱。
统计评估:
- 统计假设是否满足(正态性、独立性、同方差性)?
- 是否报告效应大小以及 p 值?
- 多测试校正是否适当应用?
- 是否提供置信区间?
- 样本大小是否通过功效分析合理?
- 参数与非参数测试选择是否适当?
- 缺失数据是否正确处理?
- 探索性与验证性分析是否区分?
实验设计:
- 控制是否适当且充分?
- 重复是否充分(生物和技术)?
- 潜在混淆因素是否识别并控制?
- 随机化是否适当实施?
- 盲法程序是否充分?
- 实验设计是否针对研究问题优化?
计算/生物信息学:
- 计算方法是否清晰描述并合理?
- 软件版本和参数是否记录?
- 代码是否提供以实现可重复性?
- 算法和模型是否适当验证?
- 计算方法假设是否满足?
- 批次校正是否适当应用?
阶段 4:可重复性和透明度
评估研究是否符合现代可重复性和开放科学标准。
数据可用性:
- 原始数据是否沉积在适当存储库?
- 是否为公共数据库提供访问号?
- 数据共享限制是否合理(如患者隐私)?
- 数据格式是否标准且可访问?
代码和材料:
- 分析代码是否可用(如 GitHub、Zenodo 等)?
- 独特材料是否可用或描述足够详细以重建?
- 协议是否详细描述深度?
报告标准:
- 手稿是否遵循学科特定报告指南(如 CONSORT、PRISMA、ARRIVE、MIAME、MINSEQE 等)?
- 参见
references/reporting_standards.md获取常见指南 - 是否解决适当清单的所有元素?
阶段 5:图表和数据呈现
评估数据可视化的质量、清晰度和完整性。
质量检查:
- 图表是否高分辨率且清晰标注?
- 坐标轴是否正确标注并带单位?
- 误差条是否定义(SD、SEM、CI)?
- 统计显著性指标是否解释?
- 配色方案是否适当且可访问(色盲友好)?
- 图像是否包括比例尺?
- 数据可视化是否适合数据类型?
完整性检查:
- 是否有图像操纵迹象(重复、拼接)?
- Western 印迹和凝胶是否适当呈现?
- 代表性图像是否真正具有代表性?
- 是否显示所有条件(无选择性呈现)?
清晰度:
- 图表是否可通过图注独立理解?
- 每个图表的信息是否立即清晰?
- 是否有冗余图表或面板?
- 数据是否更适合以表格或图表呈现?
阶段 6:伦理考虑
验证研究是否符合伦理标准和指南。
人类受试者:
- 是否记录 IRB/伦理批准?
- 是否描述知情同意?
- 弱势群体是否适当保护?
- 患者隐私是否充分保护?
- 是否披露潜在利益冲突?
动物研究:
- 是否记录 IACUC 或等效批准?
- 程序是否人道且合理?
- 是否考虑 3Rs(替代、减少、优化)?
- 安乐死方法是否适当?
研究诚信:
- 是否存在数据伪造或篡改担忧?
- 作者身份是否适当且合理?
- 是否披露竞争利益?
- 是否披露资金来源?
- 是否存在剽窃或重复发表担忧?
阶段 7:写作质量和清晰度
评估手稿的清晰度、组织性和可访问性。
结构和组织:
- 手稿是否逻辑组织?
- 各部分是否连贯流畅?
- 思想间过渡是否清晰?
- 叙述是否引人入胜且清晰?
写作质量:
- 语言是否清晰、精确且简洁?
- 行话和缩写是否最小化并定义?
- 语法和拼写是否正确?
- 句子是否不必要复杂?
- 被动语态是否过度使用?
可访问性:
- 非专家是否能理解主要发现?
- 技术术语是否解释?
- 对广泛受众来说,重要性是否清晰?
构建同行评审报告
以分层结构组织反馈,优先问题并提供可操作指导。
摘要声明
提供简洁整体评估(1-2 段):
- 研究简要概要
- 整体推荐(接受、小修、大修、拒绝)
- 关键优点(2-3 个要点)
- 关键缺点(2-3 个要点)
- 重要性和合理性的底线评估
主要评论
列出严重影响手稿有效性、可解释性或重要性的关键问题。按顺序编号以便参考。
主要评论通常包括:
- 基本方法论缺陷
- 不适当的统计分析
- 无支持或过度陈述的结论
- 缺失关键控制或实验
- 严重可重复性担忧
- 文献覆盖的主要空白
- 伦理担忧
对于每个主要评论:
- 清晰陈述问题
- 解释为何有问题
- 建议具体解决方案或额外实验
- 指示解决是否对发表至关重要
次要评论
列出不太关键的问题,可提高清晰度、完整性或呈现。按顺序编号。
次要评论通常包括:
- 不清晰的图表标签或图注
- 缺失方法论细节
- 印刷或语法错误
- 改进数据呈现的建议
- 次要统计报告问题
- 加强结论的补充分析
- 澄清请求
对于每个次要评论:
- 识别具体位置(节、段、图表)
- 清晰陈述问题
- 建议如何解决
具体逐行评论(可选)
对于需要详细反馈的手稿,提供分节或逐行评论:
- 引用具体页面/行号或节
- 指出事实错误、不清晰陈述或缺失引用
- 建议具体编辑以提高清晰度
给作者的问题
列出需要澄清的具体问题:
- 不清晰的方法论细节
- 看似矛盾的结果
- 评估工作所需的缺失信息
- 请求额外数据或分析
语气和方法
在整个评审中保持建设性、专业和合作性语气。
最佳实践:
- 建设性: 将批评构建为改进机会
- 具体: 提供具体例子和可操作建议
- 平衡: 承认优点以及缺点
- 尊重: 记住作者投入了大量努力
- 客观: 专注于科学,而非科学家
- 彻底: 不忽视问题,但适当优先处理
- 清晰: 避免模糊或含糊批评
避免:
- 人身攻击或轻蔑语言
- 讽刺或傲慢
- 无具体例子的模糊批评
- 请求超出范围的不必要实验
- 要求遵循个人偏好而非最佳实践
- 如果评审是双盲,透露您的身份
按手稿类型的特殊考虑
原创研究文章
- 强调严谨性、可重复性和新颖性
- 评估重要性和影响
- 验证结论是否基于数据驱动
- 检查完整方法和适当控制
综述和荟萃分析
- 评估文献覆盖的全面性
- 评估搜索策略和纳入/排除标准
- 验证系统化方法且无偏倚
- 检查批判性分析而非仅总结
- 对于荟萃分析,评估统计方法和异质性
方法论文
- 强调验证和与现有方法的比较
- 评估可重复性和协议/代码可用性
- 评估对现有方法的改进
- 检查实现足够细节
短报告/信件
- 适应简洁期望
- 确保核心发现仍严谨且重要
- 验证格式适合发现
预印本
- 认识到这些尚未经过正式同行评审
- 可能不如期刊投稿精炼
- 仍应用科学有效性的严格标准
- 考虑提供建设性反馈以帮助作者在投稿前改进
演示文稿和幻灯片
⚠️ 关键:对于演示文稿,切勿直接读取 PDF。始终先转换为图像。
评审科学演示文稿(PowerPoint、Beamer、幻灯片)时:
强制性基于图像的评审工作流程
切勿尝试直接读取演示文稿 PDF - 这会导致缓冲区溢出错误,且不显示视觉格式问题。
必需过程:
- 使用 Python 将 PDF 转换为图像:
python skills/scientific-slides/scripts/pdf_to_images.py presentation.pdf review/slide --dpi 150 # 创建:review/slide-001.jpg、review/slide-002.jpg 等 - 顺序读取和检查每张幻灯片图像文件
- 记录具体幻灯片编号的问题
- 提供视觉格式和内容反馈
开始评审时打印:
[HH:MM:SS] 同行评审:检测到演示文稿 - 转换为图像进行评审
[HH:MM:SS] PDF 评审:切勿直接读取 PDF - 使用基于图像的检查
演示文稿特定评估标准
视觉设计和可读性:
- [ ] 文本足够大(最小 18 点,理想情况 24 点以上作为正文)
- [ ] 文本和背景之间高对比度(最小 4.5:1,优选 7:1)
- [ ] 配色方案专业且色盲可访问
- [ ] 所有幻灯片视觉设计一致
- [ ] 空白足够(不拥挤)
- [ ] 字体清晰且专业
布局和格式(检查每张幻灯片图像):
- [ ] 无文本溢出或幻灯片边缘截断
- [ ] 无元素重叠(文本在图像上、形状重叠)
- [ ] 标题位置一致
- [ ] 内容适当对齐
- [ ] 项目符号和文本未被切断
- [ ] 图表适合幻灯片边界内
- [ ] 标题和标签可见且可读
内容质量:
- [ ] 每张幻灯片一个主要思想(不过载)
- [ ] 最小文本(每张幻灯片最多 3-6 个项目符号)
- [ ] 项目符号简洁(每个 5-7 词)
- [ ] 图表简化且清晰(非从论文中复制粘贴)
- [ ] 数据可视化有大、可读标签
- [ ] 引用存在且适当格式化
- [ ] 结果/数据幻灯片主导演示(占内容的 40-50%)
结构和流程:
- [ ] 清晰叙述弧(引言 → 方法 → 结果 → 讨论)
- [ ] 幻灯片间逻辑进展
- [ ] 幻灯片数量适合演讲时长(约每张幻灯片 1 分钟)
- [ ] 标题幻灯片包括作者、隶属机构、日期
- [ ] 引言引用相关背景文献(3-5 篇论文)
- [ ] 讨论引用比较论文(3-5 篇论文)
- [ ] 结论幻灯片总结关键发现
- [ ] 致谢/资助幻灯片在结尾
科学内容:
- [ ] 研究问题清晰陈述
- [ ] 方法充分总结(不过度细节)
- [ ] 结果逻辑呈现,带有清晰可视化
- [ ] 统计显著性适当指示
- [ ] 结论由所示数据支持
- [ ] 局限性适当承认
- [ ] 未来方向或更广泛影响讨论
常见演示文稿问题标记:
关键问题(必须修复):
- 文本溢出导致内容不可读
- 字体大小过小(<18 点)
- 元素重叠遮挡数据
- 对比度不足(文本难以阅读)
- 图表过复杂或无法辨认
- 无引用(完全无支持声称)
- 幻灯片数量与时长严重不匹配
主要问题(应该修复):
- 幻灯片间设计不一致
- 文本过多(文本墙,非项目符号)
- 图表简化差(轴标签过小)
- 布局拥挤,空白不足
- 缺失关键结构元素(无结论幻灯片)
- 颜色选择差(非色盲安全)
- 结果内容最少(<30% 的幻灯片)
次要问题(改进建议):
- 可使用更多视觉/图表
- 某些幻灯片略文本过多
- 轻微对齐不一致
- 可受益于更多空白
- 额外引用会加强声称
- 配色方案可更现代
演示文稿评审报告格式
摘要声明:
- 演示文稿质量的整体印象
- 对目标受众和时长的适当性
- 关键优点(视觉设计、内容、清晰度)
- 关键缺点(格式问题、内容空白)
- 推荐(准备演示、小修、大修)
布局和格式问题(按幻灯片编号):
幻灯片 3:文本溢出 - 项目符号 4 延伸超出右边缘
幻灯片 7:元素重叠 - 图表与标题文本重叠
幻灯片 12:字体大小 - 轴标签过小,无法从远处阅读
幻灯片 18:对齐 - 标题未居中
内容和结构反馈:
- 背景上下文和引用的充分性
- 研究问题和目标的清晰度
- 方法摘要的质量
- 结果呈现的有效性
- 结论和影响的强度
设计和可访问性:
- 整体视觉吸引力和专业性
- 颜色对比度和可读性
- 色盲可访问性
- 幻灯片间一致性
时长和范围:
- 幻灯片数量是否匹配预期时长
- 适合演讲类型的细节水平
- 各部分平衡
基于图像的评审过程示例
[14:30:00] 同行评审:开始评审演示文稿
[14:30:05] 同行评审:检测到演示文稿 - 转换为图像
[14:30:10] PDF 评审:运行 pdf_to_images.py 于 presentation.pdf
[14:30:15] PDF 评审:将 25 张幻灯片转换为图像到 review/ 目录
[14:30:20] PDF 评审:检查幻灯片 1/25 - 标题幻灯片
[14:30:25] PDF 评审:检查幻灯片 2/25 - 引言
...
[14:35:40] PDF 评审:检查幻灯片 25/25 - 致谢
[14:35:45] PDF 评审:完成基于图像的评审
[14:35:50] 同行评审:发现 8 个布局问题、3 个内容问题
[14:35:55] 同行评审:按幻灯片编号生成结构化反馈
记住: 对于演示文稿,通过图像进行视觉检查是强制性的。切勿尝试将演示文稿 PDF 作为文本读取 - 这会失败并错过所有视觉格式问题。
资源
此技能包括参考资料以支持全面同行评审:
references/reporting_standards.md
跨学科主要报告标准指南(如 CONSORT、PRISMA、ARRIVE、MIAME、STROBE 等),以评估方法和结果报告的完整性。
references/common_issues.md
同行评审中常见方法论和统计问题目录,提供识别和解决指南。
最终检查清单
在最终确定评审前,验证:
- [ ] 摘要声明清晰传达整体评估
- [ ] 主要担忧清晰识别并合理
- [ ] 建议修订具体且可操作
- [ ] 次要问题记录但适当分类
- [ ] 统计方法已评估
- [ ] 可重复性和数据可用性评估
- [ ] 伦理考虑验证
- [ ] 图表和表格质量与完整性评估
- [ ] 写作质量评估
- [ ] 语气始终建设性和专业
- [ ] 评审彻底但符合手稿范围
- [ ] 推荐与识别问题一致