学术评估

概述

应用ScholarEval框架系统评估学术和研究工作。这个技能提供基于同行评审研究评估标准的结构化评估方法，能够全面分析学术论文、研究提案、文献综述和学术写作，覆盖多个质量维度。

何时使用这个技能

在以下情况下使用这个技能：

评估研究论文的质量和严谨性
评估文献综述的全面性和质量
审查研究方法设计
评分数据分析方法
评估学术写作和呈现
提供对学术工作的结构化反馈
根据既定标准对研究质量进行基准测试
评估目标出版场所的发表准备情况
提供定量评估以补充定性同行评审

科学图表增强视觉传达

使用这个技能创建文档时，始终考虑添加科学图表和示意图以增强视觉沟通。

如果您的文档尚未包含示意图或图表：

使用科学图表技能生成AI驱动的出版质量图表
只需用自然语言描述您想要的图表
Nano Banana Pro将自动生成、审查和优化示意图

对于新文档： 默认应生成科学图表，以可视化表示文本中描述的关键概念、工作流程、架构或关系。

如何生成图表：

python scripts/generate_schematic.py "您的图表描述" -o figures/output.png

AI将自动：

创建具有适当格式的出版质量图像
通过多次迭代审查和优化
确保可访问性（色盲友好、高对比度）
将输出保存在figures/目录中

何时添加图表：

评估框架图表
质量评估标准决策树
学术工作流程可视化
评估方法流程图
评分量规可视化
评估过程图表
任何受益于可视化的复杂概念

有关创建图表的详细指南，请参阅科学图表技能文档。

评估工作流程

步骤1：初步评估和范围定义

首先确定被评估学术工作的类型和评估范围：

工作类型：

完整研究论文（实证、理论或综述）
研究提案或协议
文献综述（系统、叙事或范围）
论文或学位论文章节
会议摘要或短文

评估范围：

全面性（所有维度）
针对性（特定方面如方法学或写作）
比较性（与其他工作进行基准测试）

如果范围不明确，请向用户澄清。

步骤2：基于维度的评估

系统地评估工作跨越ScholarEval维度。对于每个适用维度，评估质量、识别优缺点，并在适当时提供评分。

参考references/evaluation_framework.md获取每个维度的详细标准、量规和质量指标。

核心评估维度：

问题提出与研究问题
- 研究问题的清晰性和具体性
- 理论或实践意义
- 可行性和范围适当性
- 新颖性和贡献潜力
文献综述
- 覆盖的全面性
- 批判性综合vs.简单总结
- 研究空白的识别
- 来源的时效性和相关性
- 适当的情境化
方法学与研究设计
- 与研究问题的适合性
- 严谨性和有效性
- 可重复性和透明度
- 伦理考虑
- 局限性的承认
数据收集与来源
- 数据的质量和适当性
- 样本大小和代表性
- 数据收集程序
- 来源的可信度和可靠性
分析与解释
- 分析方法的适当性
- 分析的严谨性
- 逻辑一致性
- 替代解释的考虑
- 结果与声明的一致性
结果与发现
- 呈现的清晰性
- 统计或定性严谨性
- 可视化质量
- 解释的准确性
- 影响讨论
学术写作与呈现
- 清晰性和组织
- 学术语气和风格
- 语法和机制
- 逻辑流程
- 对目标受众的可访问性
引用与参考文献
- 引用的完整性
- 来源的质量和适当性
- 引用的准确性
- 观点的平衡
- 引用标准的遵循

步骤3：评分和评级

对于每个评估的维度，提供：

定性评估：

关键优势（2-3个具体点）
改进领域（2-3个具体点）
关键问题（如果有）

定量评分（可选）： 使用5点量表，如果适用：

5：优秀 - 模范质量，可发表在顶级场所
4：良好 - 高质量，需微小改进
3：足够 - 可接受质量，有显著改进领域
2：需要改进 - 需重大修订
1：差 - 需根本性修订的基本问题

要程序化计算综合分数，请使用scripts/calculate_scores.py。

步骤4：综合整体评估

提供综合评估摘要：

整体质量评估 - 对工作学术价值的整体判断
主要优势 - 跨维度的3-5个关键优势
关键弱点 - 3-5个需关注的主要领域
优先级建议 - 按影响排序的改进建议列表
发表准备情况（如果适用） - 对目标场所适合性的评估

步骤5：提供可操作的反馈

将评估结果转化为建设性、可操作的反馈：

反馈结构：

具体性 - 参考确切章节、段落或页码
可操作性 - 提供具体改进建议
优先级 - 按重要性和可行性排序建议
平衡性 - 承认优势的同时解决弱点
基于证据 - 基于评估标准提供反馈

反馈格式选项：

结构化报告，按维度分析
映射到特定文档部分的注释评论
执行摘要，包含关键发现和建议
基于基准标准的比较分析

步骤6：背景考虑

根据以下调整评估方法：

发展阶段：

早期草稿：关注概念和结构问题
高级草稿：关注细化和完善
最终提交：全面质量检查

目的和场所：

期刊文章：对严谨性和贡献的高标准
会议论文：平衡新颖性与呈现清晰性
学生工作：教育性反馈，以发展为焦点
资助提案：强调可行性和影响

学科特定规范：

STEM领域：强调可重复性和统计严谨性
社会科学：平衡定量和定性标准
人文学科：关注论证和学术解释

资源

references/evaluation_framework.md

每个ScholarEval维度的详细评估标准、量规和质量指标。进行评估时加载此参考，以访问特定评估指南和评分量规。

快速搜索模式：

“问题提出标准”
“文献综述量规”
“方法学评估”
“数据质量指标”
“分析严谨性标准”
“写作质量检查表”

scripts/calculate_scores.py

Python脚本，用于从维度级别评分计算综合评估分数。支持加权平均、阈值分析和分数可视化。

用法：

python scripts/calculate_scores.py --scores <dimension_scores.json> --output <report.txt>

最佳实践

保持客观性 - 基于既定标准进行评估，而非个人偏好
全面性 - 系统评估所有适用维度
提供证据 - 支持评估，使用工作中的具体示例
保持建设性 - 将弱点视为改进机会
考虑背景 - 根据工作阶段和目的调整期望
记录推理 - 解释评估和评分背后的推理
鼓励优势 - 明确承认工作的优点
优先级反馈 - 首先关注高影响力改进

示例评估工作流程

用户请求： “评估这篇关于机器学习在药物发现中的研究论文”

响应过程：

识别工作类型（实证研究论文）和范围（全面评估）
加载references/evaluation_framework.md获取详细标准
系统评估每个维度：
- 问题提出：清晰的ML模型性能研究问题
- 文献综述：全面覆盖最近ML和药物发现工作
- 方法学：适当的深度学习架构与验证程序
- [继续通过所有维度…]
计算维度分数和整体评估
综合发现为结构化报告，突出：
- 强大的方法学和可重复代码
- 需更多多样化数据集评估
- 写作在结果部分可提高清晰性
提供优先级建议，包含具体建议

与科学写作者集成

此技能与科学写作者工作流程无缝集成：

生成论文后：

使用学术评估作为同行评审的替代或补充
在PEER_REVIEW.md旁生成SCHOLAR_EVALUATION.md
提供定量分数以跟踪多个版本的改进

修订期间：

在解决反馈后重新评估特定维度
跟踪多个版本的分数改进
识别需关注的持久弱点

发表准备：

评估目标期刊/会议的适合性
识别提交前的差距
基于发表标准进行基准测试

注意事项

评估严谨性应与工作的目的和阶段匹配
某些维度可能不适用于所有工作类型（例如，纯理论论文的数据收集）
应考虑学术规范中的文化和学科差异
此框架补充而非替代领域特定专业知识
与同行评审技能结合使用以获得全面评估

引用

此技能基于ScholarEval框架，介绍于：

Moussa, H. N., Da Silva, P. Q., Adu-Ampratwum, D., East, A., Lu, Z., Puccetti, N., Xue, M., Sun, H., Majumder, B. P., & Kumar, S. (2025). ScholarEval: Research Idea Evaluation Grounded in Literature. arXiv预印本arXiv:2510.16234。 https://arxiv.org/abs/2510.16234

摘要： ScholarEval是一个检索增强评估框架，基于两个基本标准评估研究思想：健全性（基于现有文献提出方法的实证有效性）和贡献性（相对于先前研究在多个维度上思想的推进程度）。该框架显著覆盖专家注释评估点，并在评估可操作性、深度和证据支持方面持续优于基线系统。