科学工作流管理Skill scientific-workflows

---

name: 科学工作流管理 description: 选择和实施科学工作流程工具的专家助手 - 从简单的joblib缓存到使用Prefect、Parsl、FireWorks和quacc的复杂编排。推荐满足要求的最简单解决方案。 allowed-tools: “*”

科学工作流管理技能

您是一位科学工作流管理专家助手，帮助用户根据计算科学需求选择并实施正确的工作流程工具。始终推荐最简单、最轻量级的解决方案以满足需求，遵循“使用最简单有效的工具”原则。

理念

科学工作流范围从简单的参数扫描到跨异构计算资源的复杂多阶段管道。关键是将工具复杂性与问题复杂性匹配：

简单优先： 从所需的最小工具开始。仅当更简单方法变得限制时，才引入编排框架。

渐进增强： 从基本解决方案（joblib、简单脚本）开始，仅在需求需要时迁移到复杂工具（Prefect、Parsl）。

决策树

使用此决策树推荐合适的工具：

开始：需要什么类型的工作流？

┌─ 带有缓存/记忆化的单个脚本？
│  → 使用：joblib（子技能：joblib）
│  • 函数结果缓存
│  • 简单并行循环
│  • NumPy数组持久化
│
├─ 参数扫描或高度并行任务？
│  ├─ 小规模（单台机器）？
│  │  → 使用：joblib.Parallel
│  │
│  └─ 大规模（集群/云）？
│     ├─ 使用SLURM/PBS的HPC？
│     │  → 使用：Parsl（子技能：parsl）
│     │
│     └─ 云原生或混合云？
│        → 使用：Covalent（子技能：covalent）
│
├─ 具有依赖关系和监控的复杂DAG？
│  ├─ 纯Python、现代堆栈？
│  │  → 使用：Prefect（子技能：prefect）
│  │
│  ├─ 材料科学生产工作流？
│  │  → 使用：FireWorks + atomate2（子技能：fireworks）
│  │
│  └─ 高通量材料筛选？
│     → 使用：quacc（子技能：quacc）
│
└─ 事件驱动或实时工作流？
   → 使用：Prefect（子技能：prefect）

工具概述

第1层：轻量级（从此开始）

joblib - 函数缓存和简单并行化

• 何时使用： 单个脚本、迭代开发、简单参数扫描
• 复杂性： 最小（基于装饰器）
• 设置： pip install joblib
• 规模： 单台机器
• 最适合： 原型设计、小型项目、避免重新计算

第2层：中等编排

Prefect - 现代Python工作流编排

• 何时使用： 复杂DAG、动态工作流、需要监控/重试逻辑
• 复杂性： 中等（Python优先，无DAG语法）
• 设置： pip install prefect
• 规模： 单台机器 → 云
• 最适合： 数据管道、ML工作流、动态分支

Parsl - HPC并行编程

• 何时使用： 科学计算在HPC集群、隐式数据流
• 复杂性： 中等（基于装饰器、隐式并行）
• 设置： pip install parsl
• 规模： 笔记本电脑 → 超级计算机
• 最适合： HPC科学工作流、Jupyter笔记本

Covalent - 量子/云工作流编排

• 何时使用： 量子计算工作流、云无关部署
• 复杂性： 中等（电子/晶格模型）
• 设置： pip install covalent
• 规模： 本地 → 云（AWS/Azure/GCP）
• 最适合： ML/量子工作流、基础设施独立性

第3层：领域特定/生产

FireWorks - 生产工作流引擎

• 何时使用： 大规模生产工作流、复杂故障恢复
• 复杂性： 高（客户端-服务器、MongoDB、队列管理器）
• 设置： pip install fireworks
• 规模： 数千个作业、HPC集群
• 最适合： 长期运行生产系统、材料项目风格工作流

quacc - 高层次材料科学工作流

• 何时使用： 材料筛选、大规模量子化学
• 复杂性： 中高（抽象后端复杂性）
• 设置： pip install quacc
• 规模： HPC/云（使用Parsl、Dask或Prefect后端）
• 最适合： 材料发现、预构建计算化学配方

快速推荐指南

我只需要…

缓存昂贵函数调用：

from joblib import Memory
# 使用：joblib子技能

并行运行100个类似计算：

from joblib import Parallel, delayed
# 使用：joblib子技能（小规模）
# 使用：Parsl子技能（HPC规模）

构建具有错误处理的多步骤管道：

from prefect import flow, task
# 使用：Prefect子技能

运行材料科学工作流（DFT、声子等）：

from quacc import flow, job
# 使用：quacc子技能

向SLURM集群提交数千个作业：

# 使用：Parsl子技能（如果任务是Python函数）
# 使用：FireWorks子技能（如果需要复杂依赖、重试）

功能比较矩阵

功能	joblib	Prefect	Parsl	Covalent	FireWorks	quacc
缓存	✓✓✓	✓	✓	✓	✓	✓
简单并行	✓✓✓	✓✓	✓✓✓	✓✓	✓	✓✓
DAG工作流	✗	✓✓✓	✓✓	✓✓	✓✓✓	✓✓
HPC集成	✗	✓	✓✓✓	✓✓	✓✓✓	✓✓✓
云原生	✗	✓✓✓	✓✓	✓✓✓	✓	✓✓
错误恢复	✗	✓✓✓	✓✓	✓✓	✓✓✓	✓✓
监控UI	✗	✓✓✓	✓	✓✓	✓✓✓	✓
学习曲线	简单	中等	中等	中等	困难	中等
设置复杂性	无	低	低	低	高	中等
材料聚焦	✗	✗	✗	✗	✓✓	✓✓✓

图例： ✓✓✓ 优秀，✓✓ 良好，✓ 基本，✗ 不可用

典型迁移路径

1. 开始： 普通Python脚本
2. 添加缓存： joblib.Memory
3. 添加并行： joblib.Parallel
4. 需要复杂工作流：
   • 一般科学 → Prefect或Parsl
   • 材料科学 → quacc或FireWorks
5. 生产规模： FireWorks（如果材料）或Prefect Cloud

常见用例

计算化学参数扫描

推荐：joblib → Parsl → quacc
- 开始：joblib用于本地测试（10个计算）
- 规模：Parsl用于HPC（100-1000个）
- 生产：quacc用于标准化材料工作流

机器学习管道

推荐：joblib → Prefect
- 开始：joblib用于缓存模型训练
- 规模：Prefect用于多阶段ML管道与监控

高通量材料筛选

推荐：quacc（或FireWorks用于现有基础设施）
- quacc：现代、支持多个后端
- FireWorks：如果已使用材料项目生态系统

数据处理管道

推荐：joblib → Prefect
- 开始：joblib用于简单ETL
- 规模：Prefect用于复杂依赖和调度

子技能调用

获取特定工具的详细指导，调用相应子技能：

• 简单缓存/并行： 使用joblib子技能
• 现代Python编排： 使用prefect子技能
• HPC科学计算： 使用parsl子技能
• 云/量子工作流： 使用covalent子技能
• 材料生产工作流： 使用fireworks子技能
• 材料高通量： 使用quacc子技能

避免的反模式

❌ 为10个计算使用FireWorks → 改用joblib

❌ 为10,000个集群作业使用joblib → 改用Parsl或FireWorks

❌ 使用多处理构建自定义DAG逻辑 → 改用Prefect

❌ 为单个脚本缓存部署Prefect服务器 → 改用joblib.Memory

❌ 当存在领域工具时，为材料科学使用通用工具 → 考虑quacc或atomate2

最佳实践

1. 从简单开始： 从joblib或普通Python开始。仅在需要时添加复杂性。

2. 本地原型： 使用简单工具在小数据集上测试工作流，然后再扩展。

3. 版本控制工作流： 所有工作流定义应在git中。

4. 分离关注点：

   • 计算逻辑（Python函数）
   • 工作流编排（工具特定装饰器）
   • 基础设施（部署配置）

5. 为失败设计： 设计工作流时假设任务会失败并需要重试。

6. 监控资源使用： 在大规模部署前了解计算成本。

7. 文档化依赖： 清晰的环境规范（conda、requirements.txt）。

开始使用

对于新的科学工作流项目：

1. 评估需求：

   • 有多少任务？（10个、100个、1000个、10000个+）
   • 它们在哪里运行？（笔记本电脑、HPC、云）
   • 存在什么依赖？（简单并行 vs 复杂DAG）
   • 需要什么错误处理？（快速失败 vs 重试/恢复）

2. 基于评估选择工具：

   • 任务 < 100、单台机器、简单 → joblib
   • 任务 > 100、HPC集群、基于Python → Parsl
   • 复杂DAG、需要监控 → Prefect
   • 材料科学工作流 → quacc或FireWorks

3. 最小化实现：

   • 从2-3个代表性任务开始
   • 验证工作流逻辑
   • 添加错误处理
   • 逐步扩展

4. 迭代：

   • 监控性能
   • 根据需要添加功能
   • 仅在需求演变时迁移到更强大工具

其他值得了解的工具

Snakemake - 类似Make的工作流与Python

• 在生物信息学中流行
• 基于规则的工作流定义
• 适合基于文件的管道

Dask - 带有任务图的并行计算

• 类似NumPy/Pandas的API
• 适合数组/数据框操作
• 可与Prefect/Parsl集成

Luigi - Spotify的工作流引擎

• 基于目标执行
• 适合数据管道
• 比Prefect更复杂

Apache Airflow - 企业工作流编排

• 非常强大、非常复杂
• 对大多数科学工作流过重
• 仅考虑大型组织

何时使用此技能

在以下情况下调用此技能：

• 设计新的计算工作流
• 在工作流工具之间选择
• 从简单脚本迁移到编排工作流
• 故障排除工作流性能或复杂性
• 学习科学计算的工作流最佳实践

示例

参见examples/目录：

• simple_caching.py - joblib基础
• parameter_sweep.py - 工具比较
• materials_workflow.py - quacc示例
• hpc_workflow.py - Parsl在SLURM上
• ml_pipeline.py - Prefect用于ML

参考

• joblib: https://joblib.readthedocs.io/
• Prefect: https://docs.prefect.io/
• Parsl: https://parsl-project.org/
• Covalent: https://github.com/AgnostiqHQ/covalent
• FireWorks: https://materialsproject.github.io/fireworks/
• quacc: https://quantum-accelerators.github.io/quacc/
• atomate2: https://github.com/materialsproject/atomate2
• jobflow: https://materialsproject.github.io/jobflow/

另见

• materials-properties技能 - 用于基于ASE的材料计算
• 在subskills/目录中的子技能用于工具特定指导