数据流设计技能用于根据需求描述设计和实施数据管道架构，包括数据源集成、转换处理、目标系统部署，支持批处理、流处理、Lambda、Kappa等多种模式，适用于数据仓库、数据湖、机器学习、商业智能等应用场景。关键词：数据管道、ETL、流处理、数据架构、数据工程、Spark、Flink、Kafka、数据湖仓。

Dask是一个Python库，用于并行和分布式计算，支持处理超过内存限制的大数据工作流。适用于数据科学、机器学习、数据工程任务，如ETL、数据分析和大规模数值计算。关键词：分布式计算，大数据处理，Python，pandas，NumPy，并行处理，数据科学，机器学习，数据工程，ETL开发。

Dask是一个用于并行和分布式计算的Python库，能够处理超出内存的数据集，提供类似Pandas和NumPy的API，适用于大数据处理、数据工程和科学计算。关键词：并行计算、分布式计算、大数据处理、Python数据工程。

流处理技能专注于实时数据处理技术，用于构建事件驱动系统和流分析应用。它涉及使用框架如Apache Kafka、Apache Flink等处理无界数据流，支持低延迟响应、窗口操作、状态管理和精确一次交付。关键词：流处理、实时数据、事件流、Kafka、Flink、流分析、数据管道、事件驱动架构。

该技能是一个交互式数据库查询构建工具，用于自动生成优化的SQL和NoSQL查询语句，支持多种数据库和ORM，提高开发效率和查询性能。关键词包括数据库查询、SQL优化、NoSQL、ORM、性能调优、数据工程、后端开发。

Apache Spark 优化器是一款专注于提升大数据处理效率的专业技能。它通过深度分析 Spark 作业的执行计划、数据分区和资源配置，提供针对性的代码优化、参数调优和策略建议，旨在显著降低作业运行时间、减少计算资源消耗并节约成本。核心功能包括数据倾斜治理、Shuffle 优化、缓存策略推荐和集群配置调优，适用于 ETL、流处理和数据迁移等多种大数据场景。关键词：Spark优化，大数据性能调优，分布式计算，ETL加速，成本节约，数据倾斜处理，执行计划分析。

Excel转YML转换器是一款将Excel表格中的域和表架构转换为Starlake YAML配置文件的工具。适用于数据工程团队，简化数据模型管理流程，支持批量文件转换、自定义输出目录、IAM策略标签集成等功能，提高数据治理效率。关键词：Excel转YML、Starlake、数据工程、配置管理、ETL开发、数据治理。

Kafka Streams是一个用于构建实时流处理应用程序的库，它提供了一个高级的抽象，允许开发者轻松地表达处理逻辑，同时确保数据的容错性和可扩展性。

该技能用于将实验室仪器输出文件转换为标准化的Allotrope Simple Model (ASM) JSON格式或扁平化2D CSV，便于在LIMS系统、数据湖中使用或进行下游分析。它支持自动检测仪器类型，并提供ASM JSON、CSV和Python代码输出，帮助数据工程师集成到生产管道中。关键词：仪器数据转换、Allotrope标准化、LIMS系统、数据工程、生物信息学、数据湖、Python解析器。

全面协助PostgreSQL开发，由官方文档生成。

数据转换技能涉及使用ETL/ELT模式、SQL（如dbt）、Python库（如pandas、polars、PySpark）和编排工具（如Airflow）将原始数据处理成可用于分析的数据集，适用于数据管道构建、增量加载、性能优化和数据质量保障。关键词：数据转换、ETL开发、数据工程、数据管道、dbt、Airflow、SQL、Python、数据仓库。

PDF处理技能是一种使用Python库和工具进行PDF文档操作的技能，包括文本提取、表格提取、PDF创建、合并、分割、表单处理、OCR等。适用于数据提取、文档自动化、数据预处理等场景。关键词：PDF处理、文本提取、表格提取、OCR、Python、数据工程、文档自动化、PDF库。