数据工程 Skill技能列表
DBeaver数据库工具技能Skill dbeaver
此技能提供 DBeaver 数据库工具的全面指导,包括数据库连接、SQL 编辑、数据管理和数据库管理,帮助用户高效处理数据库操作。关键词:数据库、SQL、DBeaver、数据管理、数据库管理、SQL 查询、数据库工具、数据工程。
YAML转Excel转换器Skill yml2xls
该技能用于将 Starlake YAML 数据定义转换为 Excel 电子表格,便于与非技术用户共享数据模型,支持 YAML 和 Excel 之间的双向转换,适用于数据工程、数据治理和数据处理工作流。关键词:YAML 转 Excel, Starlake 数据转换, 数据模型共享, 数据工程工具, ETL 开发, 数据可视化。
Firecrawl抓取技能Skill firecrawl-scrape
Firecrawl抓取技能是一个通过Firecrawl MCP工具抓取网页并提取内容的技能,支持从URL或搜索查询获取结构化数据,适用于数据采集和网络内容分析,关键词包括:网页抓取、数据提取、Firecrawl、MCP、爬虫、内容抓取、SEO搜索。
ApacheSpark优化器Skill ApacheSparkOptimizer
Apache Spark 优化器是一款专注于提升大数据处理效率的专业技能。它通过深度分析 Spark 作业的执行计划、数据分区和资源配置,提供针对性的代码优化、参数调优和策略建议,旨在显著降低作业运行时间、减少计算资源消耗并节约成本。核心功能包括数据倾斜治理、Shuffle 优化、缓存策略推荐和集群配置调优,适用于 ETL、流处理和数据迁移等多种大数据场景。关键词:Spark优化,大数据性能调优,分布式计算,ETL加速,成本节约,数据倾斜处理,执行计划分析。
电子书文本提取器Skill ebook-extractor
电子书文本提取器是一个用于从EPUB、MOBI、PDF格式电子书中提取纯文本的工具。它支持常见电子书格式,使用Python脚本实现,无需大型语言模型调用,纯文本提取。适用于数据分析、文本处理、阅读转换等场景。关键词:电子书提取、文本转换、Python工具、EPUB、MOBI、PDF、数据提取。
高级数据工程师Skill senior-data-engineer
高级数据工程师技能专注于构建和管理可扩展的数据基础设施、ETL/ELT系统、数据管道和数据质量,支持生产级AI/ML和数据系统。关键技术包括Python、SQL、Spark、Airflow、dbt、Kafka等,适用于数据架构设计、数据工作流优化、数据治理等场景,助力企业实现数据驱动的决策和创新。关键词:数据工程、ETL、数据管道、数据基础设施、Spark、Airflow、Python、SQL、DataOps。
dbt项目分析器Skill dbt-project-analyzer
dbt项目分析器是一款用于评估和优化dbt(data build tool)数据转换项目的专业工具。它能自动分析项目结构、模型依赖、测试覆盖率、文档完整性和命名规范,检测性能瓶颈与循环依赖,并提供基于最佳实践的具体改进建议。适用于数据工程师、数据分析师和DevOps团队,帮助提升数据仓库项目的质量、可维护性和运行效率。关键词:dbt分析,数据工程,数据仓库优化,测试覆盖率,模型依赖分析,性能调优,CI/CD集成,数据治理。
Kafka流管理Skill kafka-streaming
这个技能用于管理和监控Kafka流处理平台,包括主题创建、消费者组状态检查、延迟分析、broker健康评估等。适用于数据工程师、DevOps工程师和系统管理员,帮助优化数据流管道和确保系统稳定性。关键词:Kafka, 流管理, 主题管理, 消费者组, 延迟监控, broker健康, 数据工程, 消息队列。
数据库模式可视化工具Skill schema-visualizer
该技能用于从数据库模式生成可视化图表、实体关系图(ERD)和文档,支持多种格式如Mermaid、PlantUML和来源如SQL、ORM模型,帮助数据库设计、分析和优化,关键词包括数据库、模式、可视化、ERD、文档、SQL、ORM。
生物信息学分析师Skill bio-informatics-analyst
该技能用于协调和管理生物信息学数据处理流程,包括数据转换、分析管道设置、质量控制以及报告生成,确保工作流程的可重复性和高效性,特别适用于单细胞分析等生物医学研究领域。关键词:生物信息学、数据分析、数据处理、工作流程自动化、可重复性、Nextflow、Python、单细胞分析、质量控制、生物医药。
分布式NoSQL数据库专家Skill nosql-expert
本技能提供分布式NoSQL数据库(如Cassandra和DynamoDB)的专业设计模式和指导,包括思维模型、查询优先建模、单表设计、避免热分区等,适用于大规模系统开发、数据工程和云计算场景。关键词:分布式NoSQL数据库、Cassandra、DynamoDB、查询优先建模、热分区、数据工程。
Excel转YML转换器Skill xls2yml
Excel转YML转换器是一款将Excel表格中的域和表架构转换为Starlake YAML配置文件的工具。适用于数据工程团队,简化数据模型管理流程,支持批量文件转换、自定义输出目录、IAM策略标签集成等功能,提高数据治理效率。关键词:Excel转YML、Starlake、数据工程、配置管理、ETL开发、数据治理。