数据工程 Skill技能列表

数据模式与知识建模Skill data-schema-knowledge-modeling

4.5

数据模式与知识建模是一种用于设计数据库模式、构建知识图谱和定义数据模型的技能。它涉及识别实体、属性和关系,指定约束和不变量,以实现正确的系统实施和数据集成。关键词包括数据库设计、数据模型、知识图谱、实体关系建模、数据治理、模式迁移和数据可视化,适用于数据工程、数据治理和架构设计等场景。

SQL模式速查手册Skill sql-patterns

4.5

本技能提供SQL常用模式、公共表表达式(CTE)、窗口函数、JOIN类型、分页技巧、索引策略及反模式的快速参考指南。适用于数据库查询优化、数据分析、后端开发,帮助开发者编写高效SQL语句。关键词:SQL模式,CTE示例,窗口函数,SQL连接,索引策略,分页SQL,数据库优化,查询性能。

抓取文章Skill scrape-posts

4.5

此技能用于从Milan Jovanovic的.NET博客优化抓取新文章,通过预筛选列表页面,仅抓取新增或更新的内容,以减少API请求并提升效率。关键词:博客抓取、数据自动化、内容管理、SEO优化、网络爬虫、节省成本。

数据库技能Skill databases

4.5

该技能专注于MongoDB和PostgreSQL数据库的管理与操作,涵盖数据建模、查询编写、性能优化、索引管理、数据库迁移、备份恢复策略等关键方面。适用于数据库管理员、后端开发者和数据工程师,提升数据库处理效率和系统稳定性。关键词:MongoDB, PostgreSQL, 数据库管理, 查询优化, 数据建模, 性能调优

Twitter数据抓取工具Skill twscrape

4.5

twscrape是一个专业的Python库,专门用于Twitter/X社交媒体数据抓取和爬虫开发。通过GraphQL API实现高效数据采集,支持多账号轮换管理、异步并行操作、代理配置和会话持久化。适用于社交媒体监控、舆情分析、用户行为研究、趋势挖掘和大规模数据收集场景。关键词:Twitter爬虫、社交媒体数据采集、Python数据抓取、账号轮换、GraphQL API、异步爬虫、数据挖掘、舆情监控。

流式细胞仪文件处理库Skill flowio

4.5

FlowIO是一个轻量级Python库,用于读取、写入和处理流式细胞仪标准(FCS)文件,支持FCS版本2.0-3.1。它能提取事件数据为NumPy数组,读取元数据和通道信息,并转换为CSV或DataFrame格式,适用于流式细胞仪数据预处理和分析。关键词:Python库,FCS文件,流式细胞仪数据,数据预处理,NumPy,数据分析。

列级血缘技能Skill col-lineage

4.5

这个技能用于生成SQL转换任务中的列级血缘,追踪输出列到源列的数据来源,提供精细的数据溯源信息。关键词:数据血缘、SQL分析、数据工程、数据治理、ETL、数据仓库。

URL抓取器Skill url-fetcher

4.5

该技能用于从指定网页URL自动抓取并提取干净的文本内容,去除HTML噪音,适用于数据收集、内容分析、文档处理和网络爬虫等场景,支持参数化设置以提高效率。关键词:网页抓取、文本提取、URL解析、HTML清理、数据获取、网络爬虫、内容分析、自动化工具。

架构探索技能Skill schema-exploration

4.5

这个技能用于探索和理解数据库结构,包括列出表、获取列信息、映射表关系等,帮助数据分析师、数据库管理员和开发者优化数据查询和管理。关键词:数据库探索、架构分析、SQL工具、数据工程、数据可视化。

数据架构Skill architecting-data

4.5

数据架构技能提供设计现代云原生数据平台的战略指导,涵盖存储范式选择、数据建模方法、数据网格实施、开放表格式应用等。关键词:数据架构、数据平台、存储范式、数据建模、数据网格、数据治理、现代数据堆栈、奖章架构、Apache Iceberg、dbt、数据工程。

数据库查询与导出Skill database-query-and-export

4.5

这个技能用于查询SQLite、PostgreSQL和MySQL数据库,并将结果导出到CSV或JSON格式。适用于数据提取、报告生成、备份迁移、数据分析工作流和自动化数据库查询。关键词包括数据库查询、数据导出、CSV导出、JSON导出、SQLite、PostgreSQL、MySQL、数据工程、ETL。

DAG生成技能Skill dag-generate

4.5

该技能用于从 Starlake 项目配置自动生成 Airflow 或 Dagster 的 DAG(有向无环图)文件,支持数据加载和变换任务的编排,适用于数据工程、ETL 开发和自动化工作流管理。关键词:DAG, Airflow, Dagster, Starlake, 数据工程, ETL, 任务编排, 工作流。