数据工程 Skill技能列表

⚡

数据清洗流程Skill DataCleaningPipeline

4.5

构建稳健的数据清洗流程,包括缺失值处理、异常值检测、数据类型标准化、重复项删除、归一化和缩放,以及文本清洗等,以确保数据的完整性和一致性,适合于数据预处理和自动化数据流水线。

⚡

数据湖平台Skill data-lake-platform

4.5

数据湖平台技能用于构建和操作生产级数据湖与数据湖屋,涵盖数据摄取、转换、存储、查询和服务,支持批处理、流式处理和治理功能,关键词:数据湖、数据湖屋、数据工程、大数据、分析平台、数据治理、摄取、转换、存储、查询。

⚡

SQL查询入门Skill sql-query-starter

4.5

这个技能用于帮助初级开发者根据简单需求快速起草基本的SQL查询,包括SELECT语句、WHERE条件、ORDER BY排序、LIMIT限制和参数化查询,适用于数据库开发和数据工程场景。关键词:SQL查询、数据库开发、数据工程、参数化查询、SELECT语句、WHERE条件、ORDER BY排序、LIMIT限制。

⚡

知识图谱构建器Skill knowledge-graph-builder

4.5

这个技能专注于设计和构建知识图谱,用于表示实体、关系和语义连接,支持Neo4j、RDF和属性图的查询模式,适用于数据集成、智能推荐、欺诈检测、知识管理等场景。关键词:知识图谱,图数据库,Cypher查询,SPARQL,图算法,数据建模,语义网络。

⚡

数据库工程精通Skill afrexai-database-engineer

4.5

提供全面的数据库设计、优化、迁移和运维指导,包括模式设计、索引策略、查询优化、数据库迁移、性能监控、备份与恢复、安全防护等关键领域的深入分析和最佳实践。

⚡

PostgreSQL查询专家Skill postgres-query-expert

4.5

这个技能是关于PostgreSQL 16数据库的全面指南,用于构建标准和高级SQL查询、优化性能、调试错误、管理数据库模式和结构内省。适用于数据库开发人员、数据工程师和数据分析师,提升数据库操作效率和数据处理能力。关键词:PostgreSQL、SQL查询、数据库优化、数据工程、模式管理、性能调优、SQL调试。

⚡

架构探索技能Skill schema-exploration

4.5

这个技能用于探索和理解数据库结构,包括列出表、获取列信息、映射表关系等,帮助数据分析师、数据库管理员和开发者优化数据查询和管理。关键词:数据库探索、架构分析、SQL工具、数据工程、数据可视化。

⚡

Twitter数据抓取工具Skill twscrape

4.5

twscrape是一个专业的Python库,专门用于Twitter/X社交媒体数据抓取和爬虫开发。通过GraphQL API实现高效数据采集,支持多账号轮换管理、异步并行操作、代理配置和会话持久化。适用于社交媒体监控、舆情分析、用户行为研究、趋势挖掘和大规模数据收集场景。关键词:Twitter爬虫、社交媒体数据采集、Python数据抓取、账号轮换、GraphQL API、异步爬虫、数据挖掘、舆情监控。

⚡

数据血缘技能Skill lineage

4.5

此技能用于生成任务依赖关系图(数据血缘),通过分析SQL变换文件中的依赖关系,可视化数据血缘,支持多种输出格式如DOT、SVG、PNG、JSON,便于数据工程和数据治理。关键词:数据血缘、任务依赖、SQL分析、数据可视化、数据工程。

⚡

数据迁移专家Skill data-migration-expert

4.5

数据迁移专家技能专注于确保数据库迁移、数据回填和模式变更中的数据完整性。通过验证ID映射、检查交换值、确保回滚安全性和制定验证计划,防止数据损坏。适用于涉及ID映射、列重命名或数据转换的任何迁移。关键词:数据迁移、数据完整性、数据库迁移、验证映射、回滚安全。

⚡

数据工程师Skill data-engineer

4.5

数据工程技能专注于构建和管理可扩展的数据管道、数据仓库和流处理系统,用于数据提取、转换、加载(ETL)和数据分析基础设施,支持数据质量监控、大数据处理和数据建模。关键词:数据工程、ETL、数据仓库、大数据、数据管道、Apache Airflow、Apache Spark、数据分析。

⚡

数据库技能Skill databases

4.5

该技能专注于MongoDB和PostgreSQL数据库的管理与操作,涵盖数据建模、查询编写、性能优化、索引管理、数据库迁移、备份恢复策略等关键方面。适用于数据库管理员、后端开发者和数据工程师,提升数据库处理效率和系统稳定性。关键词:MongoDB, PostgreSQL, 数据库管理, 查询优化, 数据建模, 性能调优