数据工程 Skill技能列表
数据清洗流程Skill DataCleaningPipeline
构建稳健的数据清洗流程,包括缺失值处理、异常值检测、数据类型标准化、重复项删除、归一化和缩放,以及文本清洗等,以确保数据的完整性和一致性,适合于数据预处理和自动化数据流水线。
数据库工程精通Skill afrexai-database-engineer
提供全面的数据库设计、优化、迁移和运维指导,包括模式设计、索引策略、查询优化、数据库迁移、性能监控、备份与恢复、安全防护等关键领域的深入分析和最佳实践。
手机规格抓取工具Skill phone-specs-scraper
这个技能用于从多个在线手机数据库网站(如GSM Arena、PhoneDB等)抓取和比较手机规格数据,支持Web抓取、数据提取、比较分析和可视化,适用于手机比较工具开发、设备研究、SEO优化和量化金融中的数据工程应用。
PostgreSQL查询专家Skill postgres-query-expert
这个技能是关于PostgreSQL 16数据库的全面指南,用于构建标准和高级SQL查询、优化性能、调试错误、管理数据库模式和结构内省。适用于数据库开发人员、数据工程师和数据分析师,提升数据库操作效率和数据处理能力。关键词:PostgreSQL、SQL查询、数据库优化、数据工程、模式管理、性能调优、SQL调试。
数据迁移专家Skill data-migration-expert
数据迁移专家技能专注于确保数据库迁移、数据回填和模式变更中的数据完整性。通过验证ID映射、检查交换值、确保回滚安全性和制定验证计划,防止数据损坏。适用于涉及ID映射、列重命名或数据转换的任何迁移。关键词:数据迁移、数据完整性、数据库迁移、验证映射、回滚安全。
智能网页爬虫Skill smart-web-scraper
基于 Playwright 智能爬取网页内容,内置绕过 Cloudflare 等反爬机制的能力,提供简单模式和隐身模式两种方案应对不同反爬强度,输出网页标题、文本内容和截图。关键词:网页爬虫、反爬虫、Cloudflare绕过、Playwright、动态渲染、网页截图、JavaScript渲染。
数据血缘技能Skill lineage
此技能用于生成任务依赖关系图(数据血缘),通过分析SQL变换文件中的依赖关系,可视化数据血缘,支持多种输出格式如DOT、SVG、PNG、JSON,便于数据工程和数据治理。关键词:数据血缘、任务依赖、SQL分析、数据可视化、数据工程。
数据工程师Skill data-engineer
数据工程技能专注于构建和管理可扩展的数据管道、数据仓库和流处理系统,用于数据提取、转换、加载(ETL)和数据分析基础设施,支持数据质量监控、大数据处理和数据建模。关键词:数据工程、ETL、数据仓库、大数据、数据管道、Apache Airflow、Apache Spark、数据分析。
数据湖平台Skill data-lake-platform
数据湖平台技能用于构建和操作生产级数据湖与数据湖屋,涵盖数据摄取、转换、存储、查询和服务,支持批处理、流式处理和治理功能,关键词:数据湖、数据湖屋、数据工程、大数据、分析平台、数据治理、摄取、转换、存储、查询。
Navicat数据库管理技能Skill navicat
此技能提供Navicat数据库管理工具的全面指导,帮助用户进行数据库连接、SQL查询执行、数据管理和数据库管理操作,适用于数据库管理员和开发者。关键词:Navicat, 数据库管理, SQL查询, 数据管理, 数据库连接。
CSV处理器Skill csv-processor
CSV处理器是一种高级数据处理工具,专门用于解析、转换和分析CSV文件。它支持自动检测分隔符、处理多种编码、数据清洗、统计分析等功能,适用于数据预处理、ETL流程、数据质量检查和商业智能应用。关键词:CSV处理,数据解析,数据变换,数据分析,数据清洗,ETL,数据工程。
SQL查询写作技能Skill query-writing
此技能专注于SQL查询的编写和执行,覆盖从基础单表查询到高级多表JOIN和聚合操作,适用于数据分析、数据工程和数据库管理领域,关键词:SQL查询、数据分析、数据库、数据工程、商业智能。