数据工程 Skill技能列表
PostgreSQL模式Skill postgres-patterns
这项技能涵盖审查PostgreSQL特定问题的迁移和编写高效查询,包括索引审查、部分索引、JSONB索引、并发索引创建、查询性能分析、UUID性能、约束审查、批量操作、表锁定意识、连接管理、数据类型选择等。
PostgreSQL性能工程Skill postgres-performance
本技能涵盖了从一开始就构建高性能数据库交互的模式,以及修复性能问题,包括查询优化、索引策略、分页、批量处理、聚合优化、连接池调整、读取副本、非规范化、表分区和缓存策略等。
AlembicMigrationPatternsSkill py-alembic-patterns
这是一个关于如何安全地使用Alembic进行PostgreSQL数据库迁移的指南,包括自动生成迁移的审查、安全迁移结构、非空列添加、数据迁移、大型表迁移、枚举变更处理、多开发者分支合并以及迁移测试等关键实践。
DatabaseMigrationsSkill DatabaseMigrations
数据库迁移是用于模式演变和数据转换的数据库迁移策略和工具,它们帮助团队以受控、可复现的方式发展数据库结构,同时维护数据完整性并最小化停机时间。
数据库管理Skill managing-databases
数据库管理技能专注于指导PostgreSQL、DuckDB、Parquet和PGVector的架构决策,用于设计数据库模式、选择存储策略、优化查询性能、调整维护配置、实施向量搜索,并诊断OLTP、OLAP和相似性搜索工作负载中的性能问题。关键词:数据库管理,PostgreSQL,DuckDB,Parquet,PGVector,架构设计,性能优化,数据工程。
日志解析与导入SOPSkill "self/import/file_path"
此技能是定义和执行日志解析的标准操作程序(SOP),用于处理Apache、Nginx、Syslog、JSON和自定义等多种日志格式,通过数据类和LogEntry类表示解析后的日志条目。它帮助用户标准化日志处理流程,提高数据解析效率,便于数据收集和分析。关键词:日志解析、SOP、文件导入、Apache日志、Nginx日志、Syslog、JSON日志、自定义日志、数据工程、数据类、LogEntry。
数据分析工程Skill data-analytics-engineering
数据分析工程是一种技能,专注于构建可靠的数据指标和准备商业智能(BI)系统。它涉及定义指标和维度模型、构建数据转换层、实施数据质量测试、以及文档化数据集和数据血统。适用于需要数据建模、指标定义或分析数据处理的场景。关键词:数据分析工程、数据建模、指标定义、数据质量、BI准备、dbt、SQL转换。
PostgreSQL高级模式Skill postgres-advanced-patterns
PostgreSQL高级模式技能专注于数据库性能优化、复杂查询处理、索引策略和数据库设计。包含有效的索引创建、查询优化技巧、窗口函数、CTEs、JSON操作、分区、物化视图等高级功能。适用于后端开发人员、数据工程师和数据库管理员,提升PostgreSQL数据库的效率和可扩展性。关键词:PostgreSQL, 数据库优化, 性能调优, 查询优化, 索引策略, 数据库设计。
ClickHouse高性能分析模式与优化Skill clickhouse-io
本技能专注于 ClickHouse 数据库的高性能分析模式、查询优化和数据工程最佳实践,适用于大规模数据分析工作负载。关键词包括 ClickHouse、数据分析、查询优化、数据仓库、ETL、物化视图、性能监控、OLAP、列式存储。
数据库模式可视化工具Skill schema-visualizer
该技能用于从数据库模式生成可视化图表、实体关系图(ERD)和文档,支持多种格式如Mermaid、PlantUML和来源如SQL、ORM模型,帮助数据库设计、分析和优化,关键词包括数据库、模式、可视化、ERD、文档、SQL、ORM。
查询构建器Skill query-builder
该技能是一个交互式数据库查询构建工具,用于自动生成优化的SQL和NoSQL查询语句,支持多种数据库和ORM,提高开发效率和查询性能。关键词包括数据库查询、SQL优化、NoSQL、ORM、性能调优、数据工程、后端开发。
JSON转换器技能Skill json-transformer
JSON转换器技能是一个用于处理JSON数据的工具,支持解析、验证、转换、合并、提取等高级操作,广泛应用于数据工程、后端开发和数据分析领域,方便数据处理和API集成。关键词:JSON处理、数据转换、数据分析、数据清洗、编程工具、API数据、格式转换、数据提取。