数据工程 Skill技能列表
RSS聚合器Skill rss-aggregator
RSS聚合器技能,通过Python脚本自动抓取和汇总多个RSS订阅源的最新内容,提供结构化更新信息,适用于信息聚合、数据分析和自动化报告。关键词:RSS聚合、数据抓取、信息汇总、自动化更新、Python脚本。
数据库管理Skill managing-databases
数据库管理技能专注于指导PostgreSQL、DuckDB、Parquet和PGVector的架构决策,用于设计数据库模式、选择存储策略、优化查询性能、调整维护配置、实施向量搜索,并诊断OLTP、OLAP和相似性搜索工作负载中的性能问题。关键词:数据库管理,PostgreSQL,DuckDB,Parquet,PGVector,架构设计,性能优化,数据工程。
数据分析工程Skill data-analytics-engineering
数据分析工程是一种技能,专注于构建可靠的数据指标和准备商业智能(BI)系统。它涉及定义指标和维度模型、构建数据转换层、实施数据质量测试、以及文档化数据集和数据血统。适用于需要数据建模、指标定义或分析数据处理的场景。关键词:数据分析工程、数据建模、指标定义、数据质量、BI准备、dbt、SQL转换。
PostgreSQL高级模式Skill postgres-advanced-patterns
PostgreSQL高级模式技能专注于数据库性能优化、复杂查询处理、索引策略和数据库设计。包含有效的索引创建、查询优化技巧、窗口函数、CTEs、JSON操作、分区、物化视图等高级功能。适用于后端开发人员、数据工程师和数据库管理员,提升PostgreSQL数据库的效率和可扩展性。关键词:PostgreSQL, 数据库优化, 性能调优, 查询优化, 索引策略, 数据库设计。
数据公共客户端Skill datacommons-client
这个技能提供对Data Commons平台的程序化访问,用于查询和探索公共统计数据、知识图谱和实体标识符。适用于数据科学家、分析师和开发者获取人口统计、经济指标、健康数据、环境统计等全球权威数据,进行数据分析、建模和决策支持。关键词:Data Commons、API、统计数据、知识图谱、Python、数据工程、经济指标、人口统计、健康数据。
AIOS数据库架构与运维工程师Skill aios-data-engineer
这是一个专注于数据库架构与运维的技能,用于数据库设计、模式构建、Supabase配置、RLS策略实施、数据迁移、查询优化、数据建模和运维监控。适合数据工程师、数据库管理员和开发人员使用。关键词:数据库架构、运维工程师、Supabase、数据工程、查询优化、RLS策略、数据建模、迁移。
CSV数据整理专家Skill csv-data-wrangler
CSV数据整理专家是一个专注于高效处理、清洗和转换CSV文件的专业技能。它使用Python、DuckDB和命令行工具,解决大型CSV文件处理、编码问题、数据验证和格式转换等挑战。关键词:CSV处理、数据清洗、Python、DuckDB、大数据、表格数据、编码转换、数据验证、文件分块、SQL查询。
CDC模式实施器Skill CDCPatternImplementer
CDC 模式实施器是一个专注于变更数据捕获(CDC)的专业技能,用于实现实时数据集成。它提供在多种数据库和流式平台(如PostgreSQL、MySQL、Kafka)上配置和实施CDC解决方案的专家能力,包括连接器配置、模式选择、快照策略、模式变更处理和监控设置。关键词:变更数据捕获,CDC,实时数据集成,Debezium,Kafka,数据同步,ETL,流式处理,数据管道。
ClickHouse高性能分析模式Skill clickhouse-io
本技能文档系统介绍了ClickHouse数据库在高性能分析场景下的核心模式与实践。涵盖表设计优化、查询性能调优、数据插入策略、物化视图应用、性能监控方法以及常见分析查询模式。适用于数据工程师、数据分析师和开发人员构建实时分析系统、数据仓库和大规模数据处理平台。关键词:ClickHouse优化、OLAP数据库、实时分析、数据工程、查询性能、大数据处理、数据仓库、ETL管道、物化视图、时间序列分析。
TimescaleDB时序数据库技能Skill timescaledb
TimescaleDB时序数据库技能是专门用于PostgreSQL时间序列数据库扩展的AI助手。提供TimescaleDB开发支持、超表管理、连续聚合、数据压缩、实时分析等功能。适用于时序数据处理、物联网监控、金融数据分析、DevOps监控等场景。关键词:TimescaleDB、时序数据库、PostgreSQL扩展、超表、时间序列分析、数据压缩、实时分析、物联网数据、金融数据、DevOps监控。
创建Bauplan数据管道Skill creating-bauplan-pipelines
本技能是Bauplan数据工程平台的详细指南,用于创建和管理数据管道项目。它涵盖了从项目初始化、DAG(有向无环图)设计、SQL/Python模型编写、到严格模式验证和物化策略的全流程。核心功能包括:数据管道开发、ETL/ELT流程构建、数据转换模型(SQL/Python)、数据质量检查、I/O下推优化、分支安全管理以及自动化工作流。适用于数据工程师、数据分析师和开发人员构建可维护、高性能的数据处理流水线。
WAP数据安全摄取技能Skill wap-ingestion
WAP数据安全摄取技能是一种基于写-审计-发布模式的数据工程解决方案,专门用于从AWS S3云存储安全导入数据到bauplan数据平台。该技能通过临时分支隔离、数据质量检查、原子性合并等机制,确保数据加载过程的安全可靠,防止脏数据污染生产环境。适用于金融风控、企业数据仓库、ETL流程、数据湖管理等场景,支持Parquet、CSV、JSONL等多种数据格式的安全摄取。