数据工程 Skill技能列表

PDF处理Skill pdf

4.5

PDF处理技能是一种使用Python库和工具进行PDF文档操作的技能,包括文本提取、表格提取、PDF创建、合并、分割、表单处理、OCR等。适用于数据提取、文档自动化、数据预处理等场景。关键词:PDF处理、文本提取、表格提取、OCR、Python、数据工程、文档自动化、PDF库。

KafkaStreamsSkill kafka-streams

4.5

Kafka Streams是一个用于构建实时流处理应用程序的库,它提供了一个高级的抽象,允许开发者轻松地表达处理逻辑,同时确保数据的容错性和可扩展性。

DatabaseLockingStrategiesSkill DatabaseLockingStrategies

4.5

数据库锁定策略是用于管理共享数据并发访问的机制,确保数据完整性,防止多个事务同时以可能造成不一致的方式修改相同数据。关键概念包括并发控制、锁定类型(共享锁定、独占锁定)、锁定粒度(行级、页面级、表级锁定)以及多版本并发控制(MVCC)。此技能涉及数据库事务、锁定机制、隔离级别和死锁处理等。

Starlake配置技能(完整参考)Skill config

4.5

这个技能提供了Starlake数据管道配置的完整参考指南,涵盖环境变量配置、JSON模式验证、生产最佳实践等,适用于数据工程师、ETL开发人员和数据架构师,帮助构建高效的数据处理流程。关键词:Starlake,数据工程,ETL,配置,YAML,JSON模式,数据管道,最佳实践。

Postgresql技能Skill postgresql

4.5

全面协助PostgreSQL开发,由官方文档生成。

查询构建器Skill query-builder

4.5

该技能是一个交互式数据库查询构建工具,用于自动生成优化的SQL和NoSQL查询语句,支持多种数据库和ORM,提高开发效率和查询性能。关键词包括数据库查询、SQL优化、NoSQL、ORM、性能调优、数据工程、后端开发。

时序数据库专家Skill timescaledb

4.5

Timescaledb技能是一个专注于PostgreSQL时序数据库扩展的AI助手。它提供全面的开发支持,涵盖超表管理、连续聚合、数据压缩、实时分析等核心功能。适用于数据库开发、时间序列数据处理、物联网数据分析、金融量化系统等场景。关键词:TimescaleDB, 时序数据库, PostgreSQL扩展, 时间序列分析, 超表, 数据压缩, 实时分析, 数据库优化, IoT数据处理, 量化金融数据存储。

数据库管理Skill managing-databases

4.5

数据库管理技能专注于指导PostgreSQL、DuckDB、Parquet和PGVector的架构决策,用于设计数据库模式、选择存储策略、优化查询性能、调整维护配置、实施向量搜索,并诊断OLTP、OLAP和相似性搜索工作负载中的性能问题。关键词:数据库管理,PostgreSQL,DuckDB,Parquet,PGVector,架构设计,性能优化,数据工程。

数据迁移验证器Skill data-migration-validator

4.5

数据迁移验证器是一个用于在数据库迁移过程中确保数据完整性的专业技能工具。它通过行数验证、校验和验证、样本数据对比、参照完整性检查和业务规则验证等多种方法,全面验证源数据和目标数据的一致性。该工具支持与Great Expectations、dbt测试、自定义SQL等多种数据质量工具的集成,并生成标准化的验证报告,帮助团队在迁移后快速确认数据准确性,降低数据丢失和损坏的风险。关键词:数据迁移验证、数据完整性检查、数据库迁移、数据质量验证、ETL验证、迁移后验证、数据核对、数据一致性检查。

数据处理器Skill data-processor

4.5

数据处理器是一个用于处理和验证各种数据输入的工具,适用于数据清洗、验证和预处理。关键词包括数据处理、数据验证、Python工具、数据输入处理,方便SEO搜索和数据管理应用。

ZarrPython数据存储库Skill zarr-python

4.5

Zarr Python 是一个用于云存储的分块 N 维数组库,支持压缩、并行 I/O 和与 NumPy、Dask、Xarray 的集成,专为大规模科学计算和数据处理而设计。关键词:数据存储、并行计算、云计算、科学计算、大数据处理、Python 库。

RSS聚合器Skill rss-aggregator

4.5

RSS聚合器技能,通过Python脚本自动抓取和汇总多个RSS订阅源的最新内容,提供结构化更新信息,适用于信息聚合、数据分析和自动化报告。关键词:RSS聚合、数据抓取、信息汇总、自动化更新、Python脚本。