数据工程 Skill技能列表
数据库管理Skill managing-databases
数据库管理技能专注于指导PostgreSQL、DuckDB、Parquet和PGVector的架构决策,用于设计数据库模式、选择存储策略、优化查询性能、调整维护配置、实施向量搜索,并诊断OLTP、OLAP和相似性搜索工作负载中的性能问题。关键词:数据库管理,PostgreSQL,DuckDB,Parquet,PGVector,架构设计,性能优化,数据工程。
时序数据库技能Skill timescaledb
Timescaledb技能提供全面的时序数据库开发支持,涵盖超表管理、连续聚合、数据压缩和实时分析等核心功能。本技能专为数据库开发者、数据工程师和DevOps团队设计,包含官方文档、代码示例和最佳实践指南,帮助用户高效处理时间序列数据,优化查询性能,实现大规模时序数据存储与分析解决方案。
Scrapfly自动化Skill scrapfly-automation
该技能通过Rube MCP和Composio自动化Scrapfly网页抓取任务,提供工具发现、连接管理和执行功能,优化数据采集流程。关键词:Scrapfly自动化,Rube MCP,Composio,网页抓取,数据采集,自动化工具,数据工程。
网页抓取技能Skill using-web-scraping
这个技能使用头less Chrome和DuckDuckGo进行网页抓取和搜索,专注于可靠导航、提取结构化文本、遵守robots.txt和速率限制。用于收集公开网页内容以进行摘要、元数据提取或链接发现。关键词:网页抓取、数据收集、Playwright、DuckDuckGo、自动化、数据提取、SEO优化。
数据迁移专家Skill data-migration-expert
此技能用于数据库迁移过程中的数据完整性和安全性验证,确保数据无损坏。通过检查ID映射、交换值、回滚策略等,防止迁移错误。关键词:数据迁移、数据库安全、完整性验证、ID映射检查、回滚安全、迁移审查。
ClickHouse数据工程与分析Skill clickhouse-io
这个技能专注于ClickHouse数据库的使用,包括表设计模式、查询优化、数据插入策略、物化视图、性能监控和常见分析查询。适用于数据工程师和数据分析师,优化大规模数据分析工作负载,提高查询效率和实时处理能力。关键词:ClickHouse,数据工程,数据分析,查询优化,数据仓库,OLAP。
仪器数据到Allotrope转换器Skill instrument-data-to-allotrope
该技能用于将实验室仪器输出的文件(如PDF、CSV、Excel、TXT)转换为标准化的Allotrope Simple Model (ASM) JSON格式或扁平化的2D CSV,以支持数据标准化,便于集成到LIMS系统、数据湖或下游分析。功能包括自动检测仪器类型、生成完整的ASM JSON、扁平化CSV和可导出的Python解析代码,适用于数据工程团队。关键词:仪器数据转换,Allotrope格式,数据标准化,LIMS系统,数据工程,Python解析,实验室数据管理,ASM JSON,扁平化CSV。
比较Skill compare
此 Starlake compare 技能用于数据工程项目的版本对比,生成差异报告,支持 Git 集成、文件路径和标签比较,便于审查 schema 更改、配置更新和发布管理。关键词包括 Starlake、比较、差异报告、schema 变化、数据工程、Git 版本控制、ETL 开发、数据治理,提升项目管理效率。
弹性搜索Skill elasticsearch
提供关于Elasticsearch的全面指导,帮助用户掌握索引创建、数据搜索、聚合分析、映射配置和集群管理等核心功能。适用于开发搜索应用、进行大数据分析或管理分布式搜索系统。关键词:Elasticsearch, 搜索, 索引, 聚合, 映射, 集群管理, 数据分析。
时间序列数据库技术Skill using-timeseries-databases
时间序列数据库技术用于高效存储和查询时间戳数据,如金融交易数据、物联网传感器、监控指标和日志。该技能涉及数据库选择(包括TimescaleDB、InfluxDB、ClickHouse、QuestDB)、连续聚合、降采样(LTTB算法)和保留策略优化,适用于构建实时仪表板、监控系统、物联网平台和金融应用。关键词:时间序列数据库、数据存储、查询优化、数据库技术、降采样、连续聚合。
ESLoad技能Skill esload
这是一个用于将数据从文件(如Parquet、JSON)加载到Elasticsearch索引的工具,支持自定义映射、文档ID和时间戳索引命名,适用于数据工程和ETL流程,方便数据集成与处理。关键词:Elasticsearch, 数据加载, Parquet, JSON, 映射, 文档ID, 时间戳索引, ETL, 数据工程。
提取模式技能Skill extract-schema
这个技能用于从JDBC数据库提取数据库表模式(如列名、类型、约束),并生成Starlake YAML配置文件,是数据工程中反向工程数据库到Starlake项目的关键第一步。关键词包括:数据库模式提取、Starlake配置、YAML文件生成、ETL开发、数据治理、反向工程。