数据工程 Skill技能列表

⚡

仪器数据到Allotrope转换器Skill instrument-data-to-allotrope

4.5

该技能用于将实验室仪器输出的文件(如PDF、CSV、Excel、TXT)转换为标准化的Allotrope Simple Model (ASM) JSON格式或扁平化的2D CSV,以支持数据标准化,便于集成到LIMS系统、数据湖或下游分析。功能包括自动检测仪器类型、生成完整的ASM JSON、扁平化CSV和可导出的Python解析代码,适用于数据工程团队。关键词:仪器数据转换,Allotrope格式,数据标准化,LIMS系统,数据工程,Python解析,实验室数据管理,ASM JSON,扁平化CSV。

⚡

ClickHouse数据工程与分析Skill clickhouse-io

4.5

这个技能专注于ClickHouse数据库的使用,包括表设计模式、查询优化、数据插入策略、物化视图、性能监控和常见分析查询。适用于数据工程师和数据分析师,优化大规模数据分析工作负载,提高查询效率和实时处理能力。关键词:ClickHouse,数据工程,数据分析,查询优化,数据仓库,OLAP。

⚡

数据复制设置Skill data-replication-setup

4.5

本文档提供了数据库复制的详细指南,包括主从复制、多主复制、复制监控和故障转移等,旨在帮助实现高可用性和灾难恢复。

⚡

DatabaseSchemaDocumentationSkill database-schema-documentation

4.5

提供数据库架构文档,包括实体关系图(ERD)、表定义、索引、约束和数据字典。用于数据库架构文档、ERD创建、数据字典编写、表关系文档、索引和约束文档、迁移文档和数据库设计规范。

⚡

数据公共客户端Skill datacommons-client

4.5

这个技能提供对Data Commons平台的程序化访问,用于查询和探索公共统计数据、知识图谱和实体标识符。适用于数据科学家、分析师和开发者获取人口统计、经济指标、健康数据、环境统计等全球权威数据,进行数据分析、建模和决策支持。关键词:Data Commons、API、统计数据、知识图谱、Python、数据工程、经济指标、人口统计、健康数据。

⚡

时间序列数据库技术Skill using-timeseries-databases

4.5

时间序列数据库技术用于高效存储和查询时间戳数据,如金融交易数据、物联网传感器、监控指标和日志。该技能涉及数据库选择(包括TimescaleDB、InfluxDB、ClickHouse、QuestDB)、连续聚合、降采样(LTTB算法)和保留策略优化,适用于构建实时仪表板、监控系统、物联网平台和金融应用。关键词:时间序列数据库、数据存储、查询优化、数据库技术、降采样、连续聚合。

⚡

阶段技能Skill stage

4.5

阶段技能用于将数据文件从登陆区移动到待处理区,执行解压缩和确认文件处理,是数据摄取管道的第一步,确保数据准备就绪供后续加载。关键词:数据阶段化、ETL、数据工程、ACK文件处理、数据管道、数据摄取、文件管理。

⚡

提取模式技能Skill extract-schema

4.5

这个技能用于从JDBC数据库提取数据库表模式(如列名、类型、约束),并生成Starlake YAML配置文件,是数据工程中反向工程数据库到Starlake项目的关键第一步。关键词包括:数据库模式提取、Starlake配置、YAML文件生成、ETL开发、数据治理、反向工程。

⚡

网页抓取技能Skill using-web-scraping

4.5

这个技能使用头less Chrome和DuckDuckGo进行网页抓取和搜索,专注于可靠导航、提取结构化文本、遵守robots.txt和速率限制。用于收集公开网页内容以进行摘要、元数据提取或链接发现。关键词:网页抓取、数据收集、Playwright、DuckDuckGo、自动化、数据提取、SEO优化。

⚡

DataEngineeringCommandCenterSkill afrexai-data-engineering

4.5

这是一套完整的数据工程指挥中心方法论,涵盖设计、构建、运营和扩展数据管道及基础设施。不依赖任何外部依赖,纯粹依靠代理技能。关键词包括数据架构评估、数据建模、管道设计模式、数据质量框架、性能优化、数据治理与目录、管道监控与告警、测试策略、成本优化、操作手册、高级模式。

⚡

MongoDB数据库操作技能Skill mongodb

4.5

这个技能提供MongoDB数据库的全面指导,涵盖文档操作、查询、聚合、索引和最佳实践,适用于处理MongoDB数据、编写高效查询和优化数据库设计的场景。关键词包括MongoDB、数据库管理、文档存储、NoSQL、查询优化、索引策略。

⚡

数据库优化技术Skill DatabaseOptimizationTechniques

4.5

数据库优化技术是一系列用于提升数据库查询性能、降低资源消耗、确保数据高效访问的方法和策略。关键词包括查询优化、索引策略、连接池、缓存策略、数据库维护等。