数据工程 Skill技能列表
仪器数据到Allotrope转换器Skill instrument-data-to-allotrope
该技能用于将实验室仪器输出的文件(如PDF、CSV、Excel、TXT)转换为标准化的Allotrope Simple Model (ASM) JSON格式或扁平化的2D CSV,以支持数据标准化,便于集成到LIMS系统、数据湖或下游分析。功能包括自动检测仪器类型、生成完整的ASM JSON、扁平化CSV和可导出的Python解析代码,适用于数据工程团队。关键词:仪器数据转换,Allotrope格式,数据标准化,LIMS系统,数据工程,Python解析,实验室数据管理,ASM JSON,扁平化CSV。
ClickHouse数据工程与分析Skill clickhouse-io
这个技能专注于ClickHouse数据库的使用,包括表设计模式、查询优化、数据插入策略、物化视图、性能监控和常见分析查询。适用于数据工程师和数据分析师,优化大规模数据分析工作负载,提高查询效率和实时处理能力。关键词:ClickHouse,数据工程,数据分析,查询优化,数据仓库,OLAP。
数据复制设置Skill data-replication-setup
本文档提供了数据库复制的详细指南,包括主从复制、多主复制、复制监控和故障转移等,旨在帮助实现高可用性和灾难恢复。
DatabaseSchemaDocumentationSkill database-schema-documentation
提供数据库架构文档,包括实体关系图(ERD)、表定义、索引、约束和数据字典。用于数据库架构文档、ERD创建、数据字典编写、表关系文档、索引和约束文档、迁移文档和数据库设计规范。
数据公共客户端Skill datacommons-client
这个技能提供对Data Commons平台的程序化访问,用于查询和探索公共统计数据、知识图谱和实体标识符。适用于数据科学家、分析师和开发者获取人口统计、经济指标、健康数据、环境统计等全球权威数据,进行数据分析、建模和决策支持。关键词:Data Commons、API、统计数据、知识图谱、Python、数据工程、经济指标、人口统计、健康数据。
时间序列数据库技术Skill using-timeseries-databases
时间序列数据库技术用于高效存储和查询时间戳数据,如金融交易数据、物联网传感器、监控指标和日志。该技能涉及数据库选择(包括TimescaleDB、InfluxDB、ClickHouse、QuestDB)、连续聚合、降采样(LTTB算法)和保留策略优化,适用于构建实时仪表板、监控系统、物联网平台和金融应用。关键词:时间序列数据库、数据存储、查询优化、数据库技术、降采样、连续聚合。
阶段技能Skill stage
阶段技能用于将数据文件从登陆区移动到待处理区,执行解压缩和确认文件处理,是数据摄取管道的第一步,确保数据准备就绪供后续加载。关键词:数据阶段化、ETL、数据工程、ACK文件处理、数据管道、数据摄取、文件管理。
提取模式技能Skill extract-schema
这个技能用于从JDBC数据库提取数据库表模式(如列名、类型、约束),并生成Starlake YAML配置文件,是数据工程中反向工程数据库到Starlake项目的关键第一步。关键词包括:数据库模式提取、Starlake配置、YAML文件生成、ETL开发、数据治理、反向工程。
网页抓取技能Skill using-web-scraping
这个技能使用头less Chrome和DuckDuckGo进行网页抓取和搜索,专注于可靠导航、提取结构化文本、遵守robots.txt和速率限制。用于收集公开网页内容以进行摘要、元数据提取或链接发现。关键词:网页抓取、数据收集、Playwright、DuckDuckGo、自动化、数据提取、SEO优化。
DataEngineeringCommandCenterSkill afrexai-data-engineering
这是一套完整的数据工程指挥中心方法论,涵盖设计、构建、运营和扩展数据管道及基础设施。不依赖任何外部依赖,纯粹依靠代理技能。关键词包括数据架构评估、数据建模、管道设计模式、数据质量框架、性能优化、数据治理与目录、管道监控与告警、测试策略、成本优化、操作手册、高级模式。
MongoDB数据库操作技能Skill mongodb
这个技能提供MongoDB数据库的全面指导,涵盖文档操作、查询、聚合、索引和最佳实践,适用于处理MongoDB数据、编写高效查询和优化数据库设计的场景。关键词包括MongoDB、数据库管理、文档存储、NoSQL、查询优化、索引策略。
数据库优化技术Skill DatabaseOptimizationTechniques
数据库优化技术是一系列用于提升数据库查询性能、降低资源消耗、确保数据高效访问的方法和策略。关键词包括查询优化、索引策略、连接池、缓存策略、数据库维护等。