数据工程 Skill技能列表

弹性搜索Skill elasticsearch

4.5

提供关于Elasticsearch的全面指导,帮助用户掌握索引创建、数据搜索、聚合分析、映射配置和集群管理等核心功能。适用于开发搜索应用、进行大数据分析或管理分布式搜索系统。关键词:Elasticsearch, 搜索, 索引, 聚合, 映射, 集群管理, 数据分析。

WAP数据安全摄取技能Skill wap-ingestion

4.5

WAP数据安全摄取技能是一种基于写-审计-发布模式的数据工程解决方案,专门用于从AWS S3云存储安全导入数据到bauplan数据平台。该技能通过临时分支隔离、数据质量检查、原子性合并等机制,确保数据加载过程的安全可靠,防止脏数据污染生产环境。适用于金融风控、企业数据仓库、ETL流程、数据湖管理等场景,支持Parquet、CSV、JSONL等多种数据格式的安全摄取。

数据库索引策略Skill database-indexing-strategy

4.5

本技能涉及数据库索引策略的设计和实施,包括索引创建、查询性能优化、索引类型选择、复合和部分索引设计、索引维护和监控等,旨在提高数据库查询效率和数据完整性。

SQL开发Skill sql

4.5

SQL开发是一种专注于使用结构化查询语言进行数据库管理的技能,包括编写高效查询、优化执行计划、设计数据库模式和索引策略。它支持复杂操作如窗口函数、公共表表达式和递归查询,广泛应用于数据工程、后端开发和数据分析领域。关键词:SQL、数据库、查询优化、模式设计、数据工程、ETL、数据仓库。

DatabaseMonitoringSkill database-monitoring

4.5

数据库性能监控与健康检查指南,包含监控指标、查询优化、告警配置等关键实践。

数据库分片Skill database-sharding

4.5

这项技能涉及数据库的水平扩展,包括分片策略、一致性哈希、分片键选择和跨分片查询模式等关键技术,用于解决大型数据库的扩展性和性能问题。

PostgreSQL高级模式Skill postgres-advanced-patterns

4.5

PostgreSQL高级模式技能专注于数据库性能优化、复杂查询处理、索引策略和数据库设计。包含有效的索引创建、查询优化技巧、窗口函数、CTEs、JSON操作、分区、物化视图等高级功能。适用于后端开发人员、数据工程师和数据库管理员,提升PostgreSQL数据库的效率和可扩展性。关键词:PostgreSQL, 数据库优化, 性能调优, 查询优化, 索引策略, 数据库设计。

源编码技能Skill source-coding

4.5

该技能专注于信息论中的源编码问题,提供解决策略和工具,包括霍夫曼编码、算术编码、率失真理论等,用于优化数据压缩和编码效率。关键词:源编码,信息论,数据压缩,编码理论,熵。

时间序列数据库技术Skill using-timeseries-databases

4.5

时间序列数据库技术用于高效存储和查询时间戳数据,如金融交易数据、物联网传感器、监控指标和日志。该技能涉及数据库选择(包括TimescaleDB、InfluxDB、ClickHouse、QuestDB)、连续聚合、降采样(LTTB算法)和保留策略优化,适用于构建实时仪表板、监控系统、物联网平台和金融应用。关键词:时间序列数据库、数据存储、查询优化、数据库技术、降采样、连续聚合。

仪器数据到Allotrope转换器Skill instrument-data-to-allotrope

4.5

该技能用于将实验室仪器输出的文件(如PDF、CSV、Excel、TXT)转换为标准化的Allotrope Simple Model (ASM) JSON格式或扁平化的2D CSV,以支持数据标准化,便于集成到LIMS系统、数据湖或下游分析。功能包括自动检测仪器类型、生成完整的ASM JSON、扁平化CSV和可导出的Python解析代码,适用于数据工程团队。关键词:仪器数据转换,Allotrope格式,数据标准化,LIMS系统,数据工程,Python解析,实验室数据管理,ASM JSON,扁平化CSV。

网页抓取技能Skill using-web-scraping

4.5

这个技能使用头less Chrome和DuckDuckGo进行网页抓取和搜索,专注于可靠导航、提取结构化文本、遵守robots.txt和速率限制。用于收集公开网页内容以进行摘要、元数据提取或链接发现。关键词:网页抓取、数据收集、Playwright、DuckDuckGo、自动化、数据提取、SEO优化。

DatabaseMigrationsSkill DatabaseMigrations

4.5

数据库迁移是用于模式演变和数据转换的数据库迁移策略和工具,它们帮助团队以受控、可复现的方式发展数据库结构,同时维护数据完整性并最小化停机时间。