数据科学 Skill技能列表

4.5

数据迁移Skill data-migration

数据迁移技能专注于安全、高效地执行数据库和数据系统的迁移工作,包括规划迁移策略、实施数据转换、确保零停机部署以及设计回滚机制,以维护数据完整性和系统稳定性。关键词:数据库迁移,数据转换,零停机,安全架构,回滚策略,数据完整性。

4.5

Mermaid.jsv11图表生成Skill mermaidjs-v11

Mermaid.js v11 是一款强大的图表生成工具,允许用户通过简单的文本语法创建多种图表,如流程图、序列图、类图等,支持浏览器渲染、命令行转换和JavaScript API集成,广泛应用于技术文档、系统架构设计和项目管理中,关键词包括数据可视化、图表制作、Mermaid.js、技术文档。

4.5

统计建模与计量经济学分析Skill statsmodels

Statsmodels 是 Python 的一个开源库,专门用于统计建模、计量经济学分析和时间序列分析。它提供了广泛的统计方法,包括线性回归、广义线性模型、逻辑回归、ARIMA 等,用于数据分析和预测。关键词:统计建模,Python,回归分析,时间序列,计量经济学,假设检验,数据分析,预测建模。

4.5

ACL依赖关系图生成技能Skill acl-dependencies

该技能用于生成基于YAML配置中ACL(访问控制列表)定义的用户/组与数据库表之间访问权限的可视化依赖关系图。关键词:ACL、访问控制、依赖关系、可视化图、数据安全、权限管理、YAML配置、数据治理、DevOps工具。

4.5

ESLoad技能Skill esload

这是一个用于将数据从文件(如Parquet、JSON)加载到Elasticsearch索引的工具,支持自定义映射、文档ID和时间戳索引命名,适用于数据工程和ETL流程,方便数据集成与处理。关键词:Elasticsearch, 数据加载, Parquet, JSON, 映射, 文档ID, 时间戳索引, ETL, 数据工程。

4.5

提取BigQuery架构Skill extract-bq-schema

此技能用于直接从Google BigQuery数据集中提取表架构,并将其转换为Starlake YAML配置文件。适用于数据工程、ETL开发和数据仓库构建,提升元数据管理效率。关键词:BigQuery、架构提取、Starlake、YAML、数据工程、ETL、数据仓库、元数据。

4.5

Kafka数据加载技能Skill kafkaload

Kafka 数据加载技能是一个用于在 Apache Kafka 主题和文件系统之间高效传输数据的工具。它支持批处理和流式处理模式,提供数据转换功能,适用于数据集成、ETL 流程和大数据处理场景。关键词:Kafka、数据加载、数据卸载、批处理、流式处理、数据转换、ETL。

4.5

流处理Skill stream-processing

流处理技能专注于实时数据处理技术,用于构建事件驱动系统和流分析应用。它涉及使用框架如Apache Kafka、Apache Flink等处理无界数据流,支持低延迟响应、窗口操作、状态管理和精确一次交付。关键词:流处理、实时数据、事件流、Kafka、Flink、流分析、数据管道、事件驱动架构。

4.5

数据建模Skill data-modeling

数据建模是设计数据库模式、数据仓库和数据分析系统的核心技能,涵盖维度建模、星型模式、数据保险库等技术,用于优化数据存储和查询性能,支持操作型和分析型数据处理。关键词:数据建模,数据库设计,数据仓库,OLAP,OLTP,维度建模,星型模式,数据保险库。

4.5

数据流设计Skill data-flow

数据流设计技能用于根据需求描述设计和实施数据管道架构,包括数据源集成、转换处理、目标系统部署,支持批处理、流处理、Lambda、Kappa等多种模式,适用于数据仓库、数据湖、机器学习、商业智能等应用场景。关键词:数据管道、ETL、流处理、数据架构、数据工程、Spark、Flink、Kafka、数据湖仓。

4.5

数据架构Skill data-architecture

数据架构技能专注于现代数据平台设计,包括数据湖、数据湖屋、数据仓库和数据网格等模式的选用与实施,涉及数据存储策略、架构权衡和治理。关键词:数据架构、数据湖、数据湖屋、数据网格、数据平台设计、数据存储策略、ACID事务、数据治理。

4.5

Python科学计算技能Skill pycse

pycse 是一个 Python 库,用于科学和工程计算,提供自动计算置信区间和预测边界的回归分析、模型拟合、ODE 求解和缓存功能。简化数据分析和预测建模流程,提高效率,关键词:Python, 科学计算, 回归分析, 置信区间, 预测建模, 模型拟合, ODE, 缓存。