数据科学 Skill技能列表

4.5

数据管道架构师Skill data-pipeline-architect

数据管道架构师技能专注于设计和实现高效、可靠的数据处理流程,涵盖ETL与ELT模式、工作流编排、错误处理和数据质量验证,适用于数据仓库、数据湖等场景。关键词:数据管道、ETL开发、ELT模式、数据工程、数据质量、编排工具、Airflow、dbt、数据仓库、数据处理。

4.5

时间序列分析师Skill time-series-analyst

该技能专注于时间序列数据的分析,用于识别模式、趋势、季节性和异常,并通过统计方法如ARIMA和机器学习方法如Prophet进行预测。适用于数据分析、预测建模和量化金融等领域。关键词:时间序列分析、预测建模、异常检测、数据挖掘、机器学习。

4.5

ApacheBeam核心概念技能Skill beam-concepts

Apache Beam是一个用于批处理和流数据处理的开源编程模型,支持构建可移植的数据管道,适用于数据工程、ETL开发和云原生应用。关键词:数据处理、批处理、流处理、Apache Beam、数据管道、数据工程、ETL开发、云原生。

4.5

提取BigQuery架构Skill extract-bq-schema

此技能用于直接从Google BigQuery数据集中提取表架构,并将其转换为Starlake YAML配置文件。适用于数据工程、ETL开发和数据仓库构建,提升元数据管理效率。关键词:BigQuery、架构提取、Starlake、YAML、数据工程、ETL、数据仓库、元数据。

4.5

比较Skill compare

此 Starlake compare 技能用于数据工程项目的版本对比,生成差异报告,支持 Git 集成、文件路径和标签比较,便于审查 schema 更改、配置更新和发布管理。关键词包括 Starlake、比较、差异报告、schema 变化、数据工程、Git 版本控制、ETL 开发、数据治理,提升项目管理效率。

4.5

电子书文本提取器Skill ebook-extractor

这是一个Python工具技能,用于从EPUB、MOBI和PDF电子书中提取纯文本,支持自动化转换和分析,适用于数据处理、文本挖掘、电子书阅读和自动化处理。关键词:电子书提取、文本转换、Python脚本、数据处理、自动化工具、电子书分析。

4.5

数据完整性守护者Skill data-integrity-guardian

数据完整性守护者是一种专注于数据库迁移安全、数据约束验证、事务边界审查、引用完整性保护和隐私合规的技能。用于确保数据库操作的可靠性,防止数据丢失和腐败,维护数据治理标准。关键词:数据完整性、数据库迁移、数据治理、ACID属性、GDPR合规、数据安全、事务管理、引用完整性、隐私保护。

4.5

数据迁移专家Skill data-migration-expert

此技能用于数据库迁移过程中的数据完整性和安全性验证,确保数据无损坏。通过检查ID映射、交换值、回滚策略等,防止迁移错误。关键词:数据迁移、数据库安全、完整性验证、ID映射检查、回滚安全、迁移审查。

4.5

数据完整性守护者Skill data-integrity-guardian

数据完整性守护者是一个专注于数据库迁移安全、数据完整性验证和隐私合规的技能。它用于审查数据库迁移、验证数据约束、确保事务完整性和隐私要求合规,以保护数据免于丢失或损坏。关键词:数据库安全,数据迁移,完整性检查,隐私合规,数据治理,ACID属性。

4.5

研究技能Skill research

这个技能帮助用户研究预测市场,提供基础率分析、解决规则查询和历史类比功能,用于市场预测和数据分析。关键词:市场研究、基础率、解决规则、历史数据、预测分析、量化金融、数据科学

4.5

Python数据管道开发Skill python-pipeline

该技能用于构建模块化的Python数据处理管道,支持工作流协调、内容类型调度、Google Sheets/Drive API集成和AI服务应用。适用于内容处理、批量处理系统和数据工程场景,提高数据处理效率和自动化水平。关键词:Python、数据管道、模块化架构、调度器、Google Sheets集成、AI集成、ETL、数据处理、批量处理、工作流自动化。

4.5

ACL依赖关系图生成技能Skill acl-dependencies

该技能用于生成基于YAML配置中ACL(访问控制列表)定义的用户/组与数据库表之间访问权限的可视化依赖关系图。关键词:ACL、访问控制、依赖关系、可视化图、数据安全、权限管理、YAML配置、数据治理、DevOps工具。