数据科学 Skill技能列表

⚡

数据分析工程Skill data-analytics-engineering

4.5

数据分析工程是一种技能,专注于构建可靠的数据指标和准备商业智能(BI)系统。它涉及定义指标和维度模型、构建数据转换层、实施数据质量测试、以及文档化数据集和数据血统。适用于需要数据建模、指标定义或分析数据处理的场景。关键词:数据分析工程、数据建模、指标定义、数据质量、BI准备、dbt、SQL转换。

⚡

查询专家Skill query-expert

4.5

查询专家技能用于掌握和优化SQL及NoSQL数据库查询,生成高效查询、分析性能、设计索引并解决慢查询问题。关键词:数据库查询、SQL优化、性能分析、索引设计、查询调试、NoSQL、EXPLAIN计划、聚合管道、GraphQL、ETL开发。

⚡

ClassificationModelingSkill ClassificationModeling

4.5

构建用于分类预测和分类的二元和多类分类模型

⚡

KPIDashboardDesignSkill kpi-dashboard-design

4.5

设计和构建跟踪关键绩效指标的仪表盘。选择相关指标,有效可视化数据,并与利益相关者沟通洞察。

⚡

创业趋势预测Skill startup-trend-prediction

4.5

这个技能提供系统化框架,通过分析2-3年的历史信号来预测未来1-2年的市场、技术或业务模型趋势。它结合采用曲线、周期模式和信号分析,评估市场进入时机(如进入/等待/避免),支持决策制定,包括趋势轨迹(上升/峰值/下降)、采用阶段识别等。关键词:趋势预测、市场分析、创业时机、数据驱动决策、采用曲线、市场进入、周期模式、信号分析。

⚡

数据迁移专家Skill data-migration-expert

4.5

此技能用于数据库迁移过程中的数据完整性和安全性验证,确保数据无损坏。通过检查ID映射、交换值、回滚策略等,防止迁移错误。关键词:数据迁移、数据库安全、完整性验证、ID映射检查、回滚安全、迁移审查。

⚡

预加载技能Skill preload

4.5

该技能用于在数据加载流程中检查landing或pending区域的文件可用性,确保文件就绪后触发加载,适用于数据工程、ETL开发和自动化编排,关键词:文件检查、数据加载、编排、ETL、数据仓库、预加载。

⚡

DAG部署技能Skill dag-deploy

4.5

DAG部署技能专用于自动化部署生成的DAG文件到目标目录,如Airflow DAGs文件夹,支持清理和文件组织,优化数据管道管理,适用于数据工程、ETL开发和DevOps场景,提升数据工作流效率。

⚡

Python数据管道开发Skill python-pipeline

4.5

该技能用于构建模块化的Python数据处理管道,支持工作流协调、内容类型调度、Google Sheets/Drive API集成和AI服务应用。适用于内容处理、批量处理系统和数据工程场景,提高数据处理效率和自动化水平。关键词:Python、数据管道、模块化架构、调度器、Google Sheets集成、AI集成、ETL、数据处理、批量处理、工作流自动化。

⚡

日志解析与导入SOPSkill "self/import/file_path"

4.5

此技能是定义和执行日志解析的标准操作程序(SOP),用于处理Apache、Nginx、Syslog、JSON和自定义等多种日志格式,通过数据类和LogEntry类表示解析后的日志条目。它帮助用户标准化日志处理流程,提高数据解析效率,便于数据收集和分析。关键词:日志解析、SOP、文件导入、Apache日志、Nginx日志、Syslog、JSON日志、自定义日志、数据工程、数据类、LogEntry。

⚡

引导技能Skill bootstrap

4.5

引导技能是Starlake数据工程工具的核心功能,用于快速创建新的项目结构和配置文件。它支持使用模板进行项目搭建,包含标准目录、配置示例和数据,适用于数据工程师进行ETL开发、数据加载和转换。关键词:Starlake、项目引导、模板、配置、数据工程、ETL开发。

⚡

PDF处理Skill pdf

4.5

PDF处理技能用于通过编程方式提取PDF文档中的文本和表格,创建、合并、分割PDF文件,以及填充表单。适用于文档自动化处理、数据提取和分析,常用于数据工程和软件开发场景。在股票量化交易中,此技能可辅助处理财务报告和交易文档,提取关键数据进行分析。关键词:PDF处理,文档提取,Python库,数据工程,自动化处理,量化交易,数据提取。