数据科学 Skill技能列表
Plotly可视化库Skill plotly
Plotly 是一个功能强大的 Python 库,专门用于创建交互式和高质量的图表,支持散点图、线图、条形图、热力图、K线图等40多种图表类型,广泛应用于数据分析、科学可视化和金融图表创建。关键词:交互式可视化、Python 绘图库、数据可视化、图表工具、数据分析、科学图表、金融图表。
Matplotlib可视化技能Skill matplotlib
Matplotlib是Python的基础可视化库,用于创建静态、动画和交互式图表,支持高度自定义,适用于数据科学、学术研究和商业报告。关键词:数据可视化、Python绘图、科学图表、自定义绘图、图表库、可视化工具。
数据库查询与导出Skill database-query-and-export
这个技能用于查询SQLite、PostgreSQL和MySQL数据库,并将结果导出到CSV或JSON格式。适用于数据提取、报告生成、备份迁移、数据分析工作流和自动化数据库查询。关键词包括数据库查询、数据导出、CSV导出、JSON导出、SQLite、PostgreSQL、MySQL、数据工程、ETL。
Python优化Skill python-optimization
Python优化技能提供数学优化在Python中的全面指导,包括问题分类、库选择(如scipy、pyomo、cvxpy、GEKKO)、求解器配置和实现模式,适用于线性规划、二次规划、非线性规划、混合整数规划、凸优化和全局优化问题。关键词:Python优化,数学优化,scipy,pyomo,cvxpy,GEKKO,线性规划,非线性规划,优化算法,参数估计。
Excel转YML转换器Skill xls2yml
Excel转YML转换器是一款将Excel表格中的域和表架构转换为Starlake YAML配置文件的工具。适用于数据工程团队,简化数据模型管理流程,支持批量文件转换、自定义输出目录、IAM策略标签集成等功能,提高数据治理效率。关键词:Excel转YML、Starlake、数据工程、配置管理、ETL开发、数据治理。
阶段技能Skill stage
阶段技能用于将数据文件从登陆区移动到待处理区,执行解压缩和确认文件处理,是数据摄取管道的第一步,确保数据准备就绪供后续加载。关键词:数据阶段化、ETL、数据工程、ACK文件处理、数据管道、数据摄取、文件管理。
作业技能Skill job
starlake作业技能是用于运行数据处理作业的命令行工具,作为transform命令的别名,支持运行指定作业及其递归依赖,适用于数据工程和ETL开发场景。关键词:starlake, 作业, transform, 数据处理, ETL, 命令行, 数据转换, 数据仓库, 自动化任务。
模式推断Skill infer-schema
这个技能用于从数据文件(如CSV、JSON、XML、Parquet)中自动推断出Starlake表的模式,并生成对应的YAML配置文件。适用于数据工程中的模式发现、元数据管理和ETL开发流程,帮助数据团队快速建立数据结构。关键词:数据模式推断,ETL开发,YAML配置,文件分析,元数据生成。
索引技能Skill index
索引技能是一个命令行工具,用于将数据索引到Elasticsearch中,作为esload命令的别名,适用于数据加载、搜索优化和数据管道集成。关键词:数据索引、Elasticsearch、数据工程、ETL、搜索、数据加载。
提取脚本技能Skill extract-script
提取脚本技能能够从 Mustache 或 SSP 模板自动生成 SQL DDL 脚本,适用于不同数据库平台,支持自定义提取、增量更新和审计功能,提升数据库脚本开发效率。关键词:提取脚本、Mustache 模板、SSP 模板、SQL DDL、数据库脚本生成、增量提取、审计模式。
提取模式技能Skill extract-schema
这个技能用于从JDBC数据库提取数据库表模式(如列名、类型、约束),并生成Starlake YAML配置文件,是数据工程中反向工程数据库到Starlake项目的关键第一步。关键词包括:数据库模式提取、Starlake配置、YAML文件生成、ETL开发、数据治理、反向工程。
提取BigQuery架构Skill extract-bq-schema
此技能用于直接从Google BigQuery数据集中提取表架构,并将其转换为Starlake YAML配置文件。适用于数据工程、ETL开发和数据仓库构建,提升元数据管理效率。关键词:BigQuery、架构提取、Starlake、YAML、数据工程、ETL、数据仓库、元数据。