数据科学 Skill技能列表
DatabaseLockingStrategiesSkill DatabaseLockingStrategies
数据库锁定策略是用于管理共享数据并发访问的机制,确保数据完整性,防止多个事务同时以可能造成不一致的方式修改相同数据。关键概念包括并发控制、锁定类型(共享锁定、独占锁定)、锁定粒度(行级、页面级、表级锁定)以及多版本并发控制(MVCC)。此技能涉及数据库事务、锁定机制、隔离级别和死锁处理等。
DatabaseMigrationsSkill DatabaseMigrations
数据库迁移是用于模式演变和数据转换的数据库迁移策略和工具,它们帮助团队以受控、可复现的方式发展数据库结构,同时维护数据完整性并最小化停机时间。
数据库优化技术Skill DatabaseOptimizationTechniques
数据库优化技术是一系列用于提升数据库查询性能、降低资源消耗、确保数据高效访问的方法和策略。关键词包括查询优化、索引策略、连接池、缓存策略、数据库维护等。
引导技能Skill bootstrap
引导技能是Starlake数据工程工具的核心功能,用于快速创建新的项目结构和配置文件。它支持使用模板进行项目搭建,包含标准目录、配置示例和数据,适用于数据工程师进行ETL开发、数据加载和转换。关键词:Starlake、项目引导、模板、配置、数据工程、ETL开发。
转换技能Skill transform
转换技能用于执行SQL或Python数据转换任务,支持从源表读取数据并写入目标表,具备依赖管理、多种写入策略和递归执行功能。适用于数据工程、ETL开发、数据仓库构建和数据处理流程,关键词包括SQL转换、Python脚本、数据管道、ETL工具、数据集成、数据科学、数据库管理。
Excel转YML转换器Skill xls2yml
Excel转YML转换器是一款将Excel表格中的域和表架构转换为Starlake YAML配置文件的工具。适用于数据工程团队,简化数据模型管理流程,支持批量文件转换、自定义输出目录、IAM策略标签集成等功能,提高数据治理效率。关键词:Excel转YML、Starlake、数据工程、配置管理、ETL开发、数据治理。
日志解析与导入SOPSkill "self/import/file_path"
此技能是定义和执行日志解析的标准操作程序(SOP),用于处理Apache、Nginx、Syslog、JSON和自定义等多种日志格式,通过数据类和LogEntry类表示解析后的日志条目。它帮助用户标准化日志处理流程,提高数据解析效率,便于数据收集和分析。关键词:日志解析、SOP、文件导入、Apache日志、Nginx日志、Syslog、JSON日志、自定义日志、数据工程、数据类、LogEntry。
创业趋势预测Skill startup-trend-prediction
这个技能提供系统化框架,通过分析2-3年的历史信号来预测未来1-2年的市场、技术或业务模型趋势。它结合采用曲线、周期模式和信号分析,评估市场进入时机(如进入/等待/避免),支持决策制定,包括趋势轨迹(上升/峰值/下降)、采用阶段识别等。关键词:趋势预测、市场分析、创业时机、数据驱动决策、采用曲线、市场进入、周期模式、信号分析。
ACL依赖关系图生成技能Skill acl-dependencies
该技能用于生成基于YAML配置中ACL(访问控制列表)定义的用户/组与数据库表之间访问权限的可视化依赖关系图。关键词:ACL、访问控制、依赖关系、可视化图、数据安全、权限管理、YAML配置、数据治理、DevOps工具。
DAG生成技能Skill dag-generate
该技能用于从 Starlake 项目配置自动生成 Airflow 或 Dagster 的 DAG(有向无环图)文件,支持数据加载和变换任务的编排,适用于数据工程、ETL 开发和自动化工作流管理。关键词:DAG, Airflow, Dagster, Starlake, 数据工程, ETL, 任务编排, 工作流。
AIOS商业分析师Skill aios-analyst
AIOS 商业分析师是一个智能工具,用于商业分析,支持市场研究、竞争分析、用户研究、头脑风暴、结构化创意工作坊、可行性研究和行业趋势分析。关键词:商业分析,市场研究,竞争分析,用户研究,头脑风暴,可行性研究,行业趋势,SEO。
Kafka数据加载技能Skill kafkaload
Kafka 数据加载技能是一个用于在 Apache Kafka 主题和文件系统之间高效传输数据的工具。它支持批处理和流式处理模式,提供数据转换功能,适用于数据集成、ETL 流程和大数据处理场景。关键词:Kafka、数据加载、数据卸载、批处理、流式处理、数据转换、ETL。