数据科学 Skill技能列表
Mermaid图表在Obsidian中的应用Skill mermaid-diagramming
使用Mermaid在Obsidian中创建和可视化各种类型的图表,如流程图、序列图、类图等,以帮助理解和展示复杂信息和系统架构。
表依赖关系生成器Skill table-dependencies
该技能用于根据数据库表中的外键关系,自动生成可视化表依赖图,帮助理解数据模型结构。关键词:表依赖、实体关系图、数据模型、可视化、YAML配置、数据库设计、数据工程。
提取技能Skill extract
提取技能是Starlake工具中的一项功能,用于从JDBC数据库源提取模式和数据。它将数据库模式的元数据提取为YAML文件,并将实际数据提取到文件中。这个技能结合了模式提取和数据提取,是一个方便的ETL命令,适用于数据工程、数据仓库和ETL开发工作流,帮助自动化数据处理任务。关键词:数据提取,数据库模式,JDBC,ETL,数据工程,数据仓库,Starlake。
AIOS商业分析师Skill aios-analyst
AIOS 商业分析师是一个智能工具,用于商业分析,支持市场研究、竞争分析、用户研究、头脑风暴、结构化创意工作坊、可行性研究和行业趋势分析。关键词:商业分析,市场研究,竞争分析,用户研究,头脑风暴,可行性研究,行业趋势,SEO。
音频声谱图生成工具Skill songsee
songsee是一个命令行工具,专门用于从音频文件中生成高质量的声谱图和多种特征面板可视化,支持时间切片、调色板选择、FFT设置和多种音频格式处理。它适用于音乐分析、音频数据处理、科研、音效设计和数据可视化领域。关键词:音频分析、声谱图、可视化、CLI工具、特征提取、音频处理。
数据管道架构师Skill data-pipeline-architect
数据管道架构师技能专注于设计和实现高效、可靠的数据处理流程,涵盖ETL与ELT模式、工作流编排、错误处理和数据质量验证,适用于数据仓库、数据湖等场景。关键词:数据管道、ETL开发、ELT模式、数据工程、数据质量、编排工具、Airflow、dbt、数据仓库、数据处理。
电子书文本提取器Skill ebook-extractor
这是一个Python工具技能,用于从EPUB、MOBI和PDF电子书中提取纯文本,支持自动化转换和分析,适用于数据处理、文本挖掘、电子书阅读和自动化处理。关键词:电子书提取、文本转换、Python脚本、数据处理、自动化工具、电子书分析。
预测市场技能Skill markets
此技能用于搜索和比较预测市场数据,支持Polymarket、Kalshi、Manifold和Metaculus等平台,提供实时价格和订单簿信息,帮助用户进行市场分析和投资决策。关键词:预测市场、数据搜索、价格查看、平台比较、量化金融、市场分析、SEO优化。
自动加载Skill autoload
自动加载技能通过监控传入目录,自动推断数据文件的模式,生成配置文件,并将数据高效加载到数据仓库中,适用于快速数据集成和ETL流程优化,关键词包括:自动加载、模式推断、数据仓库、ETL、数据工程。
索引技能Skill index
索引技能是一个命令行工具,用于将数据索引到Elasticsearch中,作为esload命令的别名,适用于数据加载、搜索优化和数据管道集成。关键词:数据索引、Elasticsearch、数据工程、ETL、搜索、数据加载。
YAML转Excel转换器Skill yml2xls
该技能用于将 Starlake YAML 数据定义转换为 Excel 电子表格,便于与非技术用户共享数据模型,支持 YAML 和 Excel 之间的双向转换,适用于数据工程、数据治理和数据处理工作流。关键词:YAML 转 Excel, Starlake 数据转换, 数据模型共享, 数据工程工具, ETL 开发, 数据可视化。
Polars数据处理库Skill polars
Polars是一个基于Apache Arrow的快速内存DataFrame库,支持惰性评估和并行执行,适用于处理1-100GB的数据集,用于ETL管道、数据清洗、数据分析、pandas迁移和数据管道优化,提高数据处理效率和性能。关键词:数据处理,DataFrame,Apache Arrow,ETL,数据工程,数据科学,并行执行,内存计算。