数据科学 Skill技能列表
Pymoo多目标优化框架Skill pymoo
Pymoo是一个Python多目标优化框架,用于解决单目标和多目标优化问题。它支持NSGA-II、NSGA-III、MOEA/D等算法,处理Pareto前沿、约束条件,并提供基准测试问题如ZDT、DTLZ。适用于工程设计、机器学习、量化金融等领域的优化任务。关键词:多目标优化、Python框架、NSGA-II、Pareto前沿、约束处理。
D3.js可视化Skill d3-viz
本技能专注于使用 D3.js 创建自定义和交互式数据可视化,适用于图表、图形、网络图、地理可视化等复杂场景,提供精细控制、过渡动画和丰富交互,助力数据分析和展示,关键词:数据可视化、D3.js、交互式图表、自定义图形、SVG。
Mermaid图表在Obsidian中的应用Skill mermaid-diagramming
使用Mermaid在Obsidian中创建和可视化各种类型的图表,如流程图、序列图、类图等,以帮助理解和展示复杂信息和系统架构。
DatabaseLockingStrategiesSkill DatabaseLockingStrategies
数据库锁定策略是用于管理共享数据并发访问的机制,确保数据完整性,防止多个事务同时以可能造成不一致的方式修改相同数据。关键概念包括并发控制、锁定类型(共享锁定、独占锁定)、锁定粒度(行级、页面级、表级锁定)以及多版本并发控制(MVCC)。此技能涉及数据库事务、锁定机制、隔离级别和死锁处理等。
数据可视化分析师Skill data-visualization-analyst
数据可视化技能专注于通过引导数据清理和图表设计过程,生成具备清晰叙事框架的高质量可视化输出,旨在创建准确、准备出版的可视化以传达分析故事,支持决策制定。关键词包括数据可视化、数据分析、数据清理、图表设计、python数据可视化、数据故事。
ApacheBeam核心概念技能Skill beam-concepts
Apache Beam是一个用于批处理和流数据处理的开源编程模型,支持构建可移植的数据管道,适用于数据工程、ETL开发和云原生应用。关键词:数据处理、批处理、流处理、Apache Beam、数据管道、数据工程、ETL开发、云原生。
ZarrPython数据存储库Skill zarr-python
Zarr Python 是一个用于云存储的分块 N 维数组库,支持压缩、并行 I/O 和与 NumPy、Dask、Xarray 的集成,专为大规模科学计算和数据处理而设计。关键词:数据存储、并行计算、云计算、科学计算、大数据处理、Python 库。
Polars数据处理库Skill polars
Polars是一个基于Apache Arrow的快速内存DataFrame库,支持惰性评估和并行执行,适用于处理1-100GB的数据集,用于ETL管道、数据清洗、数据分析、pandas迁移和数据管道优化,提高数据处理效率和性能。关键词:数据处理,DataFrame,Apache Arrow,ETL,数据工程,数据科学,并行执行,内存计算。
数据架构Skill data-architecture
数据架构技能专注于现代数据平台设计,包括数据湖、数据湖屋、数据仓库和数据网格等模式的选用与实施,涉及数据存储策略、架构权衡和治理。关键词:数据架构、数据湖、数据湖屋、数据网格、数据平台设计、数据存储策略、ACID事务、数据治理。
收入预测引擎Skill afrexai-revenue-forecasting
收入预测引擎是一个基于数据的SaaS收入预测工具,通过管道加权预测、客户队列分析、情景建模、季节性调整和领先指标跟踪,为企业提供准确可靠的收入预测模型。适用于SaaS公司、B2B企业、财务分析师和投资者进行收入预测、财务建模、风险管理和商业决策。
插值逼近Skill interpolation-approximation
插值逼近是一种数值分析方法,用于通过已知数据点构建函数或曲线,实现数据拟合、函数近似和预测建模。核心功能包括多项式插值、样条插值、最小二乘拟合和误差分析,广泛应用于量化金融、数据科学、工程计算和科学研究等领域。关键词:插值方法、逼近算法、数据拟合、数值分析、函数近似、量化金融、预测建模、误差估计。
Starlake配置技能(完整参考)Skill config
这个技能提供了Starlake数据管道配置的完整参考指南,涵盖环境变量配置、JSON模式验证、生产最佳实践等,适用于数据工程师、ETL开发人员和数据架构师,帮助构建高效的数据处理流程。关键词:Starlake,数据工程,ETL,配置,YAML,JSON模式,数据管道,最佳实践。