数据科学 Skill技能列表
数据工程Skill data-engineering
数据工程是一门专注于设计、构建和维护数据管道、数据仓库以及数据质量验证的学科。它核心涉及ETL(提取、转换、加载)流程、使用Apache Spark进行大数据处理、实施数据质量检查,以及设计星型模式等数据仓库结构,旨在确保数据的可靠性、可用性和高效分析,适用于数据驱动决策和商业智能应用。关键词:数据工程,ETL管道,数据仓库,Apache Spark,数据质量,数据沿袭,大数据处理。
ZarrPython数据存储库Skill zarr-python
Zarr Python 是一个用于云存储的分块 N 维数组库,支持压缩、并行 I/O 和与 NumPy、Dask、Xarray 的集成,专为大规模科学计算和数据处理而设计。关键词:数据存储、并行计算、云计算、科学计算、大数据处理、Python 库。
可视化检查Skill visualization-check
可视化检查是一个用于审查数据可视化图表清晰度的技能,通过上下文无关的智能代理作为天真读者,确保图表在无额外上下文中能清晰传达核心信息。适用于R或Python绘图脚本的迭代优化,关键词包括数据可视化、图表审查、可视化最佳实践、R脚本、Python脚本和上下文无关审查。
SaaS财务指标速查表Skill finance-metrics-quickref
此技能提供SaaS公司财务指标的快速参考,包括公式、基准和决策框架,适用于产品经理、投资者和财务人员快速查询、评估业务健康、进行决策支持。关键词:SaaS、财务指标、快速参考、决策框架、业务分析、数据驱动。
需求预测器Skill demand-forecaster
需求预测器是一种用于商业运营和供应链管理的专业技能,专注于利用时间序列分析、因果建模和机器学习等方法,对未来需求进行精准预测。该技能涵盖预测准确性评估(如MAPE、MAE、偏差)、季节性调整、新产品预测以及协同预测流程,旨在优化库存管理、产能规划和销售运营。关键词:需求预测,时间序列分析,ARIMA,指数平滑,机器学习预测,预测准确性,MAPE,偏差校正,供应链管理,销售与运营规划。
Clari预测Skill clari-forecasting
Clari预测技能是一个与Clari收入运营平台集成的工具,专注于利用人工智能技术进行数据驱动的销售预测和收入分析。它提供AI预测、销售管道健康检查、交易活动信号监控和情景建模等功能,帮助销售团队将预测从主观判断转变为基于数据的科学决策,从而提高预测准确性、识别风险交易并优化销售策略。 关键词:Clari预测,AI销售预测,收入运营平台,销售管道分析,交易风险评估,数据驱动预测,情景建模,销售预测工具,商业智能,CRM集成
Dask并行计算Skill dask
Dask是一个Python并行和分布式计算库,用于处理超出内存的大型数据集,并行化pandas和NumPy操作,支持ETL开发、数据工程和科学计算。关键词:Python、并行计算、分布式计算、大数据、数据处理、ETL、数据科学。
ACL依赖关系图生成技能Skill acl-dependencies
该技能用于生成基于YAML配置中ACL(访问控制列表)定义的用户/组与数据库表之间访问权限的可视化依赖关系图。关键词:ACL、访问控制、依赖关系、可视化图、数据安全、权限管理、YAML配置、数据治理、DevOps工具。
DatabaseLockingStrategiesSkill DatabaseLockingStrategies
数据库锁定策略是用于管理共享数据并发访问的机制,确保数据完整性,防止多个事务同时以可能造成不一致的方式修改相同数据。关键概念包括并发控制、锁定类型(共享锁定、独占锁定)、锁定粒度(行级、页面级、表级锁定)以及多版本并发控制(MVCC)。此技能涉及数据库事务、锁定机制、隔离级别和死锁处理等。
数据库管理Skill managing-databases
数据库管理技能专注于指导PostgreSQL、DuckDB、Parquet和PGVector的架构决策,用于设计数据库模式、选择存储策略、优化查询性能、调整维护配置、实施向量搜索,并诊断OLTP、OLAP和相似性搜索工作负载中的性能问题。关键词:数据库管理,PostgreSQL,DuckDB,Parquet,PGVector,架构设计,性能优化,数据工程。
数据处理器Skill data-processor
数据处理器是一个用于处理和验证各种数据输入的工具,适用于数据清洗、验证和预处理。关键词包括数据处理、数据验证、Python工具、数据输入处理,方便SEO搜索和数据管理应用。
数据管道架构师Skill data-pipeline-architect
数据管道架构师技能专注于设计和实现高效、可靠的数据处理流程,涵盖ETL与ELT模式、工作流编排、错误处理和数据质量验证,适用于数据仓库、数据湖等场景。关键词:数据管道、ETL开发、ELT模式、数据工程、数据质量、编排工具、Airflow、dbt、数据仓库、数据处理。