数据科学 Skill技能列表

Starlake配置技能(完整参考)Skill config

4.5

这个技能提供了Starlake数据管道配置的完整参考指南,涵盖环境变量配置、JSON模式验证、生产最佳实践等,适用于数据工程师、ETL开发人员和数据架构师,帮助构建高效的数据处理流程。关键词:Starlake,数据工程,ETL,配置,YAML,JSON模式,数据管道,最佳实践。

数据工程Skill data-engineering

4.5

数据工程是一门专注于设计、构建和维护数据管道、数据仓库以及数据质量验证的学科。它核心涉及ETL(提取、转换、加载)流程、使用Apache Spark进行大数据处理、实施数据质量检查,以及设计星型模式等数据仓库结构,旨在确保数据的可靠性、可用性和高效分析,适用于数据驱动决策和商业智能应用。关键词:数据工程,ETL管道,数据仓库,Apache Spark,数据质量,数据沿袭,大数据处理。

Seaborn数据可视化库Skill seaborn

4.5

Seaborn 是一个强大的Python数据可视化库,专注于统计图形,帮助数据分析师和科学家快速探索数据分布、关系和模式。它集成pandas,提供美观的默认主题和颜色调色板,支持多种图表类型如散点图、线图、箱线图、热图等,适用于探索性数据分析和报告制作。关键词:Python数据可视化,统计图形,Seaborn库,探索性数据分析,图表制作。

数据库优化器Skill database-optimizer

4.5

数据库优化器是一个专业的数据库性能调优工具,专注于查询优化、索引设计、执行计划分析和数据库配置调优。支持PostgreSQL、MySQL、MongoDB、Redis等主流数据库系统,通过系统化方法解决慢查询、高负载、连接超时等性能问题,实现亚秒级响应和最优资源利用率。关键词:数据库优化、查询性能调优、索引策略、执行计划分析、数据库配置、慢查询优化、OLTP性能、数据库监控、容量规划、水平扩展。

混合整数优化Skill mixed-integer-optimization

4.5

混合整数优化是一种数学规划技术,用于解决包含离散变量和连续变量的优化问题。该技能涵盖混合整数线性规划(MILP)和混合整数非线性规划(MINLP)的建模与求解方法,包括分支定界算法、割平面法、Big-M重构、指示约束等关键技术。适用于资源分配、生产调度、投资组合优化、路径规划等需要离散决策的实际场景。关键词:混合整数规划,MILP,MINLP,优化算法,数学建模,运筹学,离散优化,分支定界,Gurobi,CPLEX。

时序数据库技能Skill timescaledb

4.5

Timescaledb技能提供全面的时序数据库开发支持,涵盖超表管理、连续聚合、数据压缩和实时分析等核心功能。本技能专为数据库开发者、数据工程师和DevOps团队设计,包含官方文档、代码示例和最佳实践指南,帮助用户高效处理时间序列数据,优化查询性能,实现大规模时序数据存储与分析解决方案。

映射可视化框架Skill mapping-visualization-scaffolds

4.5

这个技能用于创建视觉映射,通过图表、概念地图和架构蓝图文档化复杂系统的关系、依赖和结构,适用于系统理解、知识组织、流程文档化和战略可视化。关键词:映射可视化、系统架构、数据可视化、信息架构、概念地图、依赖图。

Dask并行计算Skill dask

4.5

Dask是一个Python并行和分布式计算库,用于处理超出内存的大型数据集,并行化pandas和NumPy操作,支持ETL开发、数据工程和科学计算。关键词:Python、并行计算、分布式计算、大数据、数据处理、ETL、数据科学。

数据处理器Skill data-processor

4.5

数据处理器是一个用于处理和验证各种数据输入的工具,适用于数据清洗、验证和预处理。关键词包括数据处理、数据验证、Python工具、数据输入处理,方便SEO搜索和数据管理应用。

数据库管理Skill managing-databases

4.5

数据库管理技能专注于指导PostgreSQL、DuckDB、Parquet和PGVector的架构决策,用于设计数据库模式、选择存储策略、优化查询性能、调整维护配置、实施向量搜索,并诊断OLTP、OLAP和相似性搜索工作负载中的性能问题。关键词:数据库管理,PostgreSQL,DuckDB,Parquet,PGVector,架构设计,性能优化,数据工程。

KPI仪表板设计Skill kpi-dashboard-design

4.5

这个技能用于设计和构建关键绩效指标仪表板,以清晰展示业务指标、支持数据分析和决策制定。关键词包括KPI、仪表板、数据可视化、商业智能、数据分析、指标监控。

Metaculus预测平台集成Skill metaculus

4.5

此技能集成Metaculus社区预测平台,允许用户搜索预测问题、查看详细预测概率、参与预测比赛等,适用于概率分析和预测建模。关键词:预测平台、社区预测、概率分析、预测建模、Metaculus。