数据科学 Skill技能列表
scikit-survival生存分析技能Skill scikit-survival
scikit-survival 是一个用于生存分析和时间到事件建模的 Python 工具包。它适用于处理截尾数据、拟合 Cox 模型、随机生存森林、梯度提升模型或生存 SVM,使用一致性指数或 Brier 分数评估预测,处理竞争风险,或实现任何生存分析工作流。关键词:生存分析,时间到事件建模,截尾数据,Cox 模型,随机生存森林,梯度提升,生存 SVM,一致性指数,Brier 分数,竞争风险,Python 库,预测建模。
数据建模Skill data-modeling
数据建模是设计数据库模式、数据仓库和数据分析系统的核心技能,涵盖维度建模、星型模式、数据保险库等技术,用于优化数据存储和查询性能,支持操作型和分析型数据处理。关键词:数据建模,数据库设计,数据仓库,OLAP,OLTP,维度建模,星型模式,数据保险库。
表依赖关系生成器Skill table-dependencies
该技能用于根据数据库表中的外键关系,自动生成可视化表依赖图,帮助理解数据模型结构。关键词:表依赖、实体关系图、数据模型、可视化、YAML配置、数据库设计、数据工程。
数据库-SnowflakeSkill database-snowflake
该技能用于执行Snowflake数据仓库的SQL查询、列出数据库表和检查数据模式。提供脚本工具以方便数据探索和分析,适用于数据工程和商业智能场景。关键词:Snowflake、数据仓库、SQL查询、模式检查、数据管理。
数据加载技能Skill load
此技能用于将数据文件从待处理区域高效加载到数据仓库中,实现ETL(提取、转换、加载)过程。它包括数据验证以符合模式、应用写策略(如APPEND、OVERWRITE)、强制执行数据质量期望(如唯一性检查)和隐私转换。支持多种文件格式(JSON、CSV、XML),并通过配置灵活管理数据加载。关键词:数据加载,ETL,数据仓库,数据验证,写策略,数据质量,隐私转换,文件格式,配置管理。
Parquet转CSV工具Skill parquet2csv
这个技能用于将Parquet格式的数据文件转换为CSV格式,实现数据格式转换和导出功能。适用于数据工程、ETL处理和数据兼容性场景。关键词:Parquet, CSV, 数据转换, Spark, 数据导出, 格式转换, 数据工程。
GreatExpectations数据质量验证器Skill great-expectations-validator
Great Expectations 数据质量验证器是一个专业的数据治理工具,用于自动化数据质量检查、模式验证和期望测试。它支持创建期望套件、生成数据文档、集成机器学习管道,并提供全面的数据质量监控解决方案。关键词:数据质量验证、Great Expectations、期望套件、数据治理、机器学习管道、自动化测试、数据文档、ETL验证、数据工程、数据科学工具。
Tableau分析技能Skill tableau-analytics
Tableau分析技能是一个商业智能集成工具,专注于Tableau仪表板数据提取、可视化生成和嵌入式分析。它主要用于销售数据分析、绩效仪表板制作和自定义报告创建,帮助企业进行销售绩效评估、管道健康度分析和区域业绩洞察。关键词:Tableau数据分析,销售仪表板,商业智能BI,可视化报表,嵌入式分析,销售绩效管理。
ZarrPython库技能Skill zarr-python
Zarr Python是一个用于存储和处理大规模N维数组的Python库,支持分块、压缩、并行I/O和云存储集成,与NumPy、Dask、Xarray兼容,适用于科学计算、数据工程和机器学习流水线。关键词:Zarr Python, 数据存储, 分块数组, 压缩, 云存储, 科学计算, 并行处理, Dask, Xarray
Kafka工程师Skill kafka-engineer
Kafka工程师技能专注于Apache Kafka分布式流处理平台,提供实时数据管道构建、事件驱动架构设计、流处理应用开发(Kafka Streams/ksqlDB)以及数据集成(Kafka Connect)的专业能力。核心关键词包括:实时数据处理、事件流、微服务通信、数据管道、流计算、消息队列、大数据集成、容错系统、性能调优。适用于构建高吞吐、低延迟的实时数据平台,支撑金融风控、电商交易、物联网监控等场景。
FiftyOne嵌入可视化Skill fiftyone-embeddings-visualization
使用深度学习嵌入和降维技术(UMAP/t-SNE)在2D中探索和可视化数据集结构,寻找聚类,识别异常值,按类别或元数据着色样本,理解嵌入空间关系。
数据库检查器Skill database-inspector
安全探索 SQLite 或 PostgreSQL 数据库,查看表结构、预览数据、生成 ER 图、执行只读查询。关键词:数据库探索、SQLite、PostgreSQL、ER图、只读查询、数据库架构、表结构、数据预览。