数据科学 Skill技能列表

4.5

Twitter/X数据抓取工具Skill twscrape

twscrape 是一个强大的 Python 库,专门用于高效、大规模地抓取 Twitter(现 X)平台的公开数据。它通过 GraphQL API 和账号轮换机制,支持异步并行抓取推文、用户资料、关注者列表和趋势话题等,是构建社交媒体分析、舆情监控和市场研究工具的利器。关键词:Twitter 数据抓取,X 平台爬虫,社交媒体分析,Python 异步爬虫,账号轮换,GraphQL API,数据采集。

4.5

系统动力学建模师Skill systems-dynamics-modeler

系统动力学建模师技能专注于构建和模拟系统动力学模型,用于分析复杂系统行为、识别反馈循环、预测涌现现象。该技能适用于科学发现、政策评估、情景规划等领域,通过存量-流量图建模、敏感性分析和多情景模拟,帮助用户深入理解动态系统的内在机制与长期演变趋势。关键词:系统动力学建模、复杂系统分析、反馈循环、情景模拟、科学发现、政策建模、行为预测、存量流量图。

4.5

蜂鸟交易机器人技能Skill hummingbot

Hummingbot蜂鸟交易机器人框架开发技能,提供算法交易、加密货币自动化交易、做市策略、套利交易、交易所API连接等功能的全面开发支持。包含官方文档翻译、代码示例、配置指南和故障排除,适用于量化交易开发者和加密货币交易系统集成。

4.5

Excalidraw图表生成器Skill excalidraw-diagram-generator

Excalidraw 图表生成器是一个基于AI的技能,能够将自然语言描述自动转换为Excalidraw格式的图表。它支持多种图表类型,如流程图、关系图、思维导图、系统架构图等,适用于数据可视化、系统设计和过程建模。关键词:Excalidraw, 图表生成, 流程图, 关系图, 思维导图, 数据可视化, 自然语言处理, AI绘图。

4.5

SQL查询入门Skill sql-query-starter

这个技能用于帮助初级开发者根据简单需求快速起草基本的SQL查询,包括SELECT语句、WHERE条件、ORDER BY排序、LIMIT限制和参数化查询,适用于数据库开发和数据工程场景。关键词:SQL查询、数据库开发、数据工程、参数化查询、SELECT语句、WHERE条件、ORDER BY排序、LIMIT限制。

4.5

数据新鲜度检查技能Skill freshness

这个技能用于监控数据表的新鲜度,通过查询最后更新时间戳,并将结果存储在审计表中进行监控和报警。适用于数据治理、数据工程和云服务等领域。关键词:数据新鲜度、更新时间戳、数据监控、数据报警、数据治理、Starlake、ETL、数据仓库。

4.5

数据迁移专家Skill data-migration-expert

数据迁移专家技能专注于确保数据库迁移、数据回填和模式变更中的数据完整性。通过验证ID映射、检查交换值、确保回滚安全性和制定验证计划,防止数据损坏。适用于涉及ID映射、列重命名或数据转换的任何迁移。关键词:数据迁移、数据完整性、数据库迁移、验证映射、回滚安全。

4.5

文化审查技能Skill cultural-review

文化审查技能是一个专注于评估软件代码、功能特性与内容是否符合文化敏感性及原住民数据主权OCAP框架(所有权、控制权、访问权、持有权)合规性的专业指南。它提供详细的检查清单、敏感度分级标准、审批工作流程和风险标识,帮助开发者和组织在涉及原住民知识、故事和数据的项目中,确保技术实现尊重文化传统、保护数据主权并满足伦理要求。关键词:文化审查,原住民数据主权,OCAP框架,文化敏感性,数据伦理,合规检查,软件开发伦理,数据治理,原住民知识保护。

4.5

ETL/ELT数据管道模式Skill etl-elt-patterns

本技能详细介绍了ETL和ELT数据管道模式,包括设计、实施、优化和数据质量控制,适用于数据工程和数据分析,关键词包括ETL、ELT、数据管道、数据转换、数据仓库、数据质量、现代数据栈。

4.5

摄取技能Skill ingest

摄取技能是一个数据处理命令,用于从指定文件路径直接加载数据到数据域的表中。适用于程序化或API驱动的数据摄取场景,支持ETL开发、数据工程、数据治理等。关键词:数据摄取、文件加载、ETL工具、数据管道、数据处理、量化金融、证券投资。

4.5

模式演进管理器Skill SchemaEvolutionManager

模式演进管理器是一款专注于数据治理的工具,用于管理数据模式的演进和兼容性。它支持Avro、Protobuf、JSON Schema等多种格式,提供破坏性变更检测、迁移脚本生成、版本管理和跨系统同步功能,确保数据系统在升级过程中的稳定性和兼容性。关键词:模式演进、数据兼容性、数据治理、迁移脚本、模式管理、数据工程、ETL、数据管道。

4.5

维度模型验证器Skill DimensionalModelValidator

维度模型验证器是一款基于Kimball方法论的数据建模质量检查工具,专门用于验证数据仓库中的星型/雪花型模式设计。该工具能够自动检查维度模型的代理键设计、事实表类型、一致性维度、退化维度等关键要素,确保数据模型符合分析型工作负载的最佳实践。适用于数据工程师、BI开发人员和数据架构师进行数据仓库设计评审和质量保障。 关键词:维度模型验证,Kimball方法论,数据仓库设计,星型模式,雪花模式,代理键,一致性维度,事实表,数据建模工具,BI开发