数据科学 Skill技能列表
网页抓取技能Skill using-web-scraping
这个技能使用头less Chrome和DuckDuckGo进行网页抓取和搜索,专注于可靠导航、提取结构化文本、遵守robots.txt和速率限制。用于收集公开网页内容以进行摘要、元数据提取或链接发现。关键词:网页抓取、数据收集、Playwright、DuckDuckGo、自动化、数据提取、SEO优化。
仪器数据到Allotrope转换器Skill instrument-data-to-allotrope
该技能用于将实验室仪器输出的文件(如PDF、CSV、Excel、TXT)转换为标准化的Allotrope Simple Model (ASM) JSON格式或扁平化的2D CSV,以支持数据标准化,便于集成到LIMS系统、数据湖或下游分析。功能包括自动检测仪器类型、生成完整的ASM JSON、扁平化CSV和可导出的Python解析代码,适用于数据工程团队。关键词:仪器数据转换,Allotrope格式,数据标准化,LIMS系统,数据工程,Python解析,实验室数据管理,ASM JSON,扁平化CSV。
网络可视化器Skill network-visualizer
网络可视化技能是一款专门用于将复杂的网络和图数据转化为直观视觉图表的工具。它能够帮助用户分析关系网络、识别社区结构、计算节点重要性,并支持动态展示和结果导出。适用于科研人员、数据分析师和业务专家进行社交网络分析、生物信息学、知识图谱构建等领域的研究与应用。 关键词:网络可视化,图数据分析,社区检测,中心性计算,科学发现,关系网络,数据可视化工具,交互式图表,网络布局算法
认知谬误防护Skill cognitive-fallacies-guard
该技能用于检测和防止数据可视化、仪表板、报告或演示中的视觉误导、认知偏见和数据完整性问题,确保数据呈现的诚实性和准确性。关键词:数据可视化、认知偏见、视觉误导、数据完整性、图表审核、认知谬误、可视化审计。
数据复制设置Skill data-replication-setup
本文档提供了数据库复制的详细指南,包括主从复制、多主复制、复制监控和故障转移等,旨在帮助实现高可用性和灾难恢复。
Metaculus预测Skill metaculus
Metaculus预测技能是一个连接社区预测平台的工具,主要用于查看和搜索各类事件的概率预测、锦标赛信息及社区共识。核心功能包括问题搜索、详情查询、锦标赛列表和预测数据获取,适用于对事件概率、市场预期和群体智慧分析感兴趣的用户。关键词:社区预测,概率预测,事件预测,群体智慧,预测平台,Metaculus,预测分析,锦标赛,预测校准。
DatabaseMigrationsSkill DatabaseMigrations
数据库迁移是用于模式演变和数据转换的数据库迁移策略和工具,它们帮助团队以受控、可复现的方式发展数据库结构,同时维护数据完整性并最小化停机时间。
数据迁移专家Skill data-migration-expert
此技能用于数据库迁移过程中的数据完整性和安全性验证,确保数据无损坏。通过检查ID映射、交换值、回滚策略等,防止迁移错误。关键词:数据迁移、数据库安全、完整性验证、ID映射检查、回滚安全、迁移审查。
Python科学计算技能Skill pycse
pycse 是一个 Python 库,用于科学和工程计算,提供自动计算置信区间和预测边界的回归分析、模型拟合、ODE 求解和缓存功能。简化数据分析和预测建模流程,提高效率,关键词:Python, 科学计算, 回归分析, 置信区间, 预测建模, 模型拟合, ODE, 缓存。
提取模式技能Skill extract-schema
这个技能用于从JDBC数据库提取数据库表模式(如列名、类型、约束),并生成Starlake YAML配置文件,是数据工程中反向工程数据库到Starlake项目的关键第一步。关键词包括:数据库模式提取、Starlake配置、YAML文件生成、ETL开发、数据治理、反向工程。
MongoDB数据库操作技能Skill mongodb
这个技能提供MongoDB数据库的全面指导,涵盖文档操作、查询、聚合、索引和最佳实践,适用于处理MongoDB数据、编写高效查询和优化数据库设计的场景。关键词包括MongoDB、数据库管理、文档存储、NoSQL、查询优化、索引策略。
DataEngineeringCommandCenterSkill afrexai-data-engineering
这是一套完整的数据工程指挥中心方法论,涵盖设计、构建、运营和扩展数据管道及基础设施。不依赖任何外部依赖,纯粹依靠代理技能。关键词包括数据架构评估、数据建模、管道设计模式、数据质量框架、性能优化、数据治理与目录、管道监控与告警、测试策略、成本优化、操作手册、高级模式。