数据科学 Skill技能列表
提取模式技能Skill extract-schema
这个技能用于从JDBC数据库提取数据库表模式(如列名、类型、约束),并生成Starlake YAML配置文件,是数据工程中反向工程数据库到Starlake项目的关键第一步。关键词包括:数据库模式提取、Starlake配置、YAML文件生成、ETL开发、数据治理、反向工程。
PyMC贝叶斯建模Skill pymc-bayesian-modeling
这个技能用于使用PyMC进行贝叶斯建模,包括构建层次模型、MCMC采样(NUTS)、变分推断、模型比较(如LOO和WAIC)、后验检查等,适用于概率编程和统计推断。关键词:贝叶斯建模, PyMC, 概率编程, MCMC, 变分推断, 模型比较, 数据科学, 预测建模。
网页抓取技能Skill using-web-scraping
这个技能使用头less Chrome和DuckDuckGo进行网页抓取和搜索,专注于可靠导航、提取结构化文本、遵守robots.txt和速率限制。用于收集公开网页内容以进行摘要、元数据提取或链接发现。关键词:网页抓取、数据收集、Playwright、DuckDuckGo、自动化、数据提取、SEO优化。
数据库优化技术Skill DatabaseOptimizationTechniques
数据库优化技术是一系列用于提升数据库查询性能、降低资源消耗、确保数据高效访问的方法和策略。关键词包括查询优化、索引策略、连接池、缓存策略、数据库维护等。
时间序列分析师Skill time-series-analyst
时间序列分析技能用于分析时间序列数据,识别模式、趋势、季节性和异常,并使用统计和机器学习方法进行预测。适用于金融、经济、销售预测、库存管理等领域,关键词包括时间序列分析、预测建模、ARIMA、机器学习、异常检测。
SaaS收入增长指标分析Skill saas-revenue-growth-metrics
本技能专注于计算和解释SaaS产品的收入、留存和增长指标,包括收入、ARPU/ARPA、MRR/ARR、流失率、NRR、扩展和队列分析。用于评估SaaS业务健康、产品市场契合度,支持数据驱动的增长决策。关键词:SaaS、收入分析、留存指标、增长评估、数据驱动。
MongoDB数据库操作技能Skill mongodb
这个技能提供MongoDB数据库的全面指导,涵盖文档操作、查询、聚合、索引和最佳实践,适用于处理MongoDB数据、编写高效查询和优化数据库设计的场景。关键词包括MongoDB、数据库管理、文档存储、NoSQL、查询优化、索引策略。
DataEngineeringCommandCenterSkill afrexai-data-engineering
这是一套完整的数据工程指挥中心方法论,涵盖设计、构建、运营和扩展数据管道及基础设施。不依赖任何外部依赖,纯粹依靠代理技能。关键词包括数据架构评估、数据建模、管道设计模式、数据质量框架、性能优化、数据治理与目录、管道监控与告警、测试策略、成本优化、操作手册、高级模式。
PDF处理技能Skill pdf
PDF处理技能用于编程方式处理PDF文档,包括文本和表格提取、PDF创建、合并分割、表单处理以及自动化操作。关键词包括:PDF处理、文本提取、表格提取、Python库、自动化、数据提取、文档管理。
NeMoCurator-GPU加速数据整理工具Skill nemo-curator
NeMo Curator 是 NVIDIA 推出的 GPU 加速数据整理工具,专为大规模语言模型(LLM)训练数据准备而设计。它支持文本、图像、视频、音频等多模态数据,提供模糊去重(比 CPU 快 16 倍)、质量过滤(30+ 启发式)、语义去重、PII 脱敏、NSFW 检测等功能,显著提升数据处理效率并降低成本。适用于 AI 研究人员、数据工程师和开发者,用于高效清理和优化训练数据集,关键词包括 GPU 加速、数据整理、LLM 训练、去重、过滤、多模态、RAPIDS、NVIDIA。
认知谬误防护Skill cognitive-fallacies-guard
该技能用于检测和防止数据可视化、仪表板、报告或演示中的视觉误导、认知偏见和数据完整性问题,确保数据呈现的诚实性和准确性。关键词:数据可视化、认知偏见、视觉误导、数据完整性、图表审核、认知谬误、可视化审计。
数据分析工程Skill data-analytics-engineering
数据分析工程是一种技能,专注于构建可靠的数据指标和准备商业智能(BI)系统。它涉及定义指标和维度模型、构建数据转换层、实施数据质量测试、以及文档化数据集和数据血统。适用于需要数据建模、指标定义或分析数据处理的场景。关键词:数据分析工程、数据建模、指标定义、数据质量、BI准备、dbt、SQL转换。