数据科学 Skill技能列表
Metabase数据自动化Skill data-metabase
这个技能用于通过REST API自动化Metabase平台,实现认证、导出和更新问题(卡片)与仪表板、标准化可视化设置,并运行或导出结果,适用于数据工程和商业智能场景,关键词包括Metabase、API自动化、数据可视化、商业智能、BI报表。
Python回归与统计分析Skill python-regression-statistics
这个技能用于在Python中进行回归分析、统计建模和异常值检测,提供完整的统计推断和机器学习方法,包括使用statsmodels、scikit-learn等库进行模型诊断、假设检验和预测建模。适用于数据科学和人工智能项目,关键词:Python回归分析,统计建模,异常值检测,数据科学,预测建模。
Twitter/X数据抓取工具Skill twscrape
twscrape 是一个强大的 Python 库,专门用于高效、大规模地抓取 Twitter(现 X)平台的公开数据。它通过 GraphQL API 和账号轮换机制,支持异步并行抓取推文、用户资料、关注者列表和趋势话题等,是构建社交媒体分析、舆情监控和市场研究工具的利器。关键词:Twitter 数据抓取,X 平台爬虫,社交媒体分析,Python 异步爬虫,账号轮换,GraphQL API,数据采集。
智能网页爬虫Skill smart-web-scraper
基于 Playwright 智能爬取网页内容,内置绕过 Cloudflare 等反爬机制的能力,提供简单模式和隐身模式两种方案应对不同反爬强度,输出网页标题、文本内容和截图。关键词:网页爬虫、反爬虫、Cloudflare绕过、Playwright、动态渲染、网页截图、JavaScript渲染。
D3.js数据可视化技能Skill d3js-visualization
D3.js数据可视化技能是用于创建专业级交互式数据图表的JavaScript库技术。该技能涵盖自定义图表开发、动态数据绑定、SVG/Canvas渲染、交互式工具提示、动画过渡和响应式设计。适用于金融数据可视化、商业智能仪表板、实时监控系统、网络关系图谱、地理信息映射等场景。关键词:D3.js数据可视化,交互式图表,JavaScript可视化库,数据驱动文档,SVG图表,实时数据展示,自定义可视化开发,前端数据可视化,金融图表,商业智能BI。
数据工程师Skill data-engineer
数据工程师技能专注于构建、维护和优化大规模数据处理系统与基础设施。核心能力包括设计可扩展的数据管道、实施ETL/ELT工作流、构建数据湖/数据仓库、进行实时流处理以及优化数据平台成本与性能。适用于企业级数据平台搭建、数据治理、数据迁移和现代化数据架构项目。关键词:数据工程,ETL,ELT,数据管道,数据仓库,数据湖,Airflow,Spark,Kafka,大数据处理,数据基础设施。
ETL管道构建器Skill etl-pipeline-builder
ETL管道构建器是一个用于自动化构建和管理数据迁移管道的技能。它专注于数据提取、转换和加载(ETL)流程,支持增量加载、变更数据捕获(CDC)以及全面的监控告警功能。关键词:ETL开发,数据管道,数据迁移,CDC,增量加载,数据工程,数据集成,Airflow,dbt,数据仓库。
新闻聚合Skill news-aggregation
新闻聚合技能用于从多个新闻网站和聚合器通过RSS订阅自动收集、去重和总结最新新闻,生成简洁主题摘要,并列出所有来源链接。适用于数据分析、信息聚合和自动化报告。关键词:新闻聚合、RSS、多源数据、数据分析、Python、Node.js、ETL、自动化。
图表模式Skill diagram-patterns
该技能用于帮助用户根据需求选择最合适的图表类型和可视化工具(如Mermaid和PlantUML),提供决策树、工具比较和最佳实践指导。关键词:图表选择、数据可视化、Mermaid工具、PlantUML工具、架构图、流程图、决策树、可视化模式、软件架构。
PyMC贝叶斯建模Skill pymc-bayesian-modeling
此技能用于使用PyMC库进行贝叶斯建模和概率编程,支持构建分层模型、执行MCMC采样(如NUTS)、变分推断、模型比较(如LOO/WAIC)和后验检查,实现不确定性量化。关键词:贝叶斯建模、PyMC、概率编程、MCMC、变分推断、模型比较、预测建模、数据科学。
SQL查询技能Skill sql-queries
这个技能专注于跨多种数据仓库方言(如Snowflake、BigQuery、PostgreSQL)编写高效、正确的SQL查询,包括优化技巧和常见模式,如窗口函数、CTE、聚合,适用于数据工程和数据分析任务。关键词:SQL查询、数据仓库、方言、性能优化、CTE、窗口函数、数据分析。
数据目录增强器Skill DataCatalogEnricher
数据目录增强器是一款自动化元数据管理工具,专为提升企业数据治理和数据发现效率而设计。它通过智能算法自动为数据目录条目添加标签、匹配业务术语、推荐数据所有者、分析使用模式并进行数据分类(如敏感信息和PII识别)。该工具能集成数据质量评分、丰富数据血缘关系,并优化搜索功能,帮助企业实现高效的数据资产管理、提升数据可发现性和加强数据安全合规。关键词:数据治理,元数据管理,数据目录,数据分类,数据血缘,数据质量,业务术语表,数据发现,自动化标签,数据管家。