数据科学 Skill技能列表
数据流设计Skill data-flow
数据流设计技能用于根据需求描述设计和实施数据管道架构,包括数据源集成、转换处理、目标系统部署,支持批处理、流处理、Lambda、Kappa等多种模式,适用于数据仓库、数据湖、机器学习、商业智能等应用场景。关键词:数据管道、ETL、流处理、数据架构、数据工程、Spark、Flink、Kafka、数据湖仓。
D3.js可视化Skill d3-viz
本技能专注于使用 D3.js 创建自定义和交互式数据可视化,适用于图表、图形、网络图、地理可视化等复杂场景,提供精细控制、过渡动画和丰富交互,助力数据分析和展示,关键词:数据可视化、D3.js、交互式图表、自定义图形、SVG。
无梯度优化Skill derivative-free-optimization
无梯度优化是一种数学优化技术,用于在目标函数的梯度信息不可用、难以计算或不可靠的情况下寻找最优解。它通过直接评估函数值来探索参数空间,适用于黑盒函数优化、实验设计、参数调优等场景。主要方法包括Nelder-Mead单纯形法、Powell方法、贝叶斯优化和模式搜索等。关键词:无梯度优化,黑盒优化,贝叶斯优化,参数调优,数学优化,代理模型,Nelder-Mead,Powell方法,模式搜索,信赖域方法。
画布设计Skill canvas-design
画布设计技能专注于利用HTML Canvas API或现代设计工具,实现高效的数据可视化、交互式图形和动态动画创作。它融合了视觉设计原则和技术实现,适用于创建从静态海报到复杂交互界面的多样化视觉内容,提升用户体验和信息传达效果。关键词:画布设计、HTML Canvas、数据可视化、交互图形、视觉设计、动画、图像处理、前端开发、设计工具。
指标树构建Skill metrics-tree
该技能用于构建和分析指标树,将高层次业务指标如北极星指标分解为可操作子指标,识别领先指标,理解因果关系,优先改进机会以优化产品策略和实验设计。关键词:指标树、北极星指标、指标分解、KPI、因果分析、实验优化、商业智能。
ApacheBeam核心概念技能Skill beam-concepts
Apache Beam是一个用于批处理和流数据处理的开源编程模型,支持构建可移植的数据管道,适用于数据工程、ETL开发和云原生应用。关键词:数据处理、批处理、流处理、Apache Beam、数据管道、数据工程、ETL开发、云原生。
数据完整性守护者Skill data-integrity-guardian
数据完整性守护者是一种专注于数据库迁移安全、数据约束验证、事务边界审查、引用完整性保护和隐私合规的技能。用于确保数据库操作的可靠性,防止数据丢失和腐败,维护数据治理标准。关键词:数据完整性、数据库迁移、数据治理、ACID属性、GDPR合规、数据安全、事务管理、引用完整性、隐私保护。
数据库优化器Skill database-optimizer
数据库优化器是一个专业的数据库性能调优工具,专注于查询优化、索引设计、执行计划分析和数据库配置调优。支持PostgreSQL、MySQL、MongoDB、Redis等主流数据库系统,通过系统化方法解决慢查询、高负载、连接超时等性能问题,实现亚秒级响应和最优资源利用率。关键词:数据库优化、查询性能调优、索引策略、执行计划分析、数据库配置、慢查询优化、OLTP性能、数据库监控、容量规划、水平扩展。
GreatExpectations生成器Skill GreatExpectationsGenerator
Great Expectations 生成器是一款自动化工具,用于根据数据画像和业务规则创建数据质量期望套件。它支持自定义期望、检查点配置、数据文档生成和验证分析,并能与 dbt、Airflow 等工具集成,确保数据质量在 ETL/ELT 管道中得到有效监控和强制执行。关键词:数据质量,Great Expectations,期望套件,ETL,数据治理,自动化测试,数据验证,dbt,Airflow。
数据迁移规划器Skill afrexai-data-migration
数据迁移规划器是一款用于系统间数据迁移的专业工具,提供完整的迁移解决方案。它涵盖数据迁移规划、模式映射、ETL管道设计、数据验证和回滚策略。支持从Salesforce到HubSpot CRM、MySQL到PostgreSQL等多种系统迁移场景。包含数据发现、模式映射、ETL流程、验证测试和切换计划五个阶段,确保数据迁移的安全可靠。适用于企业系统升级、数据仓库迁移、云迁移等场景。关键词:数据迁移,ETL管道,模式映射,数据验证,迁移规划,系统迁移,数据工程,迁移策略,数据治理,迁移操作手册
数据摄入技能Skill ingesting-data
数据摄入技能专注于从多种源高效加载数据到数据库和系统的模式与实践。它涵盖ETL开发、云存储集成、API消费、流式数据处理等,支持批量处理和实时摄入,适用于数据工程、数据分析、ETL管道构建等场景。关键词:数据摄入、ETL开发、数据工程、云存储、API集成、实时数据处理、数据库迁移、更改数据捕获、ETL框架。
市场索引APISkill market-index
这个技能是一个市场索引工具,用于搜索、发现和浏览跨多个预测市场平台的市场数据。它支持关键词搜索、平台过滤、分类浏览、新市场发现和趋势分析,适用于量化金融、数据分析和市场研究。关键词:市场索引、预测市场、API、搜索、数据检索、量化交易。