数据科学 Skill技能列表
OBT设计优化器Skill OBTDesignOptimizer
OBT设计优化器是一款专注于数据仓库单一大表(One Big Table)模式设计与优化的专业工具。该技能通过智能分析源模型结构和查询模式,提供列选择优化、反规范化策略、分区聚类设计等核心功能,帮助用户在存储性能与查询效率之间找到最佳平衡点。适用于大数据分析、商业智能报表、数据仓库建设等场景,支持Snowflake、BigQuery、Redshift等主流云数据平台。
BigQueryCLI数据查询技能指南Skill bigquery
本技能指南详细介绍了如何使用BigQuery命令行工具(bq)进行数据仓库查询和元数据检查,特别针对Monzo公司的数据分析项目。内容涵盖INFORMATION_SCHEMA元数据查询、数据敏感性处理、表结构检查、行数统计、模式匹配等核心功能,适用于数据工程师、分析师和开发人员进行安全高效的数据探索和验证工作。关键词:BigQuery CLI, bq命令, 数据仓库查询, INFORMATION_SCHEMA, 元数据检查, 数据敏感性, 表结构分析, 数据工程工具, Google Cloud, 数据分析工作流
时间序列预测器Skill time-series-forecaster
时间序列预测器是一个用于业务指标预测和需求规划的AI技能工具。它整合了经典统计方法(如ARIMA、ETS)、机器学习(如XGBoost、LightGBM)和深度学习(如Prophet、N-BEATS)等多种模型,支持自动模型选择、集成预测、不确定性量化和季节性分解。该技能适用于销售预测、库存管理、财务规划等商业场景,帮助企业进行数据驱动的决策。关键词:时间序列预测,业务指标预测,需求规划,ARIMA,Prophet,机器学习预测,深度学习预测,季节性分析,预测区间,商业智能。
YML到DDL技能Skill yml2ddl
yml2ddl技能是一个数据工程工具,用于从Starlake YAML定义自动生成SQL DDL(数据定义语言)语句,支持BigQuery、Snowflake、PostgreSQL等多种目标数据仓库。它通过类型映射简化数据库表结构的创建和管理,提升数据管道开发效率,适用于数据仓库建设和数据治理场景。关键词:SQL DDL, YAML, 数据仓库, 数据工程, 数据库管理, ETL开发, Starlake。
SQL模式速查手册Skill sql-patterns
本技能提供SQL常用模式、公共表表达式(CTE)、窗口函数、JOIN类型、分页技巧、索引策略及反模式的快速参考指南。适用于数据库查询优化、数据分析、后端开发,帮助开发者编写高效SQL语句。关键词:SQL模式,CTE示例,窗口函数,SQL连接,索引策略,分页SQL,数据库优化,查询性能。
科学可视化Skill scientific-visualization
科学可视化技能专注于使用Python数据可视化库(如matplotlib、seaborn、plotly)创建高质量、符合出版标准的科学图表。它支持多面板布局、误差棒、显著性标记、色盲友好调色板,并导出为PDF、EPS、TIFF等格式,适用于学术期刊提交和科研绘图。关键词:科学绘图、数据可视化、出版物图表、matplotlib、seaborn、plotly、科研绘图、学术出版、色盲友好、多面板图表。
数据清洗流程Skill DataCleaningPipeline
构建稳健的数据清洗流程,包括缺失值处理、异常值检测、数据类型标准化、重复项删除、归一化和缩放,以及文本清洗等,以确保数据的完整性和一致性,适合于数据预处理和自动化数据流水线。
数据血缘技能Skill lineage
此技能用于生成任务依赖关系图(数据血缘),通过分析SQL变换文件中的依赖关系,可视化数据血缘,支持多种输出格式如DOT、SVG、PNG、JSON,便于数据工程和数据治理。关键词:数据血缘、任务依赖、SQL分析、数据可视化、数据工程。
金融科技工程师Skill fintech-engineer
金融科技工程师专注于设计和实施金融技术系统,包括双分录账簿、高精度财务计算、支付处理架构和监管合规性。关键词包括:支付系统、账簿架构、财务计算、PCI合规性、银行API集成。
手机规格抓取工具Skill phone-specs-scraper
这个技能用于从多个在线手机数据库网站(如GSM Arena、PhoneDB等)抓取和比较手机规格数据,支持Web抓取、数据提取、比较分析和可视化,适用于手机比较工具开发、设备研究、SEO优化和量化金融中的数据工程应用。
FiftyOne嵌入可视化Skill fiftyone-embeddings-visualization
使用深度学习嵌入和降维技术(UMAP/t-SNE)在2D中探索和可视化数据集结构,寻找聚类,识别异常值,按类别或元数据着色样本,理解嵌入空间关系。
抓取文章Skill scrape-posts
此技能用于从Milan Jovanovic的.NET博客优化抓取新文章,通过预筛选列表页面,仅抓取新增或更新的内容,以减少API请求并提升效率。关键词:博客抓取、数据自动化、内容管理、SEO优化、网络爬虫、节省成本。