数据科学 Skill技能列表
SQL查询优化Skill sql-query-optimization
SQL查询优化是一项技术,用于分析和优化数据库查询,提高查询性能,减少执行时间。关键词包括:性能瓶颈、索引策略、查询重写、EXPLAIN分析、批量操作。
数据库设计专家Skill database-designer
数据库设计专家技能是一套综合工具和知识体系,用于构建和优化现代数据库系统。关键词包括数据库架构、性能优化、数据迁移、索引策略、规范化设计。
pump-swarmSkill pump-swarm
Pump.fun上的协调多钱包交易系统,支持多达20个钱包的同步交易执行。
AI-ML数据科学工程套件Skill ai-ml-data-science
这个技能提供了一个完整的端到端数据科学和机器学习工程工作流程,将原始数据和业务问题转化为可生产化的验证模型。它涵盖了数据探索、特征设计、模型选择、性能评估、SQL变换和MLOps实践,特别强调现代特征存储、自动化重训练和漂移监控。关键词:数据科学、机器学习、特征工程、模型评估、MLOps、SQLMesh、预测建模、可重复性。
JSON转换器技能Skill json-transformer
JSON转换器技能是一个用于处理JSON数据的工具,支持解析、验证、转换、合并、提取等高级操作,广泛应用于数据工程、后端开发和数据分析领域,方便数据处理和API集成。关键词:JSON处理、数据转换、数据分析、数据清洗、编程工具、API数据、格式转换、数据提取。
数据验证器Skill data-validator
数据验证技能是一个用于确保数据质量、完整性和合规性的工具。它通过模式验证、业务规则验证和数据质量检查,验证数据是否符合预定义标准和规则。支持生成详细验证报告,适用于API、数据库、批量数据处理等场景,帮助提升数据治理和业务决策效率。关键词:数据验证、模式验证、业务规则、数据质量、验证报告、数据治理、完整性检查。
阶段技能Skill stage
阶段技能用于将数据文件从登陆区移动到待处理区,执行解压缩和确认文件处理,是数据摄取管道的第一步,确保数据准备就绪供后续加载。关键词:数据阶段化、ETL、数据工程、ACK文件处理、数据管道、数据摄取、文件管理。
提取BigQuery架构Skill extract-bq-schema
此技能用于直接从Google BigQuery数据集中提取表架构,并将其转换为Starlake YAML配置文件。适用于数据工程、ETL开发和数据仓库构建,提升元数据管理效率。关键词:BigQuery、架构提取、Starlake、YAML、数据工程、ETL、数据仓库、元数据。
连接加载技能Skill cnxload
此技能用于将Parquet、CSV或JSON文件直接加载到JDBC数据库表,提供快速数据导入功能,支持多种数据库驱动和并行写入选项,适用于数据集成、ETL开发和数据仓库场景,关键词包括:数据加载、JDBC、Parquet、CSV、JSON、数据库连接、ETL、批量处理。
弹性搜索Skill elasticsearch
提供关于Elasticsearch的全面指导,帮助用户掌握索引创建、数据搜索、聚合分析、映射配置和集群管理等核心功能。适用于开发搜索应用、进行大数据分析或管理分布式搜索系统。关键词:Elasticsearch, 搜索, 索引, 聚合, 映射, 集群管理, 数据分析。
ASCII迷你图表Skill ascii-mini-charts
ASCII迷你图表技能用于生成简单的ASCII图表,如火花线、柱状图和折线图,帮助用户在命令行或纯文本界面中快速可视化数据趋势。支持自定义宽度、高度和归一化,并提供压缩策略处理长数据系列。适用于数据检查、趋势分析和轻量级数据可视化场景。关键词:ASCII图表、数据可视化、趋势分析、火花线、迷你图表、归一化、压缩策略。
增量模型策略选择器Skill IncrementalModelStrategySelector
增量模型策略选择器是一款用于数据工程和ETL开发的专业工具。它能够根据数据源特征(如更新模式、数据量、频率)和平台环境,智能选择和配置最优的增量数据处理策略(如追加、合并、删除后插入)。该工具专注于提升数据转换管道的效率和性能,通过优化分区裁剪、唯一键配置、回看窗口和迟到数据处理等关键参数,确保数据仓库和BI报表的数据新鲜度与准确性。关键词:增量模型,数据工程,ETL开发,dbt配置,数据转换,分区优化,数据仓库,策略选择。