数据科学 Skill技能列表
数据验证器Skill data-validator
数据验证技能是一个用于确保数据质量、完整性和合规性的工具。它通过模式验证、业务规则验证和数据质量检查,验证数据是否符合预定义标准和规则。支持生成详细验证报告,适用于API、数据库、批量数据处理等场景,帮助提升数据治理和业务决策效率。关键词:数据验证、模式验证、业务规则、数据质量、验证报告、数据治理、完整性检查。
预加载技能Skill preload
该技能用于在数据加载流程中检查landing或pending区域的文件可用性,确保文件就绪后触发加载,适用于数据工程、ETL开发和自动化编排,关键词:文件检查、数据加载、编排、ETL、数据仓库、预加载。
CocoIndex数据索引框架Skill cocoindex
CocoIndex 是一个用于 AI 数据处理的实时数据转换框架,支持构建 ETL 工作流,包括文档嵌入到向量数据库、知识图谱构建、搜索索引创建等。关键功能包括增量处理、实时更新、多数据源和目标支持,适用于数据工程师和 AI 开发者进行高效数据转换和索引。关键词:数据转换、ETL、AI 数据处理、文档嵌入、向量数据库、知识图谱、实时索引。
NeMoCurator-GPU加速数据整理工具Skill nemo-curator
NeMo Curator 是 NVIDIA 推出的 GPU 加速数据整理工具,专为大规模语言模型(LLM)训练数据准备而设计。它支持文本、图像、视频、音频等多模态数据,提供模糊去重(比 CPU 快 16 倍)、质量过滤(30+ 启发式)、语义去重、PII 脱敏、NSFW 检测等功能,显著提升数据处理效率并降低成本。适用于 AI 研究人员、数据工程师和开发者,用于高效清理和优化训练数据集,关键词包括 GPU 加速、数据整理、LLM 训练、去重、过滤、多模态、RAPIDS、NVIDIA。
CSV数据整理专家Skill csv-data-wrangler
CSV数据整理专家是一个专注于高效处理、清洗和转换CSV文件的专业技能。它使用Python、DuckDB和命令行工具,解决大型CSV文件处理、编码问题、数据验证和格式转换等挑战。关键词:CSV处理、数据清洗、Python、DuckDB、大数据、表格数据、编码转换、数据验证、文件分块、SQL查询。
增量模型策略选择器Skill IncrementalModelStrategySelector
增量模型策略选择器是一款用于数据工程和ETL开发的专业工具。它能够根据数据源特征(如更新模式、数据量、频率)和平台环境,智能选择和配置最优的增量数据处理策略(如追加、合并、删除后插入)。该工具专注于提升数据转换管道的效率和性能,通过优化分区裁剪、唯一键配置、回看窗口和迟到数据处理等关键参数,确保数据仓库和BI报表的数据新鲜度与准确性。关键词:增量模型,数据工程,ETL开发,dbt配置,数据转换,分区优化,数据仓库,策略选择。
CocoIndexSkill cocoindex
CocoIndex是一个高性能的实时数据转换框架,专为人工智能设计,能够构建索引流,从多种数据源提取数据,应用转换,并导出到不同的目标数据库。
TimescaleDB时序数据库技能Skill timescaledb
TimescaleDB时序数据库技能是专门用于PostgreSQL时间序列数据库扩展的AI助手。提供TimescaleDB开发支持、超表管理、连续聚合、数据压缩、实时分析等功能。适用于时序数据处理、物联网监控、金融数据分析、DevOps监控等场景。关键词:TimescaleDB、时序数据库、PostgreSQL扩展、超表、时间序列分析、数据压缩、实时分析、物联网数据、金融数据、DevOps监控。
数据库优化技术Skill DatabaseOptimizationTechniques
数据库优化技术是一系列用于提升数据库查询性能、降低资源消耗、确保数据高效访问的方法和策略。关键词包括查询优化、索引策略、连接池、缓存策略、数据库维护等。
回归分析洞察Skill regression-insight
对表格数据执行线性回归(OLS)或逻辑回归(Logit),一键输出完整统计结果和中文通俗解读,包括回归系数、R²、p值、VIF等。适用于数据分析、预测建模、因果推断等场景。关键词:回归分析,OLS,逻辑回归,线性回归,VIF,p值,R方,共线性诊断,模型拟合,量化分析。
AIOS数据库架构与运维工程师Skill aios-data-engineer
这是一个专注于数据库架构与运维的技能,用于数据库设计、模式构建、Supabase配置、RLS策略实施、数据迁移、查询优化、数据建模和运维监控。适合数据工程师、数据库管理员和开发人员使用。关键词:数据库架构、运维工程师、Supabase、数据工程、查询优化、RLS策略、数据建模、迁移。
源编码技能Skill source-coding
该技能专注于信息论中的源编码问题,提供解决策略和工具,包括霍夫曼编码、算术编码、率失真理论等,用于优化数据压缩和编码效率。关键词:源编码,信息论,数据压缩,编码理论,熵。