机器学习 Skill技能列表
机器学习管道自动化Skill ml-pipeline-automation
此技能用于自动化端到端机器学习工作流,包括数据收集、模型训练、部署和监控,使用工具如Airflow、Kubeflow和MLflow。关键词:ML管道、工作流编排、MLOps、实验跟踪、模型注册、自动化训练、数据验证、漂移检测、超参数调优、容器化ML。
向量搜索Skill VectorSearch
向量搜索技能涉及使用高级数学和计算技术在高维空间中进行数据点的相似性搜索和最近邻查找,关键应用于机器学习和数据科学领域。
机器学习模型训练Skill ml-model-training
这个技能用于使用scikit-learn、PyTorch和TensorFlow等工具训练机器学习模型,涵盖数据准备、特征工程、模型选择、训练和评估全流程,适用于分类、回归、神经网络等任务,并包括超参数调优和解决过拟合、欠拟合等常见问题,关键词包括机器学习、模型训练、数据预处理、特征工程、深度学习。
跨任务学习Skill cross-task-learning
跨任务学习技能是一种模式,用于聚合多个任务中的洞察,以识别重复出现的模式、始终有效的策略、不断失败的策略、反复出现的瓶颈和不断出现的提案,从而促进数据驱动的进化。
向量数据库调优Skill vector-database-tuning
这项技能涉及向量数据库的性能优化,包括HNSW参数调整、分块策略、混合搜索配置等,以提高RAG和语义搜索的性能。
gpu-benchmarkingSkill gpu-benchmarking
gpu-benchmarking是一个专门用于自动化GPU性能基准测试和回归检测的技能。它能够设计微基准测试、测量内核执行时间、计算实际与理论性能、生成性能比较报告、在CI/CD中检测性能回归、分析功耗和热特性、基准测试内存带宽和延迟,并创建可复现的基准测试配置。
ML实验追踪器Skill ml-experiment-tracker
这个技能提供机器学习实验的系统化追踪、版本控制和可重复性指导,使用工具如MLflow、Weights & Biases和DVC,帮助数据科学家和工程师管理模型开发过程,确保实验可重现和高效比较。关键词:机器学习,实验追踪,版本控制,可重复性,MLflow,W&B,DVC,模型开发,数据科学。
MLPipelineAutomationSkill MLPipelineAutomation
机器学习管道自动化是指通过自动化的方式,从数据采集到模型部署的整个机器学习工作流程,以确保流程的可复现性、可扩展性和可靠性。
数据增强Skill DataAugmentation
数据增强是一种机器学习技术,用于通过创建现有数据的修改版本来人工增加训练数据集的大小和多样性,从而提高模型的泛化能力。它涵盖图像、文本、音频和表格数据的增强方法,包括几何变换、同义词替换、音高移动和过采样等。关键词:数据增强、机器学习、训练数据、图像处理、文本处理、音频处理、表格数据、增强策略、SMOTE、反向翻译。
ML模型解释Skill MLModelExplanation
使用SHAP、LIME、特征重要性、部分依赖和注意力可视化等技术,对机器学习模型进行解释,以提高模型的透明度和可解释性,便于调试和获得可操作的洞察。
Rust机器学习领域技能Skill domain-ml
本技能专注于使用Rust编程语言高效构建和部署机器学习与人工智能应用。涵盖关键领域约束如内存效率、GPU加速、模型可移植性,并提供具体的设计模式、推荐框架(如candle, tract, tch-rs)和代码实现。适用于需要在Rust生态系统中实现高性能模型推理、训练以及数据处理管道的开发者。关键词:Rust机器学习,AI模型部署,高性能推理,GPU加速,ONNX,批处理,内存优化,tract,candle,tch-rs,量化交易AI基础设施。
Optuna超参数调优器Skill optuna-hyperparameter-tuner
Optuna超参数调优器是一款基于Optuna框架的自动化机器学习超参数优化工具,提供TPE、CMA-ES、网格搜索等多种高级搜索算法,支持剪枝策略、多目标优化和可视化分析。适用于机器学习模型调优、深度学习参数优化、自动化模型选择等场景,帮助数据科学家和AI工程师高效提升模型性能。关键词:超参数优化、机器学习调优、Optuna、自动化调参、模型优化、AI参数调整、TPE算法、多目标优化、可视化分析、分布式调参。