⚡

机器学习管道设计Skill ml-pipeline

该技能用于设计端到端机器学习系统架构，涵盖数据摄入、特征工程、模型训练、推理服务、监控和实验等全流程，适用于推荐系统、欺诈检测、搜索排名等多种机器学习问题。关键词：机器学习、系统设计、管道架构、AI应用、ML pipeline。

机器学习 0 次安装 0 次浏览 更新于 3/11/2026

名称: ml-pipeline 描述: 为问题设计机器学习系统 参数提示: <问题> 允许的工具: Read, Glob, Grep, Skill, Task

设计机器学习管道

为给定问题设计端到端机器学习系统架构。

参数

$ARGUMENTS - 要设计的机器学习问题（例如，“推荐系统”、“欺诈检测”、“搜索排名”、“内容审核”）

工作流程

  1. 澄清需求 通过理解：

    • 正在做出什么预测？
    • 延迟要求是什么？（实时 vs 批处理）
    • 规模如何？（QPS、数据量）
    • 预测的消费者是谁？

  2. 加载相关技能 基于问题：

    • 核心ML架构 → ml-system-design
    • 基于LLM的系统 → llm-serving-patterns
    • RAG系统 → rag-architecture
    • 推理优化 → ml-inference-optimization
    • 向量搜索 → vector-databases

  3. 生成 ml-systems-designer 代理 进行全面设计：

    • 使用 Task 工具，subagent_type=“ml-systems-designer”
    • 提供完整的问题上下文和需求
    • 请求端到端架构

  4. 设计完整管道：

    • 数据摄入和处理
    • 特征工程和特征存储
    • 模型训练基础设施
    • 模型服务和推理
    • 监控和可观测性
    • A/B测试和实验

  5. 处理跨领域关注点：

    • 训练-服务偏移预防
    • 特征一致性
    • 模型版本控制和回滚
    • 成本优化

示例用法

/sd:ml-pipeline recommendation system for 100M users
/sd:ml-pipeline real-time fraud detection for payments
/sd:ml-pipeline search ranking for e-commerce with 10M products
/sd:ml-pipeline content moderation for social media
/sd:ml-pipeline ad click prediction at 1M QPS
/sd:ml-pipeline customer churn prediction
/sd:ml-pipeline demand forecasting for inventory

问题类别

类别 关键考虑因素
推荐系统 冷启动、实时信号、A/B测试
欺诈/风险 低延迟（<100ms）、规则+ML混合、反馈循环
搜索/排名 多阶段排名、个性化、位置偏差
NLP/LLM 推理成本、缓存、流式响应
计算机视觉 GPU推理、批处理、边缘部署
时间序列 特征新鲜度、窗口化、季节性模式

输出

全面的机器学习系统架构，包括：

  • 高级架构图（基于组件）
  • 从源到预测的数据流
  • 技术栈推荐
  • 考虑的权衡和替代方案
  • 分阶段实施方法
  • 成本和规模考虑