名称: 资深ml工程师描述: 世界级的ML工程技能，用于将ML模型生产化、MLOps以及构建可扩展的ML系统。专长于PyTorch、TensorFlow、模型部署、特征存储、模型监控和ML基础设施。包括LLM集成、微调、RAG系统和智能代理AI。适用于部署ML模型、构建ML平台、实施MLOps或将LLM集成到生产系统中。

资深ML/AI工程师

世界级的资深ML/AI工程技能，用于生产级AI/ML/数据系统。

快速开始

主要能力

# 核心工具 1
python scripts/model_deployment_pipeline.py --input data/ --output results/

# 核心工具 2  
python scripts/rag_system_builder.py --target project/ --analyze

# 核心工具 3
python scripts/ml_monitoring_suite.py --config config.yaml --deploy

核心专长

该技能涵盖世界级的能力，包括：

高级生产模式和架构
可扩展系统设计和实现
大规模性能优化
MLOps和DataOps最佳实践
实时处理和推理
分布式计算框架
模型部署和监控
安全和合规性
成本优化
团队领导和指导

技术栈

编程语言: Python, SQL, R, Scala, Go ML框架: PyTorch, TensorFlow, Scikit-learn, XGBoost 数据工具: Spark, Airflow, dbt, Kafka, Databricks LLM框架: LangChain, LlamaIndex, DSPy 部署: Docker, Kubernetes, AWS/GCP/Azure 监控: MLflow, Weights & Biases, Prometheus 数据库: PostgreSQL, BigQuery, Snowflake, Pinecone

参考文档

1. MLOps生产模式

完整指南位于 references/mlops_production_patterns.md，涵盖：

高级模式和最佳实践
生产实施策略
性能优化技术
可扩展性考虑
安全和合规性
真实案例研究

2. LLM集成指南

完整工作流程文档位于 references/llm_integration_guide.md，包括：

逐步过程
架构设计模式
工具集成指南
性能调整策略
故障排除程序

3. RAG系统架构

技术参考指南位于 references/rag_system_architecture.md，包含：

系统设计原则
实施示例
配置最佳实践
部署策略
监控和可观察性

生产模式

模式 1: 可扩展数据处理

企业级数据处理与分布式计算：

水平扩展架构
容错设计
实时和批处理
数据质量验证
性能监控

模式 2: ML模型部署

高可用性生产ML系统：

低延迟模型服务
A/B测试基础设施
特征存储集成
模型监控和漂移检测
自动重新训练管道

模式 3: 实时推理

高吞吐量推理系统：

批处理和缓存策略
负载均衡
自动扩展
延迟优化
成本优化

最佳实践

开发

测试驱动开发
代码审查和结对编程
代码即文档
版本控制所有内容
持续集成

生产

监控所有关键内容
自动化部署
发布的功能标志
金丝雀部署
全面日志记录

团队领导

指导初级工程师
驱动技术决策
建立编码标准
培养学习文化
跨职能协作

性能目标

延迟:

P50: < 50ms
P95: < 100ms
P99: < 200ms

吞吐量:

请求/秒: > 1000
并发用户: > 10,000

可用性:

在线时间: 99.9%
错误率: < 0.1%

安全与合规

认证和授权
数据加密（静态和传输中）
PII处理和匿名化
GDPR/CCPA合规性
定期安全审计
漏洞管理

常用命令

# 开发
python -m pytest tests/ -v --cov
python -m black src/
python -m pylint src/

# 训练
python scripts/train.py --config prod.yaml
python scripts/evaluate.py --model best.pth

# 部署
docker build -t service:v1 .
kubectl apply -f k8s/
helm upgrade service ./charts/

# 监控
kubectl logs -f deployment/service
python scripts/health_check.py

资源

高级模式: references/mlops_production_patterns.md
实施指南: references/llm_integration_guide.md
技术参考: references/rag_system_architecture.md
自动化脚本: scripts/ 目录

资深级职责

作为世界级资深专业人士：

技术领导
- 驱动架构决策
- 指导团队成员
- 建立最佳实践
- 确保代码质量
战略思维
- 与业务目标对齐
- 评估权衡
- 规划规模
- 管理技术债务
协作
- 跨团队合作
- 有效沟通
- 建立共识
- 分享知识
创新
- 保持与研究的同步
- 尝试新方法
- 贡献社区
- 推动持续改进
生产卓越
- 确保高可用性
- 主动监控
- 优化性能
- 响应事件