数据迁移规划器
规划、执行和验证系统间的数据迁移。涵盖模式映射、ETL管道设计、回滚策略和迁移后验证。
功能概述
给定源系统和目标系统的详细信息,本技能将:
- 映射源→目标模式,包含字段级转换规则
- 生成包含暂存、转换和加载阶段的ETL管道计划
- 创建验证查询(行数、校验和、参照完整性)
- 制定包含不可回退点标准的回滚计划
- 生成包含通过/不通过检查点的迁移操作手册
使用方法
告诉您的智能体:
- “规划从Salesforce到HubSpot CRM的迁移”
- “创建从MySQL迁移到PostgreSQL的数据迁移操作手册”
- “将我们的遗留ERP数据映射到新系统模式”
迁移框架
阶段1:发现
- 盘点所有源表/对象及记录数量
- 记录数据类型、约束和关系
- 识别数据质量问题(空值、重复、孤立记录)
- 映射影响数据解释的业务规则
阶段2:模式映射
为每个源实体记录:
| 源字段 | 类型 | 目标字段 | 类型 | 转换规则 | 备注 |
|---|---|---|---|---|---|
| (字段) | (类型) | (字段) | (类型) | (规则) | (边界情况) |
阶段3:ETL管道
提取 → 暂存(原始) → 清洗 → 转换 → 验证 → 加载 → 确认
- 提取:全量 vs 增量,API vs 直接数据库,速率限制
- 暂存:原始着陆区,无转换,审计跟踪
- 清洗:去重、空值处理、编码修复
- 转换:类型转换、查找、计算字段
- 验证:加载前检查(计数、校验和、业务规则)
- 加载:批处理大小、并行性、错误处理
- 确认:加载后对账
阶段4:验证
- 行数匹配(源与目标,每表)
- 关键列校验和验证
- 参照完整性检查
- 业务规则验证(例如,所有活跃账户已迁移)
- 用户验收抽样(随机5%人工审查)
阶段5:切换
- 通过/不通过标准检查清单
- 不可回退点定义
- 回滚程序和时间估算
- 沟通计划(用户、利益相关者)
- 并行运行期(如适用)
风险因素
- 数据量:>1000万行 = 需要批处理策略
- 停机窗口:零停机需要CDC/双写
- 数据质量:垃圾进 = 垃圾出。迁移前清洗
- 依赖关系:迁移期间其他系统从源读取
- 合规性:传输期间的GDPR/HIPAA数据处理
输出格式
以结构化Markdown形式交付迁移操作手册,包含:
- 执行摘要(内容、原因、时间、风险级别)
- 模式映射表
- ETL管道规范
- 验证测试套件
- 包含回滚的切换操作手册
- 带里程碑的时间线
成本估算
按复杂度的典型迁移成本:
- 简单(1-5张表,<100万行):5000-15000美元或内部1-2周
- 中等(10-50张表,100-1000万行):25000-75000美元或1-2个月
- 复杂(50+张表,1000万+行,多系统):100000-500000美元或3-6个月
由AfrexAI构建 — 用于业务自动化的AI上下文包。
计算您的AI自动化投资回报率:收入计算器