数据标准化规范：让杂乱表格数据一键变成可分析资产
- 六层确定性规则：从编码字符到标识校验，按 L0→L5 顺序锁逐层标准化，规则全部可复现、可审计，不依赖大模型“凭感觉改写”。
- 11 个内置离线字典包：行政区划、性别、币种、民族、学历、行业分类等常见中文企业数据域开箱即用，支持字典映射写回与版本递增。
- 证据三件套交付：每条规则执行后输出影响行数、前后示例（已脱敏）、未匹配清单，处理过程透明可追溯。
- PII 出口脱敏 + 幂等自检：手机号、身份证、银行卡等敏感信息在摘要、日志、示例中一律掩码，重复执行零变更。
- 适合数据治理与分析的“前置工序”：清洗标准化后再做去重、分析、入库，命中率与数据质量同步提升。
该技能叫什么？如何一键安装 AI 技能提升开发效率？
技能中文名：数据标准化规范
技能英文名：data-standardization
技能 ID：2118626968956747778
它解决的是中文企业表格数据（CSV/Excel）在进入分析或入库前的“脏乱差”问题：全半角混用、空格与不可见字符、日期格式五花八门、金额单位不统一、城市名写法各异、手机号/身份证格式不规范。数据标准化规范 Skill 把这些清洗动作固化成确定性规则——正则、查表、校验位算法、格式化函数——按固定顺序执行，保证同一份输入无论跑多少遍，结果都一致。
一键安装思路与步骤：
- 安装前提：确认你使用的 AI 技能平台支持通过技能 ID 或技能名检索并安装技能；本技能详情中未提供具体命令行安装指令，具体入口与命令请以官方说明为准。
- 检索技能：在技能市场/技能库中搜索英文名
data-standardization或技能 ID2118626968956747778。 - 一键安装：点击安装后，技能会连同
@references/下的规则表与字典包（D-01~D-11）一并交付到技能目录中，无需额外配置。 - 验证是否生效：上传一份含日期、金额、手机号的 CSV，用示例指令“帮我把这份客户表的日期、金额和手机号标准化”触发技能；若返回结果包含变更摘要、证据三件套、未处理清单，说明安装成功。
- 确认字典加载：在输出中检查 L4 枚举映射是否引用了字典包版本（如
dict:城市 v0.1），能正常输出即表示离线字典加载正常。
安装完成后，“提升开发效率”的逻辑在于：原来需要写一堆 pandas 脚本、反复调正则、手动核对城市别名的活儿，变成一句自然语言指令触发，规则执行与证据产出全部自动化。
该技能的主要功能和特点
- 六层顺序锁，层间不可调换：
L0 编码字符 → L1 结构（列名）→ L2 类型格式 → L3 单位 → L4 枚举值域 → L5 标识（PII），乱序执行的结果与固定顺序不同，顺序锁本身就是验收项。 - 先画像后动手：先做列类型推断、缺失率、唯一值率、疑似 PII/商业敏感列标注，产出列级画像后再决定哪些列适用哪些规则。
- 日期解析族强大：内置
2026/3/1、20260301、2026年3月1日、Excel 序列号（含 1900 闰年 bug）、Unix 时间戳秒/毫秒自动判别；歧义日期按列内证据自动翻转；非法日期（如2026-02-30）进异常清单不改写。 - 单位换算有据可查：货币符号剥离并查 D-03 币种字典；万元/元混列统一到元；计量换算（如斤→kg）必须附换算因子与影响行数证据。
- 四级匹配漏斗做枚举映射：①精确匹配 → ②别名查表 → ③规则归一（去“市/省/自治区”后缀） → ④频次建议（高频未匹配值聚合，人工确认）；确认后的映射自动写回字典表并版本 +1。
- 校验但不篡改：手机号按
^1[3-9]\d{9}$校验、身份证 18 位按 GB 11643 MOD 11-2 校验、银行卡走 Luhn 校验；不合法只标记，绝不修改。 - 幂等可复现：
f(f(x))=f(x)，同一输入重复执行第二遍rows_affected=0，交付前必须自验。 - PII 无旁路脱敏：所有输出（摘要、日志、报告、示例）先过脱敏再展示，示例中手机号显示为
138****5678。
和普通清洗工具相比，它强在“规则确定性 + 顺序锁 + 证据链 + 幂等”四位一体：普通工具可能给你一个看起来干净的结果，但说不清改了什么、为什么改、能不能复现；本技能每一条变更都有行数、示例和未匹配清单兜底。
如何使用该技能？
第 1 步：准备输入文件
准备一份 CSV 或 Excel，例如客户表包含 姓名、手机号、注册日期、城市、金额(万元)、是否VIP 等列。可以是 GBK 编码、含全角数字的“原始态”文件，技能会在 L0 层统一处理。
第 2 步：用自然语言触发技能
直接用业务语言描述需求，例如：
“帮我把这份客户表的日期、金额和手机号标准化”
或针对具体列：
“城市列里混着「济南市/JINAN/青岛」，帮我统一成标准名”
第 3 步：确认列级画像与适用列
技能先输出列类型推断、缺失率、唯一值率、疑似 PII 标注。对于地址这类不自动识别的字段，会通过列名提示 + 人工勾选的方式半自动处理，需你确认。
第 4 步：按层执行并逐层产出证据
技能按 L0→L5 顺序执行，每条规则输出三件套：影响行数、前后示例（≤5 条，已脱敏）、未匹配/解析失败清单。示例输出片段：
| 规则 | 影响行数 | 前后示例 |
|---|---|---|
| L0 全角→半角 | 128 | １３８００００５６７８ → 13800005678 |
| L2 日期→ISO 8601 | 96 | 2026年3月1日 → 2026-03-01 |
| L4 城市字典映射 | 74 | JINAN → 济南市 |
| L5 手机号校验 | 3 | 不合法值标记 1380000**** |
第 5 步：处理异常与未匹配清单
解析失败、未匹配的值进入异常/未处理清单并附原因，技能绝不丢弃、绝不静默改写。你需要人工判断：是修正源数据，还是补充字典映射。
第 6 步：接收最终交付物
输出结构化结果：变更摘要 + 证据三件套 + 未处理清单（什么没处理、为什么）。如果你对字典做了人工确认，映射会写回字典表并触发版本 +1（如 dict:城市 v0.1→v0.2）。
第 7 步：跑第二遍验证幂等
用同一输入再执行一次，确认 rows_affected=0，即通过交付前自检（DoD）。
同类型竞品对比分析
| 方案名称 | 定位 | 核心功能 | 安装/使用门槛 | 适用场景 | 优势与不足 |
|---|---|---|---|---|---|
| 数据标准化规范 Skill | 中文企业表格数据的确定性标准化 | 六层顺序锁规则、11 个离线字典包、证据三件套、PII 脱敏、幂等自检 | 通过技能平台检索技能 ID 一键安装；自然语言触发，以官方说明为准 | 数据治理前置清洗、分析前标准化、入库前质量把关 | 优势：规则确定可审计、幂等可复现、中文场景字典齐全；不足：自由文本语义清洗、地址自动拆分不内置 |
| 手工 Excel 函数/正则处理 | 个人级表格清洗 | 查找替换、分列、公式、简单正则 | 零安装，但需要逐列手工操作 | 小规模、一次性清洗 | 优势：上手即用；不足：不可复现、无证据链、易误改、PII 裸奔 |
| Python pandas 脚本 | 开发者自建清洗流水线 | 自定义清洗逻辑，灵活度最高 | 需要编程能力，脚本需自行编写维护 | 有开发资源的团队定制化清洗 | 优势：灵活；不足：每个项目重复造轮子、规则散落无治理、难保证幂等 |
| 通用大模型直接清洗 | 让大模型“看着改” | 语义理解强，能处理模糊表述 | 对话即用，门槛最低 | 探索性、非敏感数据 | 优势：灵活；不足：结果不可复现、可能凭空改写取值、无法审计，敏感数据有泄露风险 |
| 企业级数据治理平台 | 组织级数据资产管理 | 元数据、血缘、质量规则、调度一体化 | 采购与实施成本高，需专业团队 | 大型企业长期治理 | 优势：体系完整；不足：重、慢、贵，轻量表格清洗场景不划算 |
对比可见，本技能卡位在“轻量到中型表格清洗”这一段：比手工和脚本更规范可审计，比大模型直改更确定可控，比企业平台更轻更快。
该技能的典型应用场景与实际体验情况
场景一：数据分析师的分析前清洗
角色：数据分析师。痛点：拿到业务方给的客户表，日期有 2026/3/1、20260301 多种写法，金额列混着“万元”和“元”，直接透视必出错。使用方式：一句话触发技能，先看列级画像，再按 L2/L3 层输出标准化结果与证据。实际体验：上手难度低，日期解析族覆盖面广，连 Excel 序列号都能识别；注意歧义日期（如 01/02/2026）会按列内证据自动翻转并附证据，需要复核一次。
场景二：数据治理工程师的入库前置关卡
角色：数据治理工程师。痛点：上游系统导出的数据城市名写法混乱（济南市/JINAN/青岛），枚举值不统一导致维表关联失败。使用方式：使用 L4 字典映射，走四级匹配漏斗，高频未匹配值聚合后人工确认，确认结果写回字典表版本 +1。实际体验：字典包离线可用、版本化清晰；注意模糊匹配默认关闭，开启后必须逐条确认，不能图省事全量放行。
场景三：合规/风控人员的敏感信息处理
角色：合规专员。痛点：需要把含手机号、身份证的表交给第三方分析，担心明文泄露。使用方式：L5 层只做识别、格式化与校验标记，不合法值只标记不修改；所有输出先过脱敏。实际体验：138****5678 式掩码无旁路，安全感强；注意地址字段不自动识别，需要人工勾选列后同口径处理。
场景四：开发者的去重前归一
角色：后端/数据开发。痛点：「 济南 」 与 「济南」 因空格差异导致去重命中率低。使用方式：先跑标准化（L0 裁空格 + L4 城市归一），再执行去重。实际体验：标准化前置后去重命中率明显提升，且第二遍执行 rows_affected=0 可直接作为流水线幂等验收。
该技能能为用户带来的价值
- 效率提升：把“写脚本 + 调正则 + 核对别名”的重复劳动压缩成一句指令，规则执行、证据产出、脱敏展示全自动；对经常处理中文表格的团队，单次清洗从数小时级降到分钟级。
- 质量与可审计性：确定性规则 + 顺序锁 + 证据三件套，让每一次数据变更都可追溯、可复现。交付前跑两遍验证幂等，杜绝“同一份数据两次清洗结果不同”的经典事故。
- 合规风险降低：PII 只在出口脱敏、无旁路，手机号/身份证/银行卡在报告和示例中一律掩码，减少敏感数据外泄风险。
- 门槛降低：不需要精通 pandas 或正则，业务人员用自然语言即可触发专业级清洗；字典包离线可用、版本化管理，团队可以持续沉淀自己的标准口径。
- 长期价值：字典映射写回机制让标准越用越全，标准化前置还顺带提升去重命中率，为后续分析、建模、入库打下干净的数据底座。
常见问题 FAQ
Q1：怎么安装这个技能？需要付费吗？
A：在支持技能安装的 AI 平台中检索英文名 data-standardization 或技能 ID 2118626968956747778 即可安装，具体入口与命令以官方说明为准。是否收费取决于所在平台的计费策略，同样以官方说明为准；技能本身的规则与字典包随技能交付，离线可用、不依赖网络。
Q2：它会不会让大模型“随手改写”我的数据？
A：不会。这是本技能的红线第一条：禁止大模型直接改写取值。大模型只产出候选映射/候选操作建议，最终执行永远由确定性规则（正则/查表/校验位算法/格式化函数）完成，保证可复现、可审计。模糊或语义映射必须逐条人工确认，未确认不落盘。
Q3：处理完的数据怎么确认没被改坏？
A：看三样东西：①证据三件套（影响行数、前后示例已脱敏、未匹配清单）；②未处理清单会明确“什么没处理、为什么”；③幂等自检——同一输入跑第二遍，rows_affected=0 才算通过交付自检。另外规则参数偏离默认值时都会留痕声明。
Q4：它适合谁用？不适合什么场景？
A：适合数据分析师、数据治理工程师、合规人员、需要处理中文表格的开发者，尤其是对“可复现、可审计、PII 脱敏”有要求的场景。不内置的能力包括：自由文本语义清洗（进未处理清单）、地址自动拆分（半自动，需人工勾选）、本体/知识图谱；商品类目等无标准字典的自由文本域也不承诺自动处理。
Q5：和直接用大模型清洗、或自己写 pandas 脚本相比怎么选？
A：追求“快而不可复现”的探索性清洗，通用大模型对话最省事，但敏感数据有风险；有开发资源且规则高度定制的团队，pandas 脚本更灵活但要自己维护幂等与证据链。如果你要的是中文企业表格的确定性标准化 + 证据可审计 + 开箱字典，本技能是更省心的选择；大型组织级治理需求则更适合企业级数据治理平台。