CSV结构推断与建模建议Skill：把一份“先看数据再定表”的CSV，变成可直接执行的表结构与清洗规则
- 它解决的核心痛点：拿到一份来源不明的 CSV/TSV，字段该用什么类型、哪一列能做主键、脏数据怎么洗，往往要靠人工反复抽行看数据，耗时且容易漏。
- 它的工作方式：先做逐列画像（类型、非空率、唯一值比例、最大长度、格式异常），再推断主键与枚举，最后产出建模建议、清洗映射表和可直接执行的 DDL。
- 它的独特之处：不只给结论，还给“可交付物”——结构模板、检查清单、反模式清单和验证脚本，形成从摸底到落库的闭环。
- 它适合谁：数据开发、数据分析师、数仓工程师、以及要做系统迁移和上下游对账的团队。
- 它不适合谁：数 GB 以上的超大文件（应先采样），以及需要处理复杂嵌套结构的 JSON 分析场景。
该技能叫什么？如何下载安装 AI 技能提升开发效率？
基础信息
| 项目 | 内容 |
|---|---|
| 技能中文名 | CSV结构推断与建模建议Skill |
| 技能英文名 | csv-schema-infer |
| 技能ID | 2119809023287656449 |
它到底解决什么问题
在真实的数据工作里，最常见的一句话是“先把数据给你，表结构你看着定”。这份导出文件可能来自业务系统的后台导出、旧系统的迁移包、第三方提供的对账文件，通常没有数据字典、没有字段说明、没有单位约定。人工处理时，一般会打开文件翻几行、凭经验给每列猜一个类型，然后直接建表导入，结果就是：编号列的前导零被吃掉、金额列因为千分位导入失败、日期列混着三种格式、空值同时出现空字符串和 N/A 和 -。这些问题在上线后才暴露，返工成本极高。
csv-schema-infer 这个技能正是把“先看数据再定表”这件事流程化：它按照固定的六步工作流，把一份陌生文件转成一份有据可查的结构说明 + 清洗规则 + 建表语句，并附上待人工确认清单。
一键安装 AI 技能提升开发效率的思路
所谓“一键安装”，本质是把你原本要在脑中反复执行的专家经验，固化成 AI 助手可直接调用的技能包，此后每次遇到陌生 CSV，只需一句话触发，无需重新组织提示词。
安装步骤（通用流程，具体入口与命令以官方说明为准）：
- 确认安装前提：你的 AI 编程助手 / Agent 客户端需要支持“技能（Skill）”机制，能够加载技能目录中的说明文件与附属脚本、参考文档。若客户端只支持普通对话，则无法发挥该技能引用参考文件和脚本的能力。
- 找到安装入口：在客户端的技能市场、技能仓库或插件中心中搜索技能英文名
csv-schema-infer，或直接按技能ID2119809023287656449精确查找；若客户端支持本地技能目录，也可按官方文档把技能包放入指定目录。 - 完成安装并确认依赖：该技能自带
references/type-inference.md（类型判定规则与边界样本）、references/anomaly-catalog.md（常见脏数据模式与处理方式）、scripts/profile_csv.py（CSV 逐列画像脚本）。若客户端支持执行脚本，请确认 Python 环境可用；若只支持文本推理，技能仍可工作，但画像统计需由你手工抽样核对。 - 验证是否生效：准备一份 100 行以内的小 CSV，向助手提出“用 csv-schema-infer 分析这个文件的结构”。若返回内容包含“数据概览 / 字段画像 / 主键 / 清洗规则 / DDL / 待确认”这样的结构化输出，说明技能已正确加载。
- 失败排查：若返回的是泛泛而谈的建议、没有表格化画像，通常是技能未命中或被普通对话覆盖，可显式点名技能英文名重试，或检查技能是否处于启用状态（以官方说明为准）。
关于该技能是否收费、是否有独立服务端，技能详情中未作说明，请以官方说明为准。
该技能的主要功能和特点
- 逐列画像，量化而非猜测：对每一列计算非空率、唯一值比例、最大/最小长度、字符集特征、格式样本、前 10 高频值，用数据说话判断可空性、主键候选和字段长度。
- 有明确优先级的类型判定：按“布尔 → 整数 → 小数 → 日期时间 → 枚举 → 字符串”的顺序判定，避免“看起来像数字就当数字”。典型边界处理是
00123这类前导零编号必须判为字符串，防止编号错位。 - 成体系的异常识别清单：覆盖空字符串与
NULL、N/A、-、无混用，数字含千分位/货币符号/全角字符，日期多种格式并存，同一语义多种写法（如“省”与“省份简称”），隐藏字符（BOM、零宽空格、尾随空格），以及金额精度不一致等常见脏数据模式。 - 主键与关系推断：自动寻找非空率 100% 且唯一值比例 100% 的候选主键；单列都不唯一时尝试组合主键；确实没有主键时建议增加代理键并保留业务唯一约束；同时通过
*_id、*_code这类命名线索和值域匹配度寻找外键关系。 - 产出可直接落地的交付物：不只是“分析报告”，而是包含规范化列名（小写下划线）、类型、可空性、长度、默认值、注释、样例的完整字段定义，加上 DDL、清洗映射表（原值 → 标准值）和待人工确认清单。
- 自带验证闭环：用
scripts/profile_csv.py生成画像后人工复核类型判定，再抽样导入 1000 行执行唯一约束与类型校验，确认 DDL 在目标库真实跑通。 - 反模式提醒：明确列出“用
VARCHAR(255)通吃所有字段”“直接把带千分位的金额导入数值列”“用日期字符串原样入库”“忽略前导零”“未检查重复就建唯一索引”等常见错误，帮助使用者避开坑点。
和普通工具比强在哪：普通的数据库导入向导只关心“能不能导进去”，不关心“这样建表对不对”；通用的数据剖析库能给统计量，但不给建模决策和 DDL；而直接问通用大模型，往往得不到稳定结构，也不会主动提示前导零和个人数据脱敏。这个技能把“统计 → 判定 → 建模 → 清洗 → 验证”串成了一条固定流水线。
如何使用该技能？
第 1 步：准备输入信息
该技能对输入有明确要求，信息越全，结论越准：
- 文件路径、编码、分隔符、是否有表头。
- 业务背景：每行代表什么实体（例如“一行一个订单”“一行一个客户”）。
- 目标库类型（MySQL、PostgreSQL、ClickHouse 等）。
- 是否包含个人数据。
业务背景缺失时，技能会按“每行一个业务实体”假设推进，并在结论中标注待确认——但这一步自己补上能显著提升准确率。
第 2 步：触发技能并给出输入示例
一个可直接参考的提问方式：
用 csv-schema-infer 分析
/data/exports/order_2024.csv，UTF-8 编码，逗号分隔，首行为表头。业务含义是一行一个订单，目标库是 MySQL 8。文件中包含客户手机号，请标注脱敏需求。请输出字段画像、主键判断、清洗规则和建表 DDL。
第 3 步：跟随六步工作流推进
技能会依次执行：读入与基础检查（确认编码、分隔符、列数一致性、定位坏行、统计总行数与完全重复行）→ 逐列画像 → 异常识别 → 主键与关系判断 → 输出结构 → 验证。
第 4 步：读懂输出
输出按固定模板组织，包含数据概览、字段画像表、主键结论、清洗规则表、DDL 和待确认清单。字段画像表大致如下（示例为示意）：
| 列 | 类型 | 非空率 | 唯一率 | 最大长度 | 枚举/样例 | 判定 |
|---|---|---|---|---|---|---|
| order_no | VARCHAR(24) | 100% | 100% | 18 | ORD0000123 | 前导零编号，判字符串 |
| amount | DECIMAL(12,2) | 100% | 12% | 12 | ¥1,280.00 | 含千分位与货币符，需清洗 |
| created_at | DATETIME | 98% | 41% | 19 | 2024/3/5、2024-03-05 | 多格式并存，需统一 |
第 5 步：处理清洗规则与待确认项
清洗映射表会列出“列 / 问题 / 规则 / 影响行数”，例如把 ¥1,280.00 统一转为 1280.00、把 无 与 - 统一为 NULL。待确认清单则是技能主动暴露的不确定项，务必逐条回业务方确认，不要默认通过。
第 6 步：验证后再建表
按检查清单逐项核对（编码与分隔符确认、坏行定位、类型优先级、空值统一、日期金额格式统一、主键唯一性验证、字段长度留余量、枚举列列全、个人数据标注脱敏、DDL 实际执行通过），然后抽样导入 1000 行跑约束校验。
同类型竞品对比分析
| 方案名称 | 定位 | 核心功能 | 安装/使用门槛 | 适用场景 | 优势与不足 |
|---|---|---|---|---|---|
| csv-schema-infer（本技能） | 面向建模决策的 CSV 结构推断技能 | 逐列画像、类型推断、主键与枚举推断、异常识别、输出 DDL 与清洗规则、验证脚本 | 需支持技能机制的 AI 客户端；需提供业务背景与目标库类型 | 数据接入、报表迁移、上下游对账、临时数据集摸底 | 优势：交付物完整、有检查清单和反模式提示、结论可追溯；不足：超大文件需先采样，复杂嵌套结构不适合 |
| 通用大模型直接对话 | 让模型“看一眼”CSV 给建议 | 自由问答，灵活度高 | 门槛最低，复制粘贴即可 | 快速了解数据大致长相 | 优势：无需安装；不足：输出结构不稳定、容易漏掉前导零与空值占位符问题、不产出可执行 DDL |
| 数据剖析库 / 统计脚本 | 输出统计量的工具 | 计算非空率、分布、唯一值等指标 | 需要写代码或配置，具备一定工程门槛 | 数据质量监控、批量剖析 | 优势：指标权威、可自动化；不足：只给数字不给建模决策，主键与清洗规则仍需人工判断 |
| 数据库客户端导入向导 | 面向“把数据导进去” | 字段映射、类型猜测、批量导入 | 门槛低，图形化操作 | 一次性小批量导入 | 优势：上手快；不足：默认类型猜测粗糙，容易把编号判成数字、把带格式金额判成字符串，缺少清洗规则沉淀 |
总体来看，csv-schema-infer 的差异化不在“统计能力更强”，而在于把统计结果翻译成可执行的建模与清洗决策，并强制走一遍验证。
该技能的典型应用场景与实际体验情况
场景一：业务方导出文件落入数仓
数据开发接到一份后台导出的订单 CSV，没有字段说明。痛点是人工抽样容易漏掉低频脏值（比如只有几十行出现的“无”）。使用方式是提供文件路径、目标库类型和“一行一订单”的业务背景，让技能输出字段画像与 DDL。实际体验上，逐列画像表是效率提升最明显的部分——原本要写脚本或反复翻数据的工作被压缩成一次调用，但待确认清单必须认真过一遍，不要把它当作自动结论。
场景二：旧系统迁移，缺少数据字典
迁移团队拿到的历史数据往往字段语义模糊，status 到底是枚举还是自由文本没人说得清。技能通过前 10 高频值识别枚举、通过唯一值比例判断主键候选，能快速勾勒出结构轮廓。注意事项是：迁移场景常有多表关联，外键线索只基于 *_id、*_code 命名和值域匹配推断，跨表验证仍需人工完成。
场景三：上下游对账前的字段语义确认
对账最大的坑是双方对同一字段理解不同，比如金额一方含税一方不含税、日期一方是本地时间一方是 UTC。技能会先把两份文件的字段画像拉出来对比，识别格式差异与取值差异。实际体验中，异常识别清单里的“日期多种格式并存”“金额精度不一致”两条命中率很高，建议对账前优先看这两项。
场景四：临时数据集的数据质量摸底
分析师拿到一份外部数据集，需要快速判断能不能用。技能的检查清单可以直接当作评估框架：编码是否正常、坏行多少、重复行多少、个人数据在哪几列。上手难度低，几句话就能跑出概览，但要注意它给的是结构层面的质量判断，业务层面的真实性校验仍需另行处理。
整体体验总结：上手难度中等偏低，关键在于“把背景说清楚”。效果最好的是结构规整、体量适中的导出文件；最容易出问题的是没有业务背景、全列都是文本的超宽表。使用时要牢记详情中明确的不适用边界：超大文件先采样，复杂嵌套结构请走 JSON 分析。
该技能能为用户带来的价值
- 把“经验判断”变成“可复核的过程”：类型判定有优先级、主键判定有量化标准（非空率 100%、唯一率 100%）、异常识别有目录清单、建表有检查清单。结论不再是“我觉得这列是数字”，而是“这列非空率 100%、唯一率 100%、最大长度 18、含前导零，因此判定为字符串主键”。
- 显著压缩摸底阶段的时间：原本需要“写脚本统计 + 人工抽样 + 手写 DDL + 反复调试导入”的多轮往返，被收敛为一次结构化输出，人工投入集中在复核与确认两个高价值环节。
- 降低数据接入门槛：不需要精通每种数据库的 DDL 语法细节，也不必记住各类脏数据的处理套路，反模式清单能帮经验较浅的同学避开最常见的坑。
- 减少上线后返工：前导零编号错位、金额精度丢失、日期格式混乱这三类问题一旦进入生产库，修复成本极高；在建模阶段就被识别并给出清洗规则，是最省成本的做法。
- 沉淀团队资产：输出的画像表、清洗映射表和 DDL 可以直接进入团队文档，成为后续同类数据集的标准处理模板，长期复用价值明显。
- 隐私合规前置：技能在输入阶段就要求说明是否包含个人数据，检查清单中也明确要求“个人数据列已标注并规划脱敏”，把合规动作提前到建模环节而不是上线前。
常见问题 FAQ
Q1：这个技能怎么安装？装完怎么确认能用？
在支持技能机制的 AI 客户端中，通过技能市场搜索英文名 csv-schema-infer 或技能ID 2119809023287656449 安装；若客户端支持本地技能目录，可按官方文档放入技能包。验证方法是拿一份小 CSV 试跑，看返回是否包含“数据概览 / 字段画像 / 主键 / 清洗规则 / DDL / 待确认”的完整结构。具体入口与命令以官方说明为准。
Q2：使用这个技能收费吗？
技能详情中未提及定价信息，是否收费取决于你所使用的 AI 客户端或技能分发平台的计费规则，请以官方说明为准。
Q3：它适合谁用？不适合谁用？
适合数据开发、数仓工程师、数据分析师，以及需要做系统迁移、报表迁移、上下游对账的团队。不适合处理数 GB 以上的超大文件（应先采样），也不适合处理需要复杂嵌套结构的数据——那类场景更适合用 JSON 分析思路。
Q4：它会不会把我的 CSV 数据上传出去？
技能详情中未对数据存储与传输方式作说明。如果文件涉及个人数据或敏感业务数据，建议先脱敏、采样，或按所在组织的合规要求使用，具体请以官方说明为准。
Q5：它和“直接把 CSV 丢给大模型问”有什么区别？怎么选？
直接问大模型胜在零门槛、适合快速了解数据长相，但输出结构不稳定、容易漏掉前导零和空值占位符这类细节，也基本不会给出可执行的 DDL 和清洗映射表。如果你要的是“能直接拿去建表、并且能被同事复核”的交付物，选 csv-schema-infer；如果只是随手看一眼数据大概长什么样，直接对话即可。两者也可以组合：先快速看，再用技能出正式结论。