数据探索与剖析Skill：三分钟摸清一个数据集，让分析不再盲人摸象
- 一句话定位：在写任何分析查询之前，先对表或文件做一次全面"体检"，输出结构化的数据剖析报告。
- 核心能力：表级指标 + 列级指标 + 数据质量问题识别 + 维度度量推荐 + 后续分析建议，共五步闭环。
- 支持的数据源：已连接的数据仓库表，或上传的 CSV、Excel、Parquet、JSON 文件。
- 最实用的一点：自动发现空值率异常、ID 基数异常、可疑占位符、重复键、分布偏斜和编码不一致等隐性坑。
- 上手门槛：一句话即可触发，例如"探索用户表"或"剖析这个 CSV 文件"，无需自己写一整套 profiling SQL。
该技能叫什么？如何一键安装 AI 技能提升开发效率？
这个技能的中文名是数据探索与剖析Skill，英文名 data-explore-data，技能 ID 为 13815。它要解决的问题非常具体：拿到一张陌生的表或一个刚导出的 CSV，你往往不知道它长什么样、质量如何、能不能直接用来做分析。传统做法是手写一堆 COUNT、COUNT DISTINCT、MIN、MAX 的探查 SQL，一列一列试，既慢又容易漏。这个技能把这套"摸底"流程固化成一个标准化动作。
关于"一键安装"的思路，需要说明的是：具体安装命令、市场入口与账号要求以官方说明为准，本文不臆造。但从技能详情中可以确认它的运行前提与使用方式：
- 安装/启用前提：技能运行在支持 AI 技能调用的助手环境中。若涉及数据仓库表，需要环境中已配置好数据连接（详情中提到"如果看到不熟悉的占位符或需要检查连接了哪些工具，请询问可用集成"，说明集成情况可由助手确认）。
- 启用方式：在技能市场或技能列表中查找技能 ID 13815 对应的条目并启用，具体入口与命令以官方说明为准。
- 验证是否生效：启用后直接对它说一句"探索用户表"或"剖析这个 CSV 文件"。如果它能返回带"数据剖析"“概述”"列详情"等小节的报告，即说明技能已正常工作。
- 文件场景无需额外配置：直接上传 CSV、Excel、Parquet 或 JSON 文件即可，技能会自动读取并推断列类型。
这套设计把"安装一次、重复使用"的收益放大了——装好之后，每接触一个新数据集都能省下一轮手工探查。
该技能的主要功能和特点
- 双通道数据接入：既支持连接数据仓库解析表名（含模式前缀处理，名称模糊时会给出匹配建议），也支持直接上传文件并自动推断列类型；两者都没有时，会主动要求用户提供表名或文件，或在其描述表结构后给出剖析查询指导。
- 完整的表级画像：输出总行数、列数与类型分类、近似表大小（元数据可用时）、日期范围覆盖（日期列最小/最大值）。
- 按类型定制的列级指标：数值列给出最小值、最大值、平均值、中位数、标准差以及 p25/p50/p75/p95/p99 分位数；字符串列给出长度极值、前 10 高频值和空字符串计数；日期列给出极值与时间分布；布尔列给出真/假/空分布；所有列统一给出空值计数、空值率与基数比。
- 智能质量标记：空值率超过 5% 触发警告、超过 20% 触发警报；能识别"用户 ID 只有 50 个不同值"这类低基数惊喜、"本应分类却取值爆炸"的高基数惊喜、负数金额、未来日期、“N/A”“TBD”“test”“999999” 等可疑占位值、自然键重复、数值分布极度偏斜、分类字段的大小写混用与尾部空格等编码问题。
- 分析方向推荐：自动挑出基数在 3–50 之间的优质维度列、分布有意义的度量列、适合趋势分析的时间列、潜在的分组层次与连接键。
- 后续动作清单：直接给出 3–5 条可执行的分析建议，格式如"在[时间列]上对[度量]做趋势分析，按[维度]分组"。
- 超大数据集友好：面对 1 亿行以上的表，剖析查询默认采用抽样，并可提示需要精确计数时再说明。
和普通查询工具相比，它强在"体系化"：不是回答你问的那一个问题，而是主动把所有该看的指标一次性摆出来，并把风险点提前标注。
如何使用该技能？
使用方式极为轻量，核心就是一句自然语言指令。完整流程如下：
第 1 步：明确对象。 确定你要探索的是数据仓库中的某张表，还是一个本地文件。例如"探索订单表"或"剖析这个 CSV 文件"。
第 2 步：发起指令。 直接说出需求，无需编写 SQL。参数只有一项：表或文件——要探索的表名或文件名。
第 3 步：等待接入与读取。 若为仓库表，技能会解析表名（处理模式前缀，名称模糊时给出候选匹配）、查询列名与类型及描述等元数据，再对实时数据运行剖析查询；若为文件，则读取后加载到工作数据集并推断列类型。
第 4 步：阅读剖析报告。 输出采用固定结构：
## 数据剖析: [表名]
### 概述
- 行数: 2,340,891
- 列数: 23 (8 维度, 6 度量, 4 日期, 5 ID)
- 日期范围: 2021-03-15 到 2024-01-22
### 列详情
[汇总表，按列类型分组]
### 数据质量问题
[带严重性的标记问题]
### 推荐探索
[编号的建议后续分析列表]
第 5 步：按建议继续深挖。 报告末尾会给出 3–5 条后续分析建议，例如"对[偏斜列]做分布深入以理解离群值"“对[问题列]做数据质量调查”“[度量_a]和[度量_b]之间的相关性分析”“使用[日期列]和[状态列]做队列分析”。你可以直接复制其中一条继续追问。
输入示例：
探索用户表
预期输出要点：一张按维度、度量、日期、ID 分组的列详情汇总表；若干带严重程度的质量标记；以及一组编号的后续分析建议。
注意事项：质量标记是启发式的，不是每个标记都代表真正的问题，但每个都值得快速看一眼——这是详情中明确给出的提示，也是使用时的正确心态。
同类型竞品对比分析
| 方案名称 | 定位 | 核心功能 | 安装/使用门槛 | 适用场景 | 优势与不足 |
|---|---|---|---|---|---|
| 数据探索与剖析Skill（data-explore-data） | 对话式数据集剖析助手 | 表级+列级指标、质量标记、维度度量推荐、后续分析建议 | 低，一句话触发；需已配置数据连接或直接上传文件 | 新数据集首次摸底、写查询前的概览 | 优势：五步闭环、结论可直接落地、无需写 SQL；不足：质量标记为启发式，超大表默认抽样 |
| 手写探查 SQL | 传统人工方式 | 由分析师自行编写 COUNT/DISTINCT/分位数等查询 | 中高，需熟悉 SQL 与表结构 | 结构已知、目标明确的定向核查 | 优势：完全可控、精准；不足：耗时长、易漏项、结论不成体系 |
| BI 工具的数据集预览 | 可视化平台内置功能 | 展示字段列表、少量样本行、基础统计 | 低，但需先接入并建模 | 报表搭建前的字段确认 | 优势：图形化直观；不足：统计维度浅，缺少质量诊断与分析建议 |
| 数据分析库（如 pandas profiling 类工具） | 代码库级剖析 | 生成 HTML 剖析报告，含分布与相关性 | 中，需写代码并处理依赖 | 本地文件、离线批量分析 | 优势：报告详尽、可定制；不足：需编程能力，与仓库表的实时探查衔接不便 |
从对比可以看出，这个技能的差异点在于"对话即用 + 诊断 + 建议"三合一：它不替代精细的 SQL 或可视化工具，而是占据"分析之前那十分钟"的位置。
该技能的典型应用场景与实际体验情况
场景一：数据分析师接手陌生业务库。 分析师刚加入一条新业务线，面对上百张表不知从何下手。用"探索用户表"逐一摸底，先看行数、时间范围与列分类，再看哪些列空值率高、哪些 ID 基数可疑。实际体验上，最大的价值是省掉了重复写探查 SQL 的时间，且报告结构统一，便于横向比较不同表。注意点：名称模糊时技能会建议匹配项，需要确认是否选错表。
场景二：数据工程师做上游数据质量巡检。 上游埋点或同步任务改动后，需要快速判断是否引入了新问题。关注质量标记区即可：空值率超过 5% 的警告、超过 20% 的警报、历史数据中出现未来日期、金额列出现负数、分类字段出现"test""N/A"等占位值。实际体验上，这类问题人工排查极费时，自动标记能显著缩短定位链路。注意点：标记是启发式的，需要人工判断是否真问题。
场景三：运营/产品同学拿到一份导出的 CSV。 没有数据库权限，只有一份活动数据导出。直接上传 CSV，技能读取文件并推断列类型，随后给出前 10 高频取值、空值率、数值分布等。实际体验上，这一步常常直接暴露出"某个渠道名有大小写和尾部空格两种写法"这类编码问题，避免后续统计口径出错。注意点：文件格式需为 CSV、Excel、Parquet 或 JSON 之一。
场景四：写分析报告前的方向确定。 报告要回答"该看哪几个维度"。技能会推荐最佳维度列（基数 3–50 的分类列）、关键度量列、适合趋势分析的时间列以及潜在连接键。实际体验上，这相当于把"老分析师的直觉"固化成可复用的建议清单，新人尤其受益。
整体上手难度很低——不需要记住参数格式，一句话即可；效果取决于数据本身规模，超大表默认抽样时需主动说明要精确计数。
该技能能为用户带来的价值
效率层面：把以往需要几十条探查 SQL、反复试错才能拼出的画像，压缩成一次指令、一份结构化报告。原本半天的摸底工作，可缩短到分钟级，且覆盖的指标项（分位数、基数比、编码一致性）比人工临时写的查询更全。
质量层面：把数据质量问题的发现节点从"分析出错之后"前置到"分析开始之前"。空值率分级警告、低基数/高基数惊喜、可疑占位值、重复键检测，这几类问题一旦流入下游报表，返工成本极高。
门槛层面：不要求使用者熟练编写剖析 SQL，也不要求掌握数据处理库。上传文件或说出表名即可，让运营、产品等非技术角色也能对数据建立基本判断。
长期价值：每次探索都会产出一套标准格式的剖析记录，便于团队沉淀数据字典与质量基线；推荐维度、度量与连接键则逐步形成对数据资产的结构化认知，减少人员流动带来的知识流失。
常见问题 FAQ
Q1：这个技能怎么安装？需要什么前提？ 在支持 AI 技能的环境中通过技能市场或技能列表找到技能 ID 13815 对应条目并启用，具体命令与入口以官方说明为准。若需探索数据仓库表，环境需已配置数据连接；若只探索本地文件，直接上传即可。
Q2：它收费吗？ 技能详情中未包含定价信息，是否收费、如何计费请以官方说明为准。
Q3：适合谁用？ 数据分析师、数据工程师、运营与产品同学都适用。技术角色可以省去手工探查；非技术角色可以绕过 SQL，用一句话了解数据形状与质量。
Q4：和手写 SQL 或剖析类代码库比，该怎么选？ 需要完全可控、精准定制的深度核查时，手写 SQL 更合适；需要离线批量生成详尽 HTML 报告的，可选剖析类代码库。而当你面对陌生数据集、只想尽快拿到"能不能用、该怎么用"的结论时，这个技能最快——它输出的是诊断加建议，而非一堆原始数字。
Q5：超大表会不会很慢？ 详情说明，对于 1 亿行以上的表，剖析查询默认使用抽样，因此速度可控；若需要精确计数，主动向它说明即可。