探索性数据分析

在决定分析什么之前,先帮我探索数据。我会提供数据文件(CSV、XLSX 或 SPSS),需要时附上编码手册和关注变量。请按优先级整理数据质量问题,说明缺失模式、分布与异常值、变量间关系(包括在子组中方向改变的关系)以及隐藏的个案分组,并依据发现提出假设候选及每个候选的下一步分析,给出报告和数据概况表。

探索性数据分析: 正在分析数据

请上传数据文件。我们会找出数据质量问题、缺失模式、分布与异常值、变量之间的关系以及隐藏的分组并排出优先级,再依据这些发现提出下一步要检验的假设候选。

适合这些人

  • 刚拿到数据、不知道从哪里看起的研究者
  • 在公开数据或机构数据中寻找研究问题的研究生
  • 在主要分析前需要检查数据质量和前提的研究团队
  • 需要从日志和运营数据中找出显著模式的 UX 与产品研究员

你将得到

你会得到两项结果:报告包含发现和假设候选,数据概况表包含所有数值。

  • 探索报告 在数据中发现了什么、下一步做什么 · 一览(主要发现 F1…)、摘要、数据结构、质量问题(按严重度)、缺失模式与 Little MCAR 检验、分布与异常值、变量关系(含子组内方向反转)、主成分与聚类、假设候选(依据·其他解释·下一步分析)、修正建议、图 · MD(可用PDF·PNG转换智能体生成用于分享的PDF)
  • 数据概况表 报告中的所有数值 · 工作表:Findings · Profile · Quality issues · Missingness · Distributions · Outliers · Associations · Clusters · Hypotheses · XLSX

报告中可以确认的内容

每个发现都有编号(F1、F2 …),假设候选以这些编号为依据。计算代码以代码框形式保留在每个步骤中。

  • 质量 重复行与重复 ID、恒定列、数字与文本混杂、仅拼写不同的类别、999 等缺失编码、超范围值、稀有类别
  • 缺失 按列和模式的缺失、Little MCAR 检验、缺失与其他变量的关联
  • 分布与异常值 偏度、峰度、双峰性、地板/天花板;被 MAD、IQR、IsolationForest 中至少两条规则标记的个案
  • 关系与结构 与类型相符的关联指标(ρ·V·η)、子组内方向改变的关系、非线性关系、主成分与聚类

这样提出请求

探索附件中的数据。重点看{关心的主题或变量(可选)}。 — 把下划线部分改成你的研究内容后发送。

  • 关心的主题或变量:留空时平均看待所有变量。

最好一并提供

  • 数据文件(CSV·TSV·XLSX·SPSS .sav·Stata .dta) 说明一行代表什么(一个人·一次测量),质量检查会更准确
  • 变量说明(编码手册) 缺失编码和取值范围用于质量检查
  • 数据的收集方式 一并考察收集方式带来的偏差

也可以这样请求

  • 在附件的公开数据中找出可能成为研究问题的模式。 → 5~10 个假设候选及其依据发现,以及每个候选的下一步分析
  • 在主要分析前检查这份数据有没有问题。 → 质量问题、缺失模式(MCAR)、分布与异常值、修正建议
  • 把客户日志中相似的用户归为一组。 → 主成分与 k-means 聚类,以及各聚类的特征表

我的指示

只需选择需要的项目进行设置,未设置的项目按默认值进行。 报告首页会列出本次应用的指示和所作的假设。

  • 关注变量 (探索) 重点查看的变量 · 例如: 满意度 · 是否流失 · 默认: 根据请求判断,否则平均看待所有变量
  • 结构探索 (探索) 主成分与个案聚类 · 例如: 仅聚类 · 关闭 · 默认: Pro 起: 主成分 + k-means(按轮廓系数选 k)
  • 假设候选数 (探索) 要提出的假设候选数量 · 例如: 5 个 · 10 个 · 默认: Lite 3 · Pro 5 · Expert 10
  • 标识列 (数据处理) 识别被试或记录的列 · 例如: user_id · 一人多行 · 默认: 如有每行值唯一的列则用它
  • 缺失编码 (数据处理) 表示缺失的值 · 例如: 999 和 -9 表示缺失 · 默认: 只用请求或编码手册写明的编码(其他仅标记不修改)
  • 有效范围 (数据处理) 取值应落入的范围 · 例如: 满意度 1–5 · 年龄 18–99 · 默认: 只用请求或编码手册写明的范围
  • 报告语言 (报告方式) 撰写语言 · 例如: 用英语撰写 · 默认: 请求的语言

工作方式

只查看数据,从不修改。所有检查和计算都由代码完成,模型只以发现编号(F1…)为依据撰写假设候选。探索结果是候选而非结论。

  • 数据检查 做什么: 格式、变量类型、缺失与不同值,关注变量与标识 · 可以设置: 关注变量 · 需要确认: 一行代表什么
  • 质量检查 做什么: 重复、恒定列、类型混杂、拼写变体、缺失编码、超范围值、同一单位多行(各行不独立) — 三级严重度 · 可以设置: 标识列、缺失编码、有效范围 · 需要确认: 问题的真实原因
  • 缺失模式 做什么: 按列和模式的缺失、Little MCAR 检验与缺失和其他变量的关联(Pro 起) · 可以设置: 缺失编码 · 需要确认: 缺失处理方式
  • 分布与异常值 做什么: 偏度、峰度、双峰性、地板/天花板;三条规则判定异常值(IsolationForest 从 Pro 起) · 可以设置: — · 需要确认: 保留还是剔除异常值
  • 关系 做什么: 与类型相符的关联指标、子组方向反转(Pro 起)与非线性关系(Expert 起)、考察的比较数 · 可以设置: —
  • 隐藏结构 做什么: 主成分与 k-means 聚类(按轮廓系数选聚类数)、图 · 可以设置: 结构探索 · 需要确认: 聚类的含义
  • 假设候选 做什么: 以发现为依据的可检验假设、其他解释、下一步分析与智能体 · 可以设置: 假设候选数 · 需要确认: 选择哪些作为研究问题
  • 撰写报告 做什么: 报告和数据概况表 · 可以设置: 报告语言 · 需要确认: 修正建议

不同级别的区别

核对

Little MCAR 检验由 EM 估计直接计算,与 R `naniar::mcar_test` 的统计量、自由度和 p 值一致。测试会确认故意植入的问题(重复行、999 编码、拼写变体、按组缺失、子组反转、聚类)都能被发现。

关于此方法

  • 为什么不下结论 从多个角度查看数据,总会出现偶然的模式。用同一份数据既发现又确认,就无法判断模式是否真实。因此发现只作为"假设候选",并说明考察了多少个比较。确认需要新数据或预先计划的检验(Inferential Statistics)。
  • 为什么要看图和子组 汇总数字相同,数据形状也可能截然不同;总体看似无关的关系,在各子组内可能方向相反。因此不只看一个系数,还要结合子组和图来判断。

常见问题

会修改我的数据吗?
不会。我们只提供修正建议(改什么、为什么)。只有你指定缺失编码时,才会在分析副本中将其读作缺失。
聚类分几个?
按轮廓系数在 2~8 个中选择;如果都不明显,报告会如实说明。
大数据可以吗?
超过 5 万行时,关系、结构和图使用随机抽取的 5 万行,质量检查使用全部行。