如何用 Neutropic 比较三组及以上:不依赖方差齐性检验的 Welch 方差分析

根据 Levene 检验结果来切换检验方法的习惯,可以放下了。跟着教育学硕士生许然,比较三种教学方式的期末成绩,从前提检查到 Welch 方差分析、稳健性分析和报告——全部来自 Neutropic 的真实界面。

你好,我们是 Neutropic 团队!

比较三组数据,读研时大概都做过。统计课上学的流程通常是:先做 Levene 检验,方差齐就用经典方差分析,不齐就换别的检验。可真做起来,Levene 检验的 p 值是 0.04 还是 0.06,就能让论文的分析方法整个换掉。这样真的对吗?🥲

方法学研究指出,这种两阶段流程会扭曲错误率。各组样本量和方差不同时,经典 F 检验并不稳健,因此有人建议一开始就默认使用 Welch 方差分析(Delacre et al., 2019)。问题是,就算知道这一点,真正跑出来、补上事后比较和效应量、再整理成报告,也要花上一整天。

这篇文章跟着教育学硕士生 许然,看看比较三种教学方式的过程。许然是虚构人物,但下面的界面全部来自 Neutropic 中真实运行的结果。

把数据结构也写进了一句话

许然的文件是 teaching_methods.csv:120 名学生,每人一行,包含教学方式(lecture、discussion、project)、期末成绩和年龄。在 智能体画廊 里选中 推断性统计 智能体,附上文件,写道:

请用附件数据检验期末成绩(score)是否因教学方式(method)而不同。每人一行。

这个请求好在最后一句。写明"每人一行",就清楚地说明这是独立组之间的比较,而不是重复测量。括号里标出列名也很有帮助:哪个是结果变量、哪个是分组变量,一目了然。

请求下方依次出现各个步骤,每一步都附有运行过的代码。
请求下方依次出现各个步骤,每一步都附有运行过的代码。

先写下假设再开始

智能体按固定的八个步骤依次执行。数据检查 读取了 120 行 × 4 列;假设与分析计划 提出了一个验证性假设:"H1 不同教学方式的学生期末成绩存在差异 — score ~ method";清理与排除 没有排除规则,120 行全部保留。

检验之前先写下假设,看似小事,却能防止看到结果后再改假设。

方差确实不同,但它没有左右检验的选择

第四步 前提检查 的结果是"满足 3 · 违反 1"。我们打开文件看了一下,各组标准差分别是 lecture 5.5、discussion 8.0、project 11.5,相差两倍以上。方差齐性的前提不成立。

按老办法,这时就该换检验了。但智能体只是报告检查结果,第五步 检验 照样运行了事先定好的 Welch 方差分析。不管方差齐不齐都用同一个检验,分析方法就不会被 Levene 检验的 p 值牵着走。

前提检查(满足 3 · 违反 1)和检验步骤 — Welch 方差分析。
前提检查(满足 3 · 违反 1)和检验步骤 — Welch 方差分析。

不同教学方式的成绩确实不同

结果是 *Welch F(2, 72.29) = 12.35,p* < .001,η²ₚ = .16*。效应量与不确定性* 显示多重比较校正后仍然显著,统计一致性检查没有发现不一致;稳健性检查 中,基于秩的备选分析也保持了同一结论。

答案还指出,经多重比较校正,讨论式和项目式教学组的成绩都高于讲授式,两者之间未显示清晰差异。我们也用同一个文件另行跑了 Welch 方差分析,F 值和自由度完全一致。😎

Welch 方差分析结果、所作假设,以及报告和结果表的说明。
Welch 方差分析结果、所作假设,以及报告和结果表的说明。

许然差点只写一句"效果很大"

看到 η²ₚ = .16,许然很想直接写"教学方式的效果很大"。但效应量只是一个数字,按惯例算"大"并不等于在课堂上有实际意义。答案下方的建议也正是这个方向:用审慎的措辞解释 η²ₚ,并说明教育实践意义与推论边界。

答案里还写明了 所作假设:把"是否因教学方式而不同"视为预先提出的验证性总体组间差异假设。智能体替你做了哪些决定,像这样摆在明面上,日后回应审稿人的提问也容易得多。

报告、结果表和下一步建议都拿到了

成果有两个:statistical_report.md 报告和 statistical_results.xlsx 结果表。报告说明了总体差异检验和多重比较结果,结果表汇总了假设摘要、描述统计、检验前提、排除情况和稳健性分析。点开每一步的代码框,就能看到实际运行的 Python 代码。

答案下方给出了接下来可以做的事:

  1. 基于这份报告和结果表起草完整的论文初稿,并标出需要补充的研究设计、样本来源和教学实施细节 — 论文草稿 智能体
  2. 进一步解释效应量,结合事后比较,用审慎措辞说明教育实践意义与推论边界
结果表的假设工作表,以及答案下方的下一步建议。
结果表的假设工作表,以及答案下方的下一步建议。

花在选检验上的时间,变成了花在解读上的时间

开始时现在
选择检验打算看 Levene 结果再决定一开始就用 Welch 方差分析
前提担心违反了怎么办满足 3 · 违反 1,只报告,检验不变
结果没有F(2, 72.29) = 12.35,p < .001,η²ₚ = .16
确认担心结果不稳多重比较校正、基于秩的稳健性分析
成果没有报告、结果表、每一步的代码

当然也有局限。总体检验显著并不是终点,还要看事后比较中哪些组之间差多少。如果一个人有多行数据,就需要重复测量模型。另外,这个文件看不出学生是否随机分配,要把成绩差异说成教学方式的"效果",还得结合研究设计来判断。

本文使用 Pro,用时约 80 秒。Pro 会增加稳健性分析。Lite(免费方案)只运行主检验;Expert 还会加入更多替代分析和更长的讨论。

比较三组及以上时,默认用 Welch 方差分析。方差齐性检查可以报告,但别让它替你选检验。

这周就像许然一样,上传数据,用一句话提问吧。免费开始使用 Neutropic

博客更多文章