こんにちは、Neutropicチームです!
3つの群を比べる分析は、大学院で一度はやったことがあると思います。統計の授業で習う手順は、たいていこうです。まずLevene検定、等分散なら通常の分散分析、そうでなければ別の検定。ところが実際にやってみると、Levene検定のp値が0.04か0.06かで、論文の分析方法がまるごと変わってしまいます。それで本当にいいのでしょうか。🥲
方法論の研究は、この2段階の手続きが誤りの率をゆがめると指摘しています。群の大きさと分散が異なると通常のF検定は頑健ではなく、最初からWelchの分散分析を既定にしよう、という勧告があります(Delacre et al., 2019)。問題は、分かっていても、実際に計算して、事後比較と効果量を付けて、レポートにまとめるまでに一日かかることです。
この記事では、教育学の修士課程 悠真さん が3つの授業方法を比べる流れを追います。悠真さんは架空の人物ですが、以下の画面はすべてNeutropicで実際に実行した結果です。
データの構造まで一文に書きました
悠真さんのファイルはteaching_methods.csvでした。学生120人の授業方法(lecture・discussion・project)、期末得点、年齢が1人1行で入っています。エージェントギャラリー で 推測統計 エージェントを選び、ファイルを添付して、こう書きました。
添付データで、授業方法(method)によって期末得点(score)が異なるか検定してください。1人1行です。
よい依頼である理由は最後の一文です。「1人1行」と書いておけば、反復測定ではなく独立した群の比較だとはっきりします。列名を括弧で添えたのも効いています。どれが結果変数で、どれが群なのか迷う余地がありません。

まず仮説を書いてから始めました
エージェントは決まった8つのステップを順に進めました。データ確認 で120行 × 4列を読み込み、仮説と分析計画 で確証的な仮説を1つ立てました。「H1 授業方法によって期末得点は異なる — score ~ method」。クリーニングと除外 では除外規則なしで120行がそのまま残りました。
検定の前に仮説を書いておくのは小さなことに見えますが、結果を見てから仮説を作り替えることを防いでくれます。
分散は違っていましたが、それで検定は選ばれませんでした
4つ目の 前提の確認 の結果は「充足 3 · 違反 1」。私たちがファイルを開いてみると、群ごとの標準偏差は lecture 5.5、discussion 8.0、project 11.5 と、2倍以上の開きがありました。等分散の前提が崩れていたわけです。
従来のやり方なら、ここで検定を切り替えていたでしょう。でもエージェントは確認結果を報告するだけで、5つ目の 検定 では最初から決めていた Welchの分散分析 を実行しました。分散が等しくても異なっても同じ検定なので、Levene検定のp値に分析方法が振り回されません。

授業方法によって得点は異なりました
結果は *Welch F(2, 72.29) = 12.35, p* < .001, η²ₚ = .16*。効果量と不確実性* では多重比較の補正後も有意で、統計の整合性チェックに不一致はありませんでした。頑健性チェック では、順位に基づく代替分析でも結論が保たれました。
回答によると、project群とdiscussion群はどちらもlecture群より高く、discussion群とproject群の差は明確ではありませんでした。私たちも同じファイルでWelchの分散分析を別途実行し、F値と自由度が同じになることを確かめました。😎

「効果が大きい」で終わらせるところでした
η²ₚ = .16を見て、悠真さんは「授業方法の効果は大きい」とまとめたくなりました。でも回答はこう添えています。効果量は慣例的な基準で大きいと分類されるが、これは効果の重要性を決める絶対的な判定ではない、と。教室でこの程度の得点差に意味があるかは、別に考える必要があります。
回答には 仮定したこと も書かれていました。期末得点 score を連続的な結果変数、授業方法 method を群変数として扱う、という設定です。エージェントが何をどう決めたかがこうして見えていれば、あとで査読者に聞かれても答えやすくなります。
レポートと結果の表、次の一手まで受け取りました
成果物は statistical_report.md のレポートと statistical_results.xlsx の結果の表です。レポートには検定結果、記述統計、前提の確認、事後比較、除外、頑健性がまとまり、結果の表には仮説の要約と各分析の結果が入っています。ステップごとのコードボックスを押せば、実際に実行したPythonコードも見られます。
回答の下には、続けてできることが提案されていました。授業方法別の期末得点について、統計レポートを踏まえて論文に使える結果節とAPA形式の報告文を作る — 論文ドラフト エージェント。

検定選びに使っていた時間が、解釈に使える時間になりました
| 始めたとき | 今 | |
|---|---|---|
| 検定の選択 | Levene検定の結果で切り替えるつもり | 最初からWelchの分散分析 |
| 前提 | 違反したらどうしようと心配 | 充足 3 · 違反 1、報告のみで検定はそのまま |
| 結果 | なし | F(2, 72.29) = 12.35, p < .001, η²ₚ = .16 |
| 確認 | 結果が揺らがないか不安 | 多重比較の補正、順位に基づく頑健性分析 |
| 成果物 | なし | レポート、結果の表、ステップごとのコード |
限界もあります。全体の検定が有意でも終わりではなく、どの組がどれだけ違うかを事後比較で読む必要があります。1人が複数行を持つデータなら、反復測定のモデルが必要です。そして今回のファイルからは無作為に割り付けたかどうかが分からないので、得点差を授業方法の「効果」と言い切るには研究デザインも合わせて見なければなりません。
この記事は Pro で実行し、約80秒かかりました。Proは頑健性分析を加えます。Lite(無料プラン)は主検定のみ、Expert はさらに代替分析とより長い考察を加えます。
3群以上の比較はWelchの分散分析を既定に。等分散の確認は報告しても、検定を選ばせないこと。
今週、悠真さんのようにデータを添付して、一文で聞いてみてください。Neutropicを無料で始める