Neutropicで研究を設計する方法:マインドフルネスアプリ実験の対照群・サンプルサイズ・分析計画まで

実験のアイデアはあるのに、対照群、人数、測定時点で手が止まってしまうなら。修士課程の千尋さんが、ひとつの段落から研究課題と仮説、参考研究の比較、コードで計算したサンプルサイズ、設計レポートまで受け取る流れを、実際の画面で追います。

こんにちは、Neutropicチームです!

試験期間になると眠れない、手が震えるという学生は、どこにでもいますよね。マインドフルネスアプリも増えたので、「4週間アプリを使えば試験不安は減るのだろうか」と考えるのは自然なことです。ところが研究で確かめようとすると、疑問が次々に出てきます。対照群には何をしてもらう?何人集めればいい?いつ測って、どう分析する?🥲

設計の段階で決めたことは、後から取り返しがつきません。データを集め終わってから「なぜこの対照群なのですか」「サンプルサイズの根拠は?」と聞かれても、直しようがないからです。

この記事では、教育心理学専攻の修士課程 千尋さん が修士論文の実験を設計する流れを追います。千尋さんは架空の人物ですが、以下の画面はすべてNeutropicで実際に実行した結果です。

知りたいことを5つ、ひとつの段落にまとめました

千尋さんが決めていたのは、所属学科の学部生が対象、期間は4週間、試験不安は質問紙で測る、ということくらいでした。エージェントギャラリー で 実験デザイン エージェントを開き、Pro を選んでこう送りました。

大学生が4週間マインドフルネスアプリを使うと試験不安が減るかを確かめる研究を設計したいです。所属学科の学部生を募集でき、試験不安は質問紙で測るつもりです。どんな研究デザインがよいか、対照群をどう置くか、何人必要か、測定時点と分析方法までまとめてください。

よい依頼である理由は2つあります。すでに決まっている条件(対象、期間、測り方)をはっきり書いたこと、そして欲しい答えを5つ(デザイン、対照群、人数、測定時点、分析)に分けて書いたことです。決めていない部分は空けておいてかまいません。後で見るように、エージェントが仮定として書き留めてくれます。

アイデアを研究課題と仮説に変え、空白は仮定として記録しました

実行は8ステップで、2分ほどで終わりました。ステップ1 研究課題の具体化 では、研究課題2個と仮説2個が設定されました。主仮説(H1)は「介入終了時の試験不安得点の低下は、対照群よりアプリ群で大きい」で、群×測定時点の混合効果モデルで検定すると書かれています。

依頼になかった8点は仮定として記録されました。除外基準は設けず必要な安全対応を事前に定めること、既定に従って対面の実験室で実施すること、介入群は4週間ガイド付き練習を定期的に行い、頻度や長さは実施前に固定すること、などです。千尋さんが決めていない部分が一目でわかるので、指導教員と相談するリストが自然にできあがります。

依頼のすぐ下のステップ1。研究課題、仮説、依頼に記載がなく決めたことが順に並びます。
依頼のすぐ下のステップ1。研究課題、仮説、依頼に記載がなく決めたことが順に並びます。

似た実験8件の設計を先に比べました

ステップ2では、9つのデータベースから98件の文献を見つけ、実験設計8件を比較しました。方法セクションの原文まで読んだ研究もあり、候補の一覧は表ファイルとして残っています。ステップ3で決まったのは 2群並行の混合計画、群2水準 × 測定時点3水準(介入前・介入終了時・追跡時)です。対照群は、時間と接触をそろえた能動対照になりました。

ステップ4 測定ツールの選定 の結果は正直でした。参考研究の情報から尺度名を特定できなかったため、試験不安質問紙1つはNeutropicの測定尺度リストで確認できず、出典の確認が必要と表示されています。それらしい尺度名をでっち上げるのではなく、空欄のまま残したわけです。

サンプルサイズはコードを実行して28人と出ました

ステップ5 サンプルサイズと分析計画 では、検定力分析のコードを実際に実行して 総N 28人 を提案しました。根拠は、混合計画分散分析の群 × 測定の交互作用(2群 × 3回測定、測定間の相関 ρ = 0.5、ε = 1)、効果量 f = 0.25、α = 0.05、検定力 0.80 です。計算コードと割り付け表の生成コードも、それぞれファイルとして付いていました。

私たちも同じ仮定で計算し直したところ、28人がそのまま出ました。計算自体は正しいです。😎

ステップ5。サンプルサイズの根拠と、実行した2つのコードが一緒に表示されます。
ステップ5。サンプルサイズの根拠と、実行した2つのコードが一緒に表示されます。

千尋さんは危うく28人だけ集めるところでした

「28人なら学科内ですぐ集まる!」千尋さんはそのまま計画書に書き写そうとしました。でも根拠の行をもう一度読むと、f = 0.25 の横に 先行研究で確認できなかった推定値 とあります。本当の効果がこれほど大きいかは、まだわからないということです。

もう少しかみくだくと、この計算の枠組みで f = 0.25 は、両群の変化の差が質問紙得点の標準偏差およそ1つ分という仮定で、かなり大きな効果です。私たちが計算したところ、実際の効果がその半分なら28人では検定力が3割弱に下がり、80%を確保するには106人が必要でした。しかも28人は分析対象の人数そのままで、途中でやめる人の分は含まれていません。脱落を2割と見込むだけでも35人は募集が必要です。

ちなみに、仮説は混合効果モデルで検定するとしながら、人数は分散分析の式で計算しています。実際に使う分析に合わせて計算し直しておくと安心です。

レポートと「まず確認すること」が残りました

最後のステップ8で、設計レポートと事前登録の草案が作成されました。回答には研究タイトルと要約、サンプルサイズ、仮定したこと、そして まず確認すること が3つまとめられています。

  • 対象言語の大学生で妥当性が確認された試験不安質問紙を選び、尺度名、項目数、採点法、使用許諾を確定する
  • 能動対照に使う中立的な健康情報やリラクゼーション教育の内容と、両群でそろえる利用時間・研究者接触の手順を確定する
  • アプリ練習の頻度、1回の長さ、ガイド内容、遵守状況の記録方法を固定する
最終回答。サンプルサイズ、依頼になく仮定したこと、まず確認することが一か所にまとまります。
最終回答。サンプルサイズ、依頼になく仮定したこと、まず確認することが一か所にまとまります。

レポートを開くと、冒頭の 今回の実行 に実行レベル、このレベルに含まれる内容、仮定したことが書かれています。参考設計の比較表も別に受け取れました。ノートブックに保存 を押せば、ノートブックで続けて直せます。回答の下には、対照条件・尺度・介入量の未確定事項に沿って先行研究を比べようという提案も ナラティブレビュー エージェント付きで出ていました。

右側に開いた設計レポート。実行レベルと仮定したことが冒頭にまとまっています。
右側に開いた設計レポート。実行レベルと仮定したことが冒頭にまとまっています。

漠然としたアイデアが、検討できる設計案になりました

始めたとき今
研究課題「アプリで不安は減る?」研究課題2個、仮説2個
デザイン決められない2群並行の混合計画、能動対照、介入前・終了時・追跡時の3時点
根拠何を読めばいいかわからない98件を検索、実験設計8件を比較
人数見当がつかないコードで計算した28人と、その仮定
残る作業途方に暮れるまず確認すること3つと事前登録の草案

限界も書いておきます。質問紙はまだ決まっておらず、効果量は先行研究の値ではなく仮定の値です。募集可能な人数約120人も、千尋さんの実情ではなく対面の実験室研究の既定値です。提出する前に、実際の分析方法と脱落を見込んでサンプルサイズを見直してください。それでも、白紙から始めるのと、決めるべきことの一覧が付いた設計案から始めるのとでは、まったく違います。

この記事は Pro を使っており、代替デザイン1つと参考研究8件が含まれます。Lite(無料プラン)は代替デザインなしの主デザインのみを、抄録ベースの参考研究5件で手早く示します。Expert はさらに、分析計画、操作チェック、効果量を×0.5〜×1.25に変えたときの必要人数の表、先行研究から集めた効果量の根拠、設計レビュー1回を加えます。

実験のアイデアをひとつの段落に書けば、指導教員と検討できる設計案までたどり着けます。サンプルサイズの仮定だけは必ず見直しましょう。

今週、千尋さんのように決まっていることと迷っていることを書いて聞いてみてください。Neutropicを無料で始める

ブログの他の記事