你好,我们是 Neutropic 团队!
每到考试季,总有同学睡不着、手发抖。现在正念App这么多,自然会想:连续用四周App,考试焦虑会不会降下来?可一旦想用研究来验证,问题就接二连三:对照组做什么?需要多少人?什么时候测、怎么分析?🥲
设计阶段的决定很难回头改。数据收完之后再被问"为什么这样设对照组?""样本量依据是什么?",基本就没法补救了。
这篇文章跟着教育心理学硕士生 林悦,看看设计学位论文实验的过程。林悦是虚构人物,但下面的界面全部来自 Neutropic 中的真实运行。
把想问的五件事写进一段话
林悦已经确定的不多:对象是本系本科生,时长四周,考试焦虑用问卷测。在 智能体画廊 打开 实验设计 智能体,选择 Pro,发送了这段话:
我想设计一项研究,检验大学生连续四周使用正念App能否降低考试焦虑。我可以招募本系的本科生,考试焦虑打算用问卷测量。请帮我整理合适的研究设计、对照组怎么设置、需要多少人、测量时间点以及分析方法。
这个请求好在两点:一是写清了已经确定的条件(对象、时长、测量方式),二是把想要的答案拆成五项(设计、对照组、人数、测量时间点、分析)。没想好的部分可以先空着,下面会看到,智能体会把它们记录为假定。
想法变成研究问题和假设,空白处记为假定
运行分 8 个步骤,两分钟左右完成。步骤 1 明确研究问题 确定了 3 个研究问题和 2 个假设。主要假设(H1)是:与主动对照组相比,正念App组从干预前到干预后的考试焦虑下降更多,用组别×时间交互作用检验。
请求中没有提到的 9 项被记为假定:参与者是自愿参加、能使用智能手机的本系本科生;采用个体随机分组;正念App组按预设、可记录的频率练习四周,具体内容和时长需要在方案中确定。哪些是林悦没定过的,一眼就能看出来,和导师讨论的清单也就有了。

先比较了 8 项类似实验的设计
步骤 2 在 8 个数据库中找到 93 篇文献,比较了 8 项实验的设计,其中一部分读到了方法部分原文,候选清单保存成了表格文件。步骤 3 定下的是混合设计:2 组(正念App、主动对照)× 3 个时间点(基线、四周干预结束、结束后四周随访)。
步骤 4 选择测量工具 的结果很坦诚:考试焦虑问卷只写了"选用经验证且适用于中文大学生的版本",还没有落到具体量表,这 1 个工具没能在 Neutropic 测量工具列表中核实,被标为需要确认出处。没有随手编一个量表名字,而是留了空。
样本量由代码算出:28 人
步骤 5 样本量与分析计划 实际运行了检验力分析代码,提出 总 N 28 人。依据是混合设计方差分析的组别 × 测量交互作用(2 组 × 3 次测量,测量间相关 ρ = 0.5,ε = 1),效应量 f = 0.25,α = 0.05,检验力 0.80。计算代码和生成随机分配表的代码都作为文件附上,标着"已运行"。
我们用同样的假设重新算了一遍,同样得到 28 人。计算本身没有问题。😎

林悦差点只招 28 个人
"28 人,本系很快就能招满!"林悦正想直接抄进开题报告。可再读一遍依据那一行,f = 0.25 后面写着 未在前人研究中找到的估计值,也就是说,真实效应是否有这么大,目前并不知道。
说得具体一点:在这个计算框架里,f = 0.25 相当于两组的变化差异约为问卷得分的一个标准差,这是相当大的效应。我们算了一下,如果真实效应只有一半,28 人的检验力会降到三成左右,要达到 80% 需要 106 人。而且 28 人是分析对象人数,没有考虑中途退出;哪怕只按 20% 脱落估计,也要招 35 人。
好在智能体也提醒了这一点。答案下方的第一条下一步建议就是:细化效应量、检验效能、显著性水平和脱落率假设,"并说明总N=28是否仅适合作为先导研究"。
报告和"请先确认"清单一起留了下来
最后的步骤 8 撰写了设计报告和预注册草稿。答案里整理了研究标题、一段摘要、样本量、假定内容,以及三条 请先确认:
- 确认并记录考试焦虑问卷的具体中文版本、来源、适用证据、总分算法及使用许可
- 确定正念App的具体内容、每日练习时长与频率、可记录的依从性指标,以及技术故障处理流程
- 确定主动对照的具体内容,并核实其时长与接触频率和正念组匹配、且不包含正念练习

打开报告,最上方的 本次运行 写明了运行级别、该级别包含的内容和假定。参考设计比较表也可以单独查看。点 保存到笔记本,就能在笔记本里继续修改。答案下方还有两条建议:设计四周主动对照方案,以及用 叙述性综述 智能体整理可用于效应量依据和问卷选择的文献。

模糊的想法,变成了可以讨论的设计方案
| 开始时 | 现在 | |
|---|---|---|
| 研究问题 | "用App能减轻焦虑吗?" | 3 个研究问题、2 个假设 |
| 设计 | 拿不定主意 | 2 组 × 3 时间点混合设计,主动对照 |
| 依据 | 不知道该读什么 | 检索 93 篇,比较 8 项实验设计 |
| 样本量 | 心里没底 | 代码算出的 28 人及其假设 |
| 待办 | 无从下手 | 三条请先确认事项和预注册草稿 |
也说说局限。问卷还没确定,效应量是假设值而不是前人研究中的数值;可招募约 120 人也是线下实验室研究的默认值,不是林悦的实际情况。提交之前,请按实际分析方法并考虑脱落重新核算样本量。但从一份列明待定事项的设计方案出发,和从一张白纸出发,完全不一样。
本文使用 Pro 运行,包含 1 个替代设计和 8 项参考研究。Lite(免费方案)不给替代设计,只基于摘要参考 5 项研究,快速给出核心设计;Expert 还会加入分析计划、操纵检查、效应量按 ×0.5~×1.25 变化时的所需样本量表、从前人研究中整理的效应量依据,以及一轮设计审查。
把实验想法写成一段话,就能得到一份可以和导师讨论的设计方案。只是样本量的假设一定要再核对。
这周就像林悦一样,把已经确定的和还拿不准的写下来问一问吧。免费开始使用 Neutropic