实验设计
请以相关研究的实际设计为依据设计实验。我会描述想做的研究。请返回包含假设、变量、设计类型、测量工具、依据功效曲线的样本量、分析计划、伦理和预注册草案的设计报告,以及比较参考研究设计的表格。
实验设计: 正在设计研究方法与实验
告诉我们你想做的实验。我们会以相关研究的实际设计为依据,为你提供包含假设、变量、设计类型、测量工具、样本量、分析计划和伦理的实验设计报告,以及对比所参考研究设计的表格。
适合这些人
- 已经确定研究问题,需要设计如何验证的研究者
- 需要撰写研究计划书、学位论文开题报告中研究方法章节的研究生
- 需要在实验前有依据地确定样本量和分析方法的研究者
- 第一次设计用户实验(A/B测试、条件比较)的UX研究员
- 即将进行伦理审查(IRB)或预注册,需要把设计整理成一份文档的研究团队
你将获得
你会获得两项结果。设计报告包含本研究的设计方案,参考设计对比表包含作为该设计依据的先行研究的设计。
- 实验设计报告 本研究的设计方案 · 研究目标、研究问题与假设、设计类型、自变量和因变量及测量工具、被试与纳入/排除标准、样本量与统计检验力、主要指标、分析计划、伦理、效度威胁、设计依据表、预注册草稿、待决定事项清单。正文中包含流程图、预期结果图和检验力曲线 · DOCX(编辑研究计划书) · PDF(分享) · MD(笔记工具)
- 参考设计对比表 所调查先行研究的设计 · 每项研究一行,包括设计类型、自变量、因变量与测量工具、样本量、分析方法、链接,以及本次设计参考之处 · 表格(排序、筛选) · XLSX · CSV
设计报告中可以查看的项目
两项结果相互关联。设计依据表中引用的研究可以在对比表中找到,对比表的“参考之处”一列显示它支持设计依据表中的哪个要素。
- 研究框架 研究目标、研究问题、有方向的假设(主假设、次假设及检验方法)
- 设计 设计类型(被试间、被试内、混合,因子结构)、条件数与分配和随机化、顺序效应的平衡、备选设计
- 变量与测量 自变量的操纵与水平、因变量的操作性定义(工具、单位、计算方式)、量表的题目数、计分、出处与使用许可
- 被试 目标群体与选择理由、纳入/排除标准及其理由、目标人数(最低标准)
- 统计 效应量及其出处、显著性水平、检验力、多重比较校正、主要指标与成功标准、分析方法
- 程序与伦理 程序流程(筛选、前测、处理、后测)、知情同意、风险、报酬、退出、个人信息、IRB状态
- 依据与局限 各要素的设计依据与出处、效度威胁与应对、区分研究者决定的内容与智能体假设的内容
这样提出请求
帮我设计一个关于{研究主题或实验想法}的实验。我想以{目标群体}为对象,验证{要操纵的因素}对{要测量的结果}的影响。 — 把下划线部分改成你自己的研究后发送。
- 研究主题或实验想法:一句话就够了。
- 目标群体、要操纵的因素、要测量的结果:留空时会采用先行研究中最常见的选择,并在报告和聊天第一行注明为假设。你写下的内容会严格保留。
最好一并提供
- 假设或假设文档 以假设为出发点,转化为可以验证的设计。也可以直接读取基于证据的假设发现的结果文档
- 资源与限制(周期、预算、被试人数上限、设备) 在限制范围内确定样本量和设计类型,并在依据表中注明限制改变了哪些决定
- 必须使用的测量工具或参考论文 测量工具会核实出处和计分方式后纳入,论文会加入参考设计对比表
- 所在机构的IRB表格或规定 按照该标准整理伦理项目
也可以这样请求
- 帮我设计一个实验,验证情感照明对工作专注度的影响。 → 照明条件2~3个水平的被试内设计、专注任务与自评量表、按检验力曲线确定的样本量
- 帮我设计实验来验证附件假设文档中的H1。被试最多60名大学生。 → 以假设文档中的设计草案为出发点,在60人的限制内比较检验力和备选方案的设计
- 我想用VR实验研究老年人自助终端屏幕的字体大小对任务成功率的影响,也请一并给出预注册草稿。 → 反映VR环境限制的设计和预注册草稿(假设、设计、样本、分析、排除规则)
我的指示
即使是同样的实验,各个实验室的设计原则和报告方式也不同。只需选择需要的项目,按你的方式设置。未设置的项目按默认值进行。命名保存后,下次可以直接调用。 报告首页会区分显示本次采用的指示和按默认值进行的项目。
- 偏好的设计 (设计原则) 实验室偏好或要求的设计 · 例如: 优先被试内设计 · 必须有随机对照组 · 默认: 根据问题和约束判断,并注明理由
- 备选设计 (设计原则) 同时提供的备选方案数量与方式 · 例如: 1个备选方案 · 不要备选方案 · 默认: Lite仅给主设计 · Pro及以上另附1个备选方案(比较优缺点与样本量)
- 测量工具原则 (设计原则) 选择量表和工具的标准 · 例如: 仅用经韩国本土效度验证的量表 · 必须有行为指标 · 默认: 优先使用经过验证的量表,并标明出处、计分与使用许可
- 检验力标准 (样本与统计) 样本量计算的显著性水平与检验力 · 例如: α = .05,检验力 .90 · 默认: α = .05,检验力 .80
- 效应量来源 (样本与统计) 样本量计算所用效应量的依据 · 例如: 既往元分析的效应量 · 最小关注效应量 d = 0.3 · 默认: 采用既往研究的效应量,没有时标为估计值
- 多重比较校正 (样本与统计) 进行多个检验时的校正方法 · 例如: Bonferroni · 不校正,只检验一个主假设 · 默认: 主假设固定α,次要假设用Holm校正
- 参与者条件 (研究条件) 对象与人数的限制 · 例如: 大学生 · 60人以内 · 默认: 根据请求判断,并作为假设注明
- 实验环境 (研究条件) 进行实验的场所 · 例如: 线上 · 现场 · VR · 默认: 根据请求判断,未说明时为线下实验室
- 资源限制 (研究条件) 时间、预算与设备 · 例如: 4周内 · 可使用眼动仪 · 默认: 假设无限制并注明
- 参考研究范围 (研究条件) 作为设计依据检索的研究范围 · 例如: 近10年 · HCI会议论文 · 默认: 优先近10年的实验研究
- 预注册格式 (输出格式) 预注册草案的格式 · 例如: OSF标准模板 · AsPredicted · 默认: AsPredicted格式
- 报告语言 (输出格式) 撰写语言 · 例如: 用英语撰写 · 默认: 请求的语言
工作方式
这不是填写设计模板的方式。我们会实际阅读相关研究的方法部分,以这些设计为依据逐一做出本研究的决定。每个决定的理由和出处都会记录在设计依据表中,没有依据的决定会标注为“无出处”。
- 明确研究问题 执行内容: 从请求和假设文档中整理现象、对象和结果,转化为可回答的研究问题和有方向的假设。请求中没有的内容按假设确定并记录 · 可在我的指示中设置: 被试条件、实验环境 · 研究者确认: 问题和假设是否符合意图
- 调查参考研究设计 执行内容: 检索使用相同范式和测量的研究,阅读方法部分,把设计、操纵、测量、样本和分析整理成对比表 · 可在我的指示中设置: 参考研究范围 · 研究者确认: 是否遗漏关键研究
- 确定变量与设计类型 执行内容: 确定自变量的操纵与水平、被试间/被试内/混合设计、随机化与顺序平衡,并与备选设计比较 · 可在我的指示中设置: 偏好的设计、备选设计 · 研究者确认: 设计选择
- 选择测量工具 执行内容: 对因变量做操作性定义,核实量表的题目数、计分、出处和使用许可 · 可在我的指示中设置: 测量工具原则 · 研究者确认: 工具使用许可与翻译改编
- 样本量与分析计划 执行内容: 用与设计相同的检验绘制检验力曲线以确定样本量(以班级、机构为单位分配时计入设计效应),用代码生成可复现的分配表,并确定主要指标、分析方法和多重比较校正 · 可在我的指示中设置: 检验力标准、效应量出处、多重比较校正 · 研究者确认: 效应量假设
- 程序与伦理 执行内容: 把筛选、前测、处理、后测程序画成流程图,整理知情同意、风险、报酬、退出、个人信息和IRB项目 · 可在我的指示中设置: 资源限制 · 研究者确认: 是否存在伦理问题
- 检查效度威胁 执行内容: 整理内部效度、外部效度、构念效度和统计结论效度的威胁及应对 · 研究者确认: 是否接受剩余威胁
- 撰写与检查报告 执行内容: 撰写设计报告和预注册草稿,检查正文数值是否与图(检验力曲线、流程图、预期结果)一致 · 可在我的指示中设置: 预注册格式、报告语言 · 研究者确认: 待决定事项清单
不同级别的区别
查找参考研究的来源
- 学术检索 OpenAlex · PubMed · Crossref · Semantic Scholar · Europe PMC · ERIC · arXiv
- 阅读方法部分 公开全文(Europe PMC等)、附件PDF
- 测量工具 Neutropic量表库(题目数、计分、出处、使用许可)
- 检验力计算 Neutropic检验力计算(用与设计相同的检验计算并绘制曲线)
- 在账户中连接API密钥后纳入检索 Scopus · Web of Science · KCI(设置 → 连接器)
- 未连接 DBpia, RISS, PsycINFO, Google Scholar
关于此方法
- 为什么以先行研究的设计为依据 同一个问题,设计不同,答案也会不同。只有了解先行研究通过怎样的操纵、测量和样本得到结果,才能判断本次设计能否与这些结果比较、遗漏了哪些威胁。因此,每个设计决定都会附上支持它的研究;没有依据时,也会如实注明。
- 这项工作为什么难 实验设计不是填写项目,而是一系列相互牵连的决定。设计类型一变,检验方法就变;检验一变,所需样本量也随之改变。通用AI也能提出看似合理的设计,但常出现样本量与实际检验不符,或引用不存在的量表和论文等问题。本智能体通过计算确定样本量,报告与图中的数字不一致时会先修正再交付。
- 请求技巧
- 已经确定的内容请务必写出。 对象、操纵、测量和限制会严格按你写的执行。
- 如果有被试人数上限,请告诉我们。我们会在此范围内比较检验力和备选设计。
- 如果有假设文档,请附上。设计会调整为验证该假设。
- 收到结果后可以在聊天中继续请求。例如:“如果把样本量减到80人呢?”“改成被试间设计”“把预注册草稿改成OSF格式”
常见问题
- 研究者需要自己判断哪些部分?
- 设计的最终决定由研究者做出。智能体提供判断所需的依据和计算。 • 请检查效应量假设。 样本量在很大程度上取决于这个假设。没有出处的估计值已在报告中标注。 • 是否存在伦理问题由IRB判断。 报告中的伦理项目是帮助撰写审查材料的草稿。 • 请确认测量工具的使用许可和翻译改编程序。 量表库中没有的工具会标注为“需核实出处”。 • 请查看待决定事项清单。 智能体假设的内容和需要研究者决定的内容已分别整理。
- 样本量如何确定?
- 用与设计相同的检验(例如混合设计的交互作用用变化分数)计算检验力曲线,采用达到设定检验力所需的人数,并同时注明效应量、显著性水平、检验力及效应量的出处。按能够检验假设的最少人数计算,不包括为应对流失而额外招募的人数。
- 引用的论文真实存在吗?
- 是的。只能引用本次运行中检索并阅读过的文献。其他引用会在保存前替换为“无出处 — 已排除的引用”。
- 会帮我完成预注册吗?
- 我们会提供预注册草稿(假设、设计、变量、样本、分析、排除规则)。注册请由研究者在OSF或AsPredicted上自行完成。
- 也能设计问卷题目或可用性测试吗?
- 问卷题目开发和可用性测试计划更适合使用各自的专用智能体。本智能体专注于比较条件的实验设计。
- 可以直接用于研究计划书吗?
- 请作为草稿使用。请将引用文献与原文核对,并确认假设和待决定事项后再使用。