实验设计

请以相关研究的实际设计为依据设计实验。我会描述想做的研究。请返回包含假设、变量、设计类型、测量工具、依据功效曲线的样本量、分析计划、伦理和预注册草案的设计报告,以及比较参考研究设计的表格。

实验设计: 正在设计研究方法与实验

告诉我们你想做的实验。我们会以相关研究的实际设计为依据,为你提供包含假设、变量、设计类型、测量工具、样本量、分析计划和伦理的实验设计报告,以及对比所参考研究设计的表格。

适合这些人

  • 已经确定研究问题,需要设计如何验证的研究者
  • 需要撰写研究计划书、学位论文开题报告中研究方法章节的研究生
  • 需要在实验前有依据地确定样本量和分析方法的研究者
  • 第一次设计用户实验(A/B测试、条件比较)的UX研究员
  • 即将进行伦理审查(IRB)或预注册,需要把设计整理成一份文档的研究团队

你将获得

你会获得两项结果。设计报告包含本研究的设计方案,参考设计对比表包含作为该设计依据的先行研究的设计。

  • 实验设计报告 本研究的设计方案 · 研究目标、研究问题与假设、设计类型、自变量和因变量及测量工具、被试与纳入/排除标准、样本量与统计检验力、主要指标、分析计划、伦理、效度威胁、设计依据表、预注册草稿、待决定事项清单。正文中包含流程图、预期结果图和检验力曲线 · DOCX(编辑研究计划书) · PDF(分享) · MD(笔记工具)
  • 参考设计对比表 所调查先行研究的设计 · 每项研究一行,包括设计类型、自变量、因变量与测量工具、样本量、分析方法、链接,以及本次设计参考之处 · 表格(排序、筛选) · XLSX · CSV

设计报告中可以查看的项目

两项结果相互关联。设计依据表中引用的研究可以在对比表中找到,对比表的“参考之处”一列显示它支持设计依据表中的哪个要素。

  • 研究框架 研究目标、研究问题、有方向的假设(主假设、次假设及检验方法)
  • 设计 设计类型(被试间、被试内、混合,因子结构)、条件数与分配和随机化、顺序效应的平衡、备选设计
  • 变量与测量 自变量的操纵与水平、因变量的操作性定义(工具、单位、计算方式)、量表的题目数、计分、出处与使用许可
  • 被试 目标群体与选择理由、纳入/排除标准及其理由、目标人数(最低标准)
  • 统计 效应量及其出处、显著性水平、检验力、多重比较校正、主要指标与成功标准、分析方法
  • 程序与伦理 程序流程(筛选、前测、处理、后测)、知情同意、风险、报酬、退出、个人信息、IRB状态
  • 依据与局限 各要素的设计依据与出处、效度威胁与应对、区分研究者决定的内容与智能体假设的内容

这样提出请求

帮我设计一个关于{研究主题或实验想法}的实验。我想以{目标群体}为对象,验证{要操纵的因素}对{要测量的结果}的影响。 — 把下划线部分改成你自己的研究后发送。

  • 研究主题或实验想法:一句话就够了。
  • 目标群体、要操纵的因素、要测量的结果:留空时会采用先行研究中最常见的选择,并在报告和聊天第一行注明为假设。你写下的内容会严格保留。

最好一并提供

  • 假设或假设文档 以假设为出发点,转化为可以验证的设计。也可以直接读取基于证据的假设发现的结果文档
  • 资源与限制(周期、预算、被试人数上限、设备) 在限制范围内确定样本量和设计类型,并在依据表中注明限制改变了哪些决定
  • 必须使用的测量工具或参考论文 测量工具会核实出处和计分方式后纳入,论文会加入参考设计对比表
  • 所在机构的IRB表格或规定 按照该标准整理伦理项目

也可以这样请求

  • 帮我设计一个实验,验证情感照明对工作专注度的影响。 → 照明条件2~3个水平的被试内设计、专注任务与自评量表、按检验力曲线确定的样本量
  • 帮我设计实验来验证附件假设文档中的H1。被试最多60名大学生。 → 以假设文档中的设计草案为出发点,在60人的限制内比较检验力和备选方案的设计
  • 我想用VR实验研究老年人自助终端屏幕的字体大小对任务成功率的影响,也请一并给出预注册草稿。 → 反映VR环境限制的设计和预注册草稿(假设、设计、样本、分析、排除规则)

我的指示

即使是同样的实验,各个实验室的设计原则和报告方式也不同。只需选择需要的项目,按你的方式设置。未设置的项目按默认值进行。命名保存后,下次可以直接调用。 报告首页会区分显示本次采用的指示和按默认值进行的项目。

  • 偏好的设计 (设计原则) 实验室偏好或要求的设计 · 例如: 优先被试内设计 · 必须有随机对照组 · 默认: 根据问题和约束判断,并注明理由
  • 备选设计 (设计原则) 同时提供的备选方案数量与方式 · 例如: 1个备选方案 · 不要备选方案 · 默认: Lite仅给主设计 · Pro及以上另附1个备选方案(比较优缺点与样本量)
  • 测量工具原则 (设计原则) 选择量表和工具的标准 · 例如: 仅用经韩国本土效度验证的量表 · 必须有行为指标 · 默认: 优先使用经过验证的量表,并标明出处、计分与使用许可
  • 检验力标准 (样本与统计) 样本量计算的显著性水平与检验力 · 例如: α = .05,检验力 .90 · 默认: α = .05,检验力 .80
  • 效应量来源 (样本与统计) 样本量计算所用效应量的依据 · 例如: 既往元分析的效应量 · 最小关注效应量 d = 0.3 · 默认: 采用既往研究的效应量,没有时标为估计值
  • 多重比较校正 (样本与统计) 进行多个检验时的校正方法 · 例如: Bonferroni · 不校正,只检验一个主假设 · 默认: 主假设固定α,次要假设用Holm校正
  • 参与者条件 (研究条件) 对象与人数的限制 · 例如: 大学生 · 60人以内 · 默认: 根据请求判断,并作为假设注明
  • 实验环境 (研究条件) 进行实验的场所 · 例如: 线上 · 现场 · VR · 默认: 根据请求判断,未说明时为线下实验室
  • 资源限制 (研究条件) 时间、预算与设备 · 例如: 4周内 · 可使用眼动仪 · 默认: 假设无限制并注明
  • 参考研究范围 (研究条件) 作为设计依据检索的研究范围 · 例如: 近10年 · HCI会议论文 · 默认: 优先近10年的实验研究
  • 预注册格式 (输出格式) 预注册草案的格式 · 例如: OSF标准模板 · AsPredicted · 默认: AsPredicted格式
  • 报告语言 (输出格式) 撰写语言 · 例如: 用英语撰写 · 默认: 请求的语言

工作方式

这不是填写设计模板的方式。我们会实际阅读相关研究的方法部分,以这些设计为依据逐一做出本研究的决定。每个决定的理由和出处都会记录在设计依据表中,没有依据的决定会标注为“无出处”。

  • 明确研究问题 执行内容: 从请求和假设文档中整理现象、对象和结果,转化为可回答的研究问题和有方向的假设。请求中没有的内容按假设确定并记录 · 可在我的指示中设置: 被试条件、实验环境 · 研究者确认: 问题和假设是否符合意图
  • 调查参考研究设计 执行内容: 检索使用相同范式和测量的研究,阅读方法部分,把设计、操纵、测量、样本和分析整理成对比表 · 可在我的指示中设置: 参考研究范围 · 研究者确认: 是否遗漏关键研究
  • 确定变量与设计类型 执行内容: 确定自变量的操纵与水平、被试间/被试内/混合设计、随机化与顺序平衡,并与备选设计比较 · 可在我的指示中设置: 偏好的设计、备选设计 · 研究者确认: 设计选择
  • 选择测量工具 执行内容: 对因变量做操作性定义,核实量表的题目数、计分、出处和使用许可 · 可在我的指示中设置: 测量工具原则 · 研究者确认: 工具使用许可与翻译改编
  • 样本量与分析计划 执行内容: 用与设计相同的检验绘制检验力曲线以确定样本量(以班级、机构为单位分配时计入设计效应),用代码生成可复现的分配表,并确定主要指标、分析方法和多重比较校正 · 可在我的指示中设置: 检验力标准、效应量出处、多重比较校正 · 研究者确认: 效应量假设
  • 程序与伦理 执行内容: 把筛选、前测、处理、后测程序画成流程图,整理知情同意、风险、报酬、退出、个人信息和IRB项目 · 可在我的指示中设置: 资源限制 · 研究者确认: 是否存在伦理问题
  • 检查效度威胁 执行内容: 整理内部效度、外部效度、构念效度和统计结论效度的威胁及应对 · 研究者确认: 是否接受剩余威胁
  • 撰写与检查报告 执行内容: 撰写设计报告和预注册草稿,检查正文数值是否与图(检验力曲线、流程图、预期结果)一致 · 可在我的指示中设置: 预注册格式、报告语言 · 研究者确认: 待决定事项清单

不同级别的区别

查找参考研究的来源

  • 学术检索 OpenAlex · PubMed · Crossref · Semantic Scholar · Europe PMC · ERIC · arXiv
  • 阅读方法部分 公开全文(Europe PMC等)、附件PDF
  • 测量工具 Neutropic量表库(题目数、计分、出处、使用许可)
  • 检验力计算 Neutropic检验力计算(用与设计相同的检验计算并绘制曲线)
  • 在账户中连接API密钥后纳入检索 Scopus · Web of Science · KCI(设置 → 连接器)
  • 未连接 DBpia, RISS, PsycINFO, Google Scholar

关于此方法

  • 为什么以先行研究的设计为依据 同一个问题,设计不同,答案也会不同。只有了解先行研究通过怎样的操纵、测量和样本得到结果,才能判断本次设计能否与这些结果比较、遗漏了哪些威胁。因此,每个设计决定都会附上支持它的研究;没有依据时,也会如实注明。
  • 这项工作为什么难 实验设计不是填写项目,而是一系列相互牵连的决定。设计类型一变,检验方法就变;检验一变,所需样本量也随之改变。通用AI也能提出看似合理的设计,但常出现样本量与实际检验不符,或引用不存在的量表和论文等问题。本智能体通过计算确定样本量,报告与图中的数字不一致时会先修正再交付。
  • 请求技巧
  • 已经确定的内容请务必写出。 对象、操纵、测量和限制会严格按你写的执行。
  • 如果有被试人数上限,请告诉我们。我们会在此范围内比较检验力和备选设计。
  • 如果有假设文档,请附上。设计会调整为验证该假设。
  • 收到结果后可以在聊天中继续请求。例如:“如果把样本量减到80人呢?”“改成被试间设计”“把预注册草稿改成OSF格式”

常见问题

研究者需要自己判断哪些部分?
设计的最终决定由研究者做出。智能体提供判断所需的依据和计算。 • 请检查效应量假设。 样本量在很大程度上取决于这个假设。没有出处的估计值已在报告中标注。 • 是否存在伦理问题由IRB判断。 报告中的伦理项目是帮助撰写审查材料的草稿。 • 请确认测量工具的使用许可和翻译改编程序。 量表库中没有的工具会标注为“需核实出处”。 • 请查看待决定事项清单。 智能体假设的内容和需要研究者决定的内容已分别整理。
样本量如何确定?
用与设计相同的检验(例如混合设计的交互作用用变化分数)计算检验力曲线,采用达到设定检验力所需的人数,并同时注明效应量、显著性水平、检验力及效应量的出处。按能够检验假设的最少人数计算,不包括为应对流失而额外招募的人数。
引用的论文真实存在吗?
是的。只能引用本次运行中检索并阅读过的文献。其他引用会在保存前替换为“无出处 — 已排除的引用”。
会帮我完成预注册吗?
我们会提供预注册草稿(假设、设计、变量、样本、分析、排除规则)。注册请由研究者在OSF或AsPredicted上自行完成。
也能设计问卷题目或可用性测试吗?
问卷题目开发和可用性测试计划更适合使用各自的专用智能体。本智能体专注于比较条件的实验设计。
可以直接用于研究计划书吗?
请作为草稿使用。请将引用文献与原文核对,并确认假设和待决定事项后再使用。