每句话都有出处:展示依据的分析报告

每句话都有出处:展示依据的分析报告

文献报告很容易核对:每个句子后面都有一个编号,顺着编号就能找到对应的论文。分析报告一直没有这么方便。读到"生物反馈组的压力下降了 5.96 分",你知道这个数字来自运行过程中的某一步,但要确认是哪一步,只能在对话里往回翻,一个个打开代码单元,直到找到打印出 5.96 的那一个。

现在,分析报告也能像文献报告一样核对了。数据分析、统计、研究设计和审查报告的每个句子都带有 [n] 引用,来源就是这些结论的真实依据:本回合的分析步骤(每次工具调用及其输出)、你上传的数据、支撑样本量的功效曲线,以及被审查的文档。

![产出物面板中的统计报告:句子后面带有 [n] 编号,对话中提示有多少句子加了引用、这些编号指向多少个分析步骤。](/blog/citations/report.png)

工作原理

提问方式不需要改变。数据分析或统计回合结束后,在你打开报告之前,会先完成三件事。

  • 本回合的步骤成为来源。 每个产生结果的步骤都会连同输出一起记录,比如载入数据、检查前提假设、执行检验、沙盒代码单元、估计效应量。失败的调用和只读取文件的步骤不计入。
  • 引用环节为句子编号。 报告中的每个句子都会和能支撑它的步骤输出对应起来,并标上该步骤的编号。讲效应量的句子指向效应量步骤,讲正态性的句子指向前提检查步骤。
  • 附上参考文献部分。 报告末尾会列出每个编号,并标明来源类型:分析步骤、数据或评审对象文档,同时附上步骤名称、运行参数和输出的开头部分。

引用完成后,对话中会出现一条简短提示,说明有多少句子加了引用,以及这些编号指向多少个步骤。

点开编号,就能看到步骤

把鼠标悬停在编号上会弹出来源卡片,点击后卡片会固定显示。在文献报告中,卡片显示论文;在分析报告中,卡片显示步骤:运行了哪个工具、用的是哪个文件和哪些列,以及输出了什么。

来源卡片:按组对变化分数运行的 compare_groups 步骤,以及其输出的开头部分(设计、分组、前提检查结果)。
来源卡片:按组对变化分数运行的 compare_groups 步骤,以及其输出的开头部分(设计、分组、前提检查结果)。

所以读到"t(78) = −5.506, p < .001"时,可以当场核对。点开编号,就能看到打印出这个 t 值的输出。

参考文献部分:数据和各个分析步骤分别标为"数据"和"分析步骤",并附上运行参数和输出的开头部分。
参考文献部分:数据和各个分析步骤分别标为"数据"和"分析步骤",并附上运行参数和输出的开头部分。

不只是统计报告

同样的做法也用于其他报告。

  • 研究设计。 设计报告会引用本会话中读过的文献作为设计选择的依据,并引用功效曲线计算作为样本量的依据。
  • 报告审查与论文评审。 审查报告会引用被审查的文档(标为评审对象文档)、本会话中读过的文献,以及审查者用你的数据重新运行的分析。
  • 文献调研。 这部分没有变化,句子引用的是实际读过的论文、专利和网络资料。

为什么重要

核对一个数字只需点一下。 不用在脑子里重建分析,也不用在对话里翻找代码单元。结论和依据就在同一个地方。

别人也能核对你的工作。 导师、合著者或审稿人可以打开报告,把任何一句话追溯到产生它的步骤,不需要你在旁边解释。

没有依据的句子不会被隐藏。 分析报告中有些句子属于解读、局限或背景,没有哪个步骤能证明它们。这些句子不会带编号,但也不会被删掉。这样你就能分清哪些陈述有输出作依据,哪些是报告对输出的解读。

这是默认可复现中那条原则在句子层面的体现:每个产出物都记录着生成它的代码和数据,现在每个句子也标明了它依据的步骤。它也可以和会重新计算数字的独立审查者搭配使用(见为什么每一次分析都值得第二意见)。引用告诉你数字从哪里来,审查者检查这个数字对不对。

如何使用

附上数据文件,用平常的话描述想做的分析,或者以 /stats、/analyze 开头。Basic 档位就够了。

text
/stats 用 pss_trial.xlsx 检验生物反馈组与对照组之间感知压力的变化(pss_post − pss_pre)是否不同,检查前提假设,并写一份简短的结果报告。

回合结束后,在产出物面板中打开报告。悬停或点击任意编号即可查看对应步骤,滚动到末尾可以看到完整的参考文献列表。图表背后的代码仍然可以通过产出物上的 { } 按钮查看。