문헌 보고서는 확인하기 쉽습니다. 문장마다 번호가 붙어 있고, 그 번호를 따라가면 논문이 나옵니다. 분석 보고서는 그렇지 않았습니다. "바이오피드백군의 스트레스가 5.96점 줄었다"는 문장을 보면, 그 숫자가 실행 중 어딘가에서 나왔다는 것은 알 수 있습니다. 하지만 어느 단계에서 나왔는지 확인하려면 채팅을 거슬러 올라가 코드 셀을 하나씩 열어 5.96을 찍은 셀을 찾아야 했습니다.
이제 분석 보고서도 문헌 보고서와 같은 방식으로 확인할 수 있습니다. 데이터 분석·통계·연구 설계·검토 보고서의 문장마다 [n] 인용이 붙습니다. 출처는 그 주장의 실제 근거입니다. 이번 턴의 분석 단계(툴 호출과 그 출력), 올린 데이터, 표본 크기의 근거가 된 검정력 곡선, 검토 대상 문서가 여기에 해당합니다.
![아티팩트 패널의 통계 보고서. 문장마다 [n] 번호가 붙어 있고, 채팅에는 인용이 달린 문장 수와 그 번호가 가리키는 분석 단계 수가 표시됩니다.](/blog/citations/report.png)
어떻게 동작하나
요청하는 방식은 그대로입니다. 데이터 분석·통계 턴이 끝나면, 보고서를 열기 전에 다음 세 가지가 처리됩니다.
- 이번 턴의 단계가 출처가 됩니다. 데이터 적재, 가정 점검, 검정 실행, 샌드박스 코드 셀, 효과크기 추정처럼 결과를 낸 단계가 출력과 함께 기록됩니다. 실패한 호출과 파일을 읽기만 한 단계는 빠집니다.
- 인용 단계에서 문장에 번호가 붙습니다. 보고서의 각 문장을 그 내용을 뒷받침하는 출력을 낸 단계와 맞추고, 그 단계의 번호를 붙입니다. 효과크기를 말하는 문장은 효과크기 단계를, 정규성을 말하는 문장은 가정 점검 단계를 가리킵니다.
- 참고문헌 절이 붙습니다. 보고서 끝에 번호마다 출처의 종류가 분석 단계, 데이터, 검토 대상 문서 중 무엇인지 표시되고, 단계 이름, 실행 인자, 출력의 앞부분이 함께 나옵니다.
인용이 끝나면 채팅에 짧은 안내가 나옵니다. 몇 문장에 인용이 달렸고, 그 번호들이 몇 개의 단계를 가리키는지 알려 줍니다.
번호를 누르면 단계가 보입니다
번호에 마우스를 올리면 출처 카드가 뜨고, 클릭하면 카드가 고정됩니다. 문헌 보고서에서는 논문이 나오고, 분석 보고서에서는 단계가 나옵니다. 어떤 툴이 어떤 파일과 열로 실행됐는지, 그리고 무엇을 출력했는지 볼 수 있습니다.
그래서 "t(78) = −5.506, p < .001" 같은 문장을 읽다가 바로 확인할 수 있습니다. 번호를 열면 그 t 값을 찍은 출력이 나옵니다.
통계 보고서 말고도
같은 방식이 다른 보고서에도 적용됩니다.
- 연구 설계. 설계 보고서는 설계 선택의 근거로 이번 세션에서 읽은 문헌을, 표본 크기의 근거로 검정력 곡선 계산을 인용합니다.
- 보고서 검토와 논문 심사. 검토 보고서는 검토한 문서(검토 대상 문서), 세션에서 읽은 문헌, 검토자가 데이터로 다시 돌린 분석을 인용합니다.
- 문헌조사. 달라진 것은 없습니다. 문장은 실제로 읽은 논문, 특허, 웹 자료를 인용합니다.
왜 중요한가
숫자 하나를 확인하는 데 클릭 한 번이면 됩니다. 분석을 머릿속으로 다시 짜 보거나 채팅에서 코드 셀을 찾아다니지 않아도 됩니다. 주장과 근거를 한 화면에서 볼 수 있습니다.
다른 사람도 확인할 수 있습니다. 지도교수, 공저자, 심사자가 보고서를 열고 어느 문장이든 그 숫자를 낸 단계까지 따라갈 수 있습니다. 여러분이 옆에서 설명하지 않아도 됩니다.
근거가 없는 문장은 숨기지 않습니다. 분석 보고서에는 해석, 한계, 맥락처럼 어느 단계로도 증명할 수 없는 문장이 있습니다. 이런 문장에는 번호가 붙지 않지만 지우지도 않습니다. 그래서 어느 문장이 출력에 근거하고, 어느 문장이 그 출력에 대한 보고서의 해석인지 구분해서 읽을 수 있습니다.
이 기능은 기본이 재현성에서 소개한 원칙을 문장 단위로 적용한 것입니다. 모든 산출물이 자기를 만든 코드와 데이터를 기록하듯이, 이제 모든 문장이 자기 근거가 된 단계를 표시합니다. 숫자를 다시 계산해 보는 독립 검토자(모든 분석에는 두 번째 의견이 필요합니다)와 함께 쓰면 좋습니다. 인용은 숫자가 어디서 나왔는지 보여 주고, 검토자는 그 숫자가 맞는지 확인합니다.
쓰는 법
데이터 파일을 첨부하고 원하는 분석을 평소 말로 요청하거나, /stats 또는 /analyze로 시작하세요. Basic 수준으로 충분합니다.
/stats pss_trial.xlsx 로 바이오피드백군과 대조군 사이에 지각된 스트레스 변화(pss_post − pss_pre)가 다른지 검정하고, 가정을 확인한 뒤 짧은 결과 보고서를 써 줘.
턴이 끝나면 아티팩트 패널에서 보고서를 여세요. 번호에 마우스를 올리거나 클릭하면 해당 단계가 보이고, 끝까지 내리면 전체 참고문헌이 있습니다. 그림 뒤의 코드는 지금처럼 아티팩트의 { } 버튼으로 볼 수 있습니다.
