2년 전 발표한 논문의 그림을 다시 만들어 달라고 연구실에 부탁해 보세요. 스크립트는 졸업한 학생의 노트북에 있습니다. 데이터 파일은 거의 같은 버전이 세 개입니다. 어떤 전처리가 최종이었는지 아무도 기억하지 못합니다. 재현성은 나쁜 의도 때문이 아니라 배관이 없어서 실패합니다.
출처는 보관되는 게 아니라 붙어 있습니다
뉴트로픽에서는 모든 산출물 — 그림, 표, 리포트 — 이 자신의 출처를 지니고 다닙니다:
- 그것을 만든 정확한 코드, 클릭 한 번으로 다시 실행 가능.
- 계산의 바탕이 된 데이터 스냅샷, 해시로 드리프트 감지.
- 문헌에서 온 모든 주장의 출처, 인라인 인용.
따로 관리할 "방법 폴더"는 없습니다. 산출물 자체가 기록이기 때문입니다. 아무 그림이나 열고 { } 버튼을 누르세요: 생성 코드, 읽은 데이터셋, 시드가 바로 거기 있습니다.
파이프라인은 실행 중에도 보입니다
재현성은 산출물이 존재하기 전에 시작됩니다. 데이터셋 로드, 샌드박스 코드 실행, 리포트 작성 등 각 분석 단계가 진행되는 대로 채팅에 표시되고 코드는 그 자리에서 펼쳐 볼 수 있어, 에이전트가 무엇을 했는지는 결코 재구성해야 할 일이 아닙니다.
연결을 잃지 않고 주석 달고 개정하기
심사자와 공동연구자는 어떤 산출물에도 주석을 달고 변경을 요청할 수 있습니다. 개정은 주석이 달린 지점부터 파이프라인을 다시 실행해 부모를 기억하는 새 버전을 만듭니다 — "final_v3_REAL" 같은 파일명은 사라지고 결과의 이력은 검토 가능하게 남습니다. 원고도 같은 연결을 물려받습니다. 초안의 모든 통계량은 그것을 만든 분석을 가리키고, 참고문헌 목록은 세션에 저장된 출처로부터 다시 구성됩니다.
![세션의 출처로부터 재구성되어 본문의 [n] 인용과 정확히 일치하는 원고의 참고문헌 목록.](/use-cases/06-references.png)
검증이 실제로 일어나는 방식에 맞게
심사자가 결과에 의문을 제기하면 분석을 재구성하는 게 아니라 엽니다. 공동연구자가 합류하면 어떤 스크립트가 그림 2를 만들었는지 묻는 게 아니라 클릭합니다.
재현성은 실천해야 할 미덕이 아니라 도구의 속성이어야 합니다.
