뉴트로픽의 논문 심사는 원고를 리뷰어 다섯 명 — 저널 적합성, 방법론, 도메인 전문가, 폭넓은 관점, 반론자 — 과 편집장에게 보냅니다. 편집장은 Accept, Minor Revision, Major Revision, Reject 네 가지 중 하나로 결정합니다. 이런 패널이 실패하는 방식은 뻔합니다. 리뷰어는 문제를 찾으라고 있는 자리라, 그대로 두면 어디서나 문제를 찾아내고 모든 원고가 Major Revision 이나 Reject 로 돌아옵니다. 늘 같은 결정은 아무것도 알려 주지 않습니다.

처음 실측한 결과는 전부 Reject 였습니다. 근거는 있었습니다 — 두 편은 이미 출판된 논문이었고, 네 편은 예시 프로젝트의 피험자 한 명·2분 기록 HRV 원고였으니까요. 하지만 어느 것도 정답이 알려진 원고는 아니었습니다. 그래서 정답이 알려진 시험을 만들고, 패널이 한쪽으로 기울지 않을 때까지 돌렸습니다.

정답이 알려진 원고 묶음

모두 오픈액세스인 원고 35편이고, 심사 전에 블라인드 처리했습니다. 저널명·DOI·접수/게재일·인용 표기·라이선스·저자 소속을 지워 "이미 출판된 논문"이라는 단서를 리뷰어가 쓰지 못하게 했습니다.

A — 게재 논문(8편). Applied Psychophysiology and Biofeedback, Frontiers in Psychology, PLOS ONE, Scientific Reports 의 최근 원저 각 2편을, 실제로 실어 준 저널 기준으로 심사. 기대: Accept 또는 Minor Revision, Reject 는 없어야 함.
B — 나중에 게재된 프리프린트(6편). 첫 프리프린트 버전을 넣고, 최종 게재 저널을 정답으로 둠. 기대: Minor 또는 Major, 추천 저널에 실제 게재 저널 포함.
C — 철회 논문(4편). 방법론·데이터 문제로 철회된 논문. 기대: Major 또는 Reject, Accept·Minor 는 없어야 함.
D — 엉뚱한 저널(3편). A 논문 세 편을 Frontiers in Marine Science 에 투고한 것으로 설정. 기대: 저널 적합성(fit) 점수만 무너지고 나머지 점수는 거의 그대로.
E — 결함 주입(14편). A 논문 사본에 결함을 하나씩 심음: Methods 절 삭제, 검정 통계량은 두고 p 값만 뒤집기, 윤리 문장 삭제, 초록을 인과 주장으로 과장, 참고문헌을 존재하지 않는 DOI 로 교체. 기대: 해당 점수가 떨어지고 담당 리뷰어가 짚어 냄.

미리 정한 합격선, 14개 지표

첫 실행 전에 무엇을 합격으로 볼지 적어 두었습니다.

오거절 — 게재 논문(A)이 Reject 된 비율: 15% 이하.
관대 오류 — 철회 논문(C)이 Accept·Minor 를 받은 비율: 0.
결정 순서 — 평균 종합 점수가 게재 논문 > 결함 변형 > 철회 논문.
결함 민감도 — 주입한 결함에 패널이 반응한 E 변형: 80% 이상.
축 독립성 — D 에서 fit 이 2점 이상 떨어지고 다른 점수는 0.5 이내로 움직인 비율: 5/6 이상.
재현성(지표 2개) — 같은 원고 3회: 같은 결정 80% 이상, 점수별 표준편차 0.5 이하.
리뷰어 편차 — 게재 논문에서 어느 리뷰어도 다른 리뷰어보다 1점 넘게 낮지 않음(반론자는 0.5).
major 부풀리기 — 게재 논문 1편당 리뷰어 1명의 major 지적 수: 1.0 이하.
가드 개입 — 결정 가드가 편집장을 뒤집은 비율: 20% 이하.
인용 위조 — 원고에 없는 문장을 인용해 버려진 지적: 10% 이하.
언어 — 같은 논문을 한국어·영어로 심사: 결정 일치, 종합 점수 차 0.5 이내.
수준 — 게재 논문 4편의 Basic 대 Deep: 결정 일치 75% 이상.
저널 추천 — B 논문을 실제로 실어 준 저널이 추천 목록에 있는 비율: 50% 이상.

기준선은 가혹했다

첫 실행(r1, Basic 수준, 영어)은 걱정을 그대로 확인해 주었습니다. 게재 논문의 절반(8편 중 4편)이 Reject, 나머지 절반은 Major Revision 이었습니다. 리뷰어 한 명이 게재 논문 한 편에 major 를 3.27개씩 달았습니다. 이미 맞던 것도 있었습니다 — 철회 논문을 봐준 경우는 없었고, 인용을 확인할 수 없어 버린 지적은 2%뿐이었고, 프리프린트 6편 모두 실제 게재 저널이 추천 목록에 있었습니다. 그러나 패널은 분명히 가혹한 쪽으로 기울어 있었고, 주입한 결함도 절반만 잡았습니다.

A층의 실행 7회: r1 뒤로 Reject 가 사라지고 Minor Revision 이 돌아오며, 리뷰어당 major 지적은 3.27개에서 0.90개로 줄었습니다.

바꾼 것 — 한 번에 레버 하나씩

실행 7회, 바꿀 때마다 다시 쟀습니다.

모든 리뷰어가 공유하는 보정 문단(r2, r5, r6). major 는 결론을 무효로 만들거나 투고를 막는 문제이고, 보고 관례 위반은 minor. major 는 최대 3개, 각각 이유를 한 문장으로. 점수 앵커와 "게재 가능한 평균적 논문은 3~4점". 뒤이어 추가한 규칙: 심각도는 고치는 데 드는 것으로 판단, 범위 불일치는 fit 점수만 낮춤, 종합 점수는 다섯 축의 평균(벗어나면 이유 명시). r2 이후 게재 논문 Reject 는 사라졌고 리뷰어당 major 는 1.23 으로 떨어졌지만, 이번엔 8편 전부 Major Revision 이 되었습니다.
편집장 결정 규칙(r4). 뒷받침된 결함이 없으면 Minor. Reject 는 새 데이터 없이는 고칠 수 없는 결함이나 저널 범위 밖인 경우에만.
반론자 앵커(r5, r6). 반론자는 반박하라고 있는 것이지 모든 원고를 가라앉히라고 있는 게 아닙니다. 반론자 전용 점수 앵커와 규칙 하나를 넣었습니다: 원고를 쓰인 그대로 채점하고, 대안 설명은 evidence 에서 최대 1점만 깎는다. 게재 논문에 대한 반론자의 평균 종합 점수는 r1 1.75 에서 r7 2.88 로 올라갔습니다.
결정 가드(r2 → r7). 프롬프트가 아니라 코드가 편집장이 고를 수 있는 결정을 제한합니다. Accept 를 막는 것은 뒷받침된 major 뿐입니다 — 리뷰어 두 명의 합의, 또는 결정론적 검사(재계산한 값과 맞지 않는 p 값, 등록되지 않은 참고문헌 DOI). r7 에서는 r6 데이터가 드러낸 구멍을 막았습니다: 평균 fit 이 1.5 이하이거나 리뷰어 과반이 Reject 를 권하면 Major 나 Reject 만 허용(r6 에서는 범위 밖 논문이 Minor 로 빠져나갔습니다).

문구와 상관없는 수정도 하나 있었습니다. r3·r4 에서 뒤집은 p 값을 못 잡은 건, 보고된 검정 통계량으로 p 값을 재계산하는 검사가 Deep 에서만 돌았기 때문입니다. Basic 에서도 돌게 하자(r5) p 값 변형 두 건을 모두 잡았습니다.

길은 곧지 않았습니다. 결함 민감도는 r3 에서 0.36 까지 떨어졌다가 올라왔고, 축 독립성은 실행마다 3편 중 0~2편을 오갔습니다.

실행 7회에 걸친 결함 탐지와 fit 만 하락 비율, 첫 실행 전에 정한 합격선과 함께.

결과: 14개 중 13개 합격

최종 실행 r7(Basic, 영어, 35편 전부)과 반복·언어·수준 실행을 합친 결과입니다.

오거절 8편 중 0. 게재 논문: Minor Revision 3, Major Revision 5, Reject 0. 리뷰어당 major 0.90.
관대 오류 0. 철회 논문: Major Revision 2, Reject 2.
결정 순서 유지. 평균 종합 점수: 게재 논문 3.17(A)·3.67(B), 결함 변형 2.97, 철회 논문 2.15.
결함 민감도 14건 중 13건(0.93). 놓친 하나: 한 논문에서 윤리 문장을 지운 것.
엉뚱한 저널. 3편 모두 Reject, fit 은 4.0~4.6 에서 1.0 으로.
재현성. 모든 원고 3회씩(r6): 같은 결정 90%, 점수별 표준편차 0.08.
언어. 6편을 한국어·영어로: 결정 6편 모두 일치, 종합 점수 차 0.2.
수준. 4편을 Basic·Deep 으로: 4편 모두 결정 일치.
인용과 가드. 원고에 없는 인용으로 버린 지적 983개 중 16개(2%), 가드가 편집장을 뒤집은 적은 없음.
추천. 프리프린트 6편 모두 실제 게재 저널이 추천 목록에 있었습니다.

유일한 미달: 축 독립성 3편 중 2편

엉뚱한 저널 논문 세 편 중 한 편에서 fit 과 함께 novelty 가 0.6 움직였습니다(기준 0.5). 리뷰어는 신규성을 저널 독자 기준으로 보는 경향이 있는데, 무리한 판단은 아닙니다. 결정은 맞았고(Reject) fit 은 1.0 으로 떨어졌기에, 규칙을 하나 더 얹는 대신 허용 범위로 두었습니다.

게재 논문 다섯 편이 여전히 Major Revision 인 이유

가드를 더 조이면 게재 논문을 Minor 쪽으로 밀 수 있었습니다. 그렇게 하지 않았습니다. 다섯 편 중 네 편은 가드가 Minor 를 허용했는데도 편집장이 Major 를 골랐습니다. 리뷰어 다수가 실제 문제를 짚었기 때문입니다 — 한 논문은 결과 표의 한 행이 서로 달라야 할 열에 같은 값을 반복하고, 다른 논문은 옴니버스 통계가 빠져 있습니다. 게재 논문도 흠이 없지는 않고, 복사해 붙인 표 행을 찾아낸 리뷰어는 제 일을 한 것입니다. 그래서 이 경향은 오거절·major 부풀리기 지표로 관리하고, 결정 자체는 편집장에게 맡겼습니다.

알아 두셔야 할 한계

작은 표본. 원고 35편, 그중 게재 논문 8편 — 한 편이 바뀌면 비율이 12.5%p 움직입니다. 분야도 주로 심리·생리·HCI 입니다.
인공 결함. E 층은 깔끔한 결함을 한 번에 하나씩 심습니다. 실제 원고의 결함은 여러 개이고 더 미묘합니다.
대부분 Basic, 대부분 영어. 한국어와 Deep 은 각각 6편, 4편에서만 비교했습니다.
리뷰어 모델 하나. 모든 실행이 같은 모델을 썼습니다. 다른 모델은 다르게 보정될 수 있습니다.
"게재"는 정답이 아닙니다. 한 저널의 편집진이 한때 승인했다는 뜻일 뿐입니다.

결정을 읽는 법

완료된 논문 심사: 편집 결정 배지와 편집장 종합 의견, 그리고 이를 만든 단계들.

배지보다 수정 가이드가 중요합니다. P0 항목부터 보세요.
좋은 논문도 Major Revision 을 받는 게 보통입니다. 게재 논문 8편 중 5편이 받았습니다. "이 논문은 약하다"가 아니라 "투고 전에 이것들을 고쳐라"로 읽으세요.
Reject 는 진지하게, 그리고 fit 부터 확인하세요. 최종 실행에서 Reject 는 철회 논문과 엉뚱한 저널 논문에만 나왔고 게재 논문에는 한 번도 나오지 않았습니다. fit 점수가 낮다면 원고가 아니라 저널이 문제일 수 있습니다 — 추천 저널을 보세요.
의견 차이도 정보입니다. 한 리뷰어만 점수가 크게 낮다면 그 리뷰어의 major 지적과 편집장의 판단을 읽어 보세요.
수정 후 다시 돌려 결정을 비교하세요.

논문 심사는 투고 전 점검입니다. 꼼꼼한 심사위원이 물을 만한 것과 원고가 저널 규정을 어기는 곳을 알려 줄 수는 있지만, 저널이 받아 줄지는 알려 줄 수 없고, 실제로 원고를 읽을 편집자와 심사위원을 대신하지도 않습니다. 그 심사에 더 잘 준비된 상태로 들어가는 데 쓰세요.

논문 심사가 너무 가혹하지도, 너그럽지도 않도록 보정한 방법