Neutropic の論文査読は、原稿を 5 名の査読者 — ジャーナル適合性、方法論、分野専門家、幅広い視点、反対意見役 — と編集長に回します。編集長は Accept、Minor Revision、Major Revision、Reject の 4 つから判定を出します。こうしたパネルの失敗の仕方ははっきりしています。査読者は問題を見つけるためにいるので、放っておけばあらゆるところに問題を見つけ、すべての原稿が Major Revision か Reject で戻ってきます。いつも同じ判定では、何も分かりません。
最初の実測はすべて Reject でした。理由はありました — 2 本は既に出版された論文、4 本は例示プロジェクトの被験者 1 名・2 分間記録の HRV 原稿です。しかし、どれも正解が分かっている原稿ではありませんでした。そこで正解の分かっているテストを作り、パネルが偏らなくなるまで回しました。
正解が分かっている原稿セット
すべてオープンアクセスの原稿 35 本で、査読前にブラインド処理しました。ジャーナル名・DOI・受理/掲載日・引用表記・ライセンス・著者所属を削除し、「既に出版済み」という手がかりを査読者が使えないようにしています。
- A — 掲載済み論文（8 本）。 Applied Psychophysiology and Biofeedback、Frontiers in Psychology、PLOS ONE、Scientific Reports の最近の原著論文を各 2 本、実際に掲載したジャーナルの基準で査読。期待値：Accept または Minor Revision、Reject はなし。
- B — 後に掲載されたプレプリント（6 本）。 最初のプレプリント版を入れ、最終的な掲載誌を正解とする。期待値：Minor または Major、推奨ジャーナルに実際の掲載誌が含まれる。
- C — 撤回論文（4 本）。 方法論・データの問題で撤回された論文。期待値：Major または Reject、Accept・Minor はなし。
- D — 見当違いのジャーナル（3 本）。 A の論文 3 本を Frontiers in Marine Science に投稿したと設定。期待値：ジャーナル適合性（fit）だけが崩れ、ほかのスコアはほとんど動かない。
- E — 欠陥の注入（14 本）。 A の論文のコピーに欠陥を 1 つずつ仕込む：Methods 節の削除、検定統計量はそのままで p 値だけ反転、倫理に関する記述の削除、抄録を因果的な誇張に書き換え、参考文献を存在しない DOI に差し替え。期待値：対応するスコアが下がり、担当の査読者が指摘する。
事前に決めた合格ライン、14 の指標
最初の実行の前に、何を合格とするかを書き留めました。
- 誤 Reject — 掲載済み論文（A）が Reject された割合：15% 以下。
- 甘い判定 — 撤回論文（C）が Accept・Minor を受けた割合：0。
- 判定の順序 — 平均総合スコアが 掲載済み論文 > 欠陥変形 > 撤回論文。
- 欠陥感度 — 注入した欠陥にパネルが反応した E 変形：80% 以上。
- 軸の独立性 — D で fit が 2 点以上下がり、ほかのスコアの変化が 0.5 以内だった割合：5/6 以上。
- 再現性（指標 2 つ） — 同じ原稿を 3 回：同じ判定が 80% 以上、スコアごとの標準偏差 0.5 以下。
- 査読者間のばらつき — 掲載済み論文で、どの査読者もほかより 1 点以上低くない（反対意見役は 0.5）。
- major の水増し — 掲載済み論文 1 本・査読者 1 名あたりの major 指摘数：1.0 以下。
- ガードの介入 — 判定ガードが編集長を覆した割合：20% 以下。
- 引用の捏造 — 原稿にない文を引用したため破棄された指摘：10% 以下。
- 言語 — 同じ論文を韓国語と英語で査読：判定が一致し、総合スコアの差が 0.5 以内。
- レベル — 掲載済み論文 4 本の Basic 対 Deep：判定の一致 75% 以上。
- ジャーナル推奨 — B の論文を実際に掲載したジャーナルが推奨リストにある割合：50% 以上。
ベースラインは厳しすぎた
最初の実行（r1、Basic、英語）は懸念をそのまま裏付けました。掲載済み論文の半分（8 本中 4 本）が Reject、残り半分が Major Revision。査読者 1 名が掲載済み論文 1 本につき major を 3.27 個ずつ付けていました。既にうまくいっていた点もあります — 撤回論文を甘く通したケースはなく、引用を確認できずに破棄した指摘は 2% だけ、プレプリント 6 本すべてで実際の掲載誌が推奨リストに入っていました。しかしパネルは明らかに厳しい側に傾いており、注入した欠陥も半分しか捉えられませんでした。
変えたこと — 一度にレバーを 1 つずつ
7 回の実行で、変更するたびに測り直しました。
- 全査読者が共有するキャリブレーション段落（r2、r5、r6）。 major は結論を無効にする、または投稿を妨げる問題で、報告慣行の不備は minor。major は最大 3 つ、それぞれ理由を 1 文で。スコアのアンカーと「掲載可能な平均的論文は 3〜4 点」。後から加えたルール：深刻度は修正に必要なもので判断する、スコープの不一致は fit だけを下げる、総合スコアは 5 軸の平均（外れる場合は理由を明記）。r2 以降、掲載済み論文の Reject は消え、査読者あたりの major は 1.23 に下がりましたが、今度は 8 本すべてが Major Revision になりました。
- 編集長の判定ルール（r4）。 裏付けのある欠陥がなければ Minor。Reject は新しいデータなしには直せない欠陥か、ジャーナルの範囲外の場合に限る。
- 反対意見役のアンカー（r5、r6）。 反対意見役は反論するためにいるのであって、すべての原稿を沈めるためではありません。専用のスコアアンカーとルールを 1 つ加えました：原稿を書かれたとおりに採点し、代替説明で evidence から引けるのは最大 1 点。掲載済み論文に対する反対意見役の平均総合スコアは r1 の 1.75 から r7 の 2.88 に上がりました。
- 判定ガード（r2 → r7）。 プロンプトではなくコードが、編集長の選べる判定を制限します。Accept を止めるのは裏付けのある major だけです — 査読者 2 名の一致、または決定論的なチェック（再計算値と合わない p 値、登録されていない参考文献 DOI）。r7 では r6 のデータが示した穴を塞ぎました：平均 fit が 1.5 以下、または査読者の過半数が Reject を勧める場合は Major か Reject のみ許可（r6 では範囲外の論文が Minor で通ってしまいました）。
文言とは関係のない修正も 1 つありました。r3・r4 で反転した p 値を見逃したのは、報告された検定統計量から p 値を再計算するチェックが Deep でしか動いていなかったからです。Basic でも動くようにすると（r5）、p 値の変形 2 件をどちらも捉えました。
道のりはまっすぐではありませんでした。欠陥感度は r3 で 0.36 まで落ちてから上がり、軸の独立性は実行ごとに 3 本中 0〜2 本を行き来しました。
結果：14 指標中 13 が合格
最終実行 r7（Basic、英語、35 本すべて）に、反復・言語・レベルの実行を合わせた結果です。
- 誤 Reject 8 本中 0。 掲載済み論文：Minor Revision 3、Major Revision 5、Reject 0。査読者あたりの major 0.90。
- 甘い判定 0。 撤回論文：Major Revision 2、Reject 2。
- 判定の順序を維持。 平均総合スコア：掲載済み論文 3.17（A）・3.67（B）、欠陥変形 2.97、撤回論文 2.15。
- 欠陥感度 14 件中 13 件（0.93）。 見逃した 1 件：ある論文から倫理に関する記述を削除したもの。
- 見当違いのジャーナル。 3 本すべて Reject、fit は 4.0〜4.6 から 1.0 へ。
- 再現性。 すべての原稿を 3 回ずつ（r6）：同じ判定 90%、スコアごとの標準偏差 0.08。
- 言語。 6 本を韓国語と英語で：判定は 6 本すべて一致、総合スコアの差 0.2。
- レベル。 4 本を Basic と Deep で：4 本すべて判定が一致。
- 引用とガード。 原稿にない引用で破棄した指摘は 983 件中 16 件（2%）、ガードが編集長を覆したことはなし。
- 推奨。 プレプリント 6 本すべてで、実際の掲載誌が推奨リストに入っていました。
唯一の未達：軸の独立性 3 本中 2 本
見当違いのジャーナルの 3 本のうち 1 本で、fit と一緒に novelty が 0.6 動きました（基準 0.5）。査読者は新規性をジャーナルの読者層を基準に見る傾向があり、それ自体は無理な判断ではありません。判定は正しく（Reject）、fit は 1.0 まで下がったので、ルールをもう 1 つ足すのではなく許容範囲としました。
掲載済み論文 5 本がまだ Major Revision である理由
ガードをさらに締めれば、掲載済み論文を Minor 側に寄せることはできました。そうはしませんでした。5 本のうち 4 本は、ガードが Minor を許可していたにもかかわらず編集長が Major を選んでいます。査読者の多数が実際の問題を指摘したからです — ある論文では結果の表の 1 行が、本来異なるはずの列に同じ値を繰り返しており、別の論文ではオムニバス検定の統計量が抜けています。掲載済み論文にも欠点はあり、コピー＆ペーストされた表の行を見つけた査読者は仕事をしたのです。そこでこの傾向は誤 Reject と major 水増しの指標で管理し、判定そのものは編集長に委ねました。
知っておいてほしい限界
- 小さなサンプル。 原稿 35 本、うち掲載済み論文 8 本 — 1 本変わると割合が 12.5 ポイント動きます。分野も主に心理学・生理学・HCI です。
- 人工的な欠陥。 E 層はきれいな欠陥を一度に 1 つずつ仕込みます。実際の原稿の欠陥は複数あり、もっと微妙です。
- ほとんどが Basic、ほとんどが英語。 韓国語と Deep は、それぞれ 6 本と 4 本でしか比較していません。
- 査読者モデルは 1 つ。 すべての実行で同じモデルを使いました。別のモデルでは違うキャリブレーションになる可能性があります。
- 「掲載」は正解ではありません。 あるジャーナルの編集陣が、ある時点で採択したというだけです。
判定の読み方
- バッジより修正ガイドが大事です。 P0 の項目から見てください。
- 良い論文でも Major Revision は普通です。 掲載済み論文 8 本中 5 本が受けました。「この論文は弱い」ではなく「投稿前にこれを直そう」と読んでください。
- Reject は真剣に、まず fit を確認。 最終実行で Reject が出たのは撤回論文と見当違いのジャーナルの論文だけで、掲載済み論文には一度も出ていません。fit が低ければ、問題は原稿ではなくジャーナルかもしれません — 推奨ジャーナルを見てください。
- 意見の不一致も情報です。 1 人だけスコアが大きく低い査読者がいたら、その major 指摘と編集長の裁定を読んでください。
- 修正後にもう一度実行して、判定を比べてください。
論文査読は投稿前のチェックです。注意深い査読者が尋ねそうなことや、原稿がジャーナルの規定に反している箇所は教えてくれますが、ジャーナルが採択するかどうかは分かりませんし、実際に原稿を読む編集者と査読者の代わりにもなりません。その査読に、より準備の整った状態で臨むために使ってください。
