予測モデリング
表データの結果を予測するモデルを作って比較してください。データファイル(CSV・XLSX・SPSS)を添付し、何を予測するかを伝えます。リークを確認し、基準モデル・正則化回帰・ランダムフォレスト・勾配ブースティングを同じ交差検証の分割で信頼区間とともに比較したうえで、較正を確認して閾値を決め、予測に寄与した変数と下位集団別の性能差を TRIPOD+AI チェックリストとともにまとめたレポートと、性能・交差検証の予測値の表をください。
予測モデリング: データを分析しています
データファイルと予測したい結果を教えてください。リークを確認し、基準モデル・正則化回帰・ランダムフォレスト・勾配ブースティングを同じ交差検証で比較して、較正・閾値・変数の寄与・下位集団別の性能と TRIPOD+AI チェックリストを含む予測モデルレポートと結果表をお届けします。
こんな方に
- 調査・行政・臨床データで結果(離脱・診断・成績)を前もって予測したい研究者
- 機械学習の結果を TRIPOD などの報告基準に沿ってまとめる必要がある研究チーム
- 「過学習はどう防いだか」を審査員に説明する必要がある大学院生
- リスクの高い人を早めに見つけて介入したい教育・保健の実務研究者
受け取る結果
2つの結果を受け取ります。レポートにはモデル比較と解釈が、結果表にはすべての数値と検証データの予測値が入ります。
- 予測モデルレポート モデル比較と最終モデルの性能・解釈 · ひと目で、予測の問題、データ分割とリーク確認、モデル比較(基準モデルとの差・信頼区間)、較正と閾値、予測に寄与した変数、下位集団別の性能、解釈と限界、TRIPOD+AI チェックリスト、決めるべきこと · MD(PDF·PNG 変換エージェントで共有用 PDF)
- 性能・予測値の表 レポートのすべての数値 · シート: Model comparison · CV folds · Calibration · Decision curve · Importance · Subgroups · Predictions · Leakage · XLSX
レポートで確認できる項目
性能は学習に使っていないデータだけで測ります。学習・評価のコードは段階ごとにコードボックスとして残ります。学習済みモデルのファイルはお渡ししません。
- リーク確認 識別子、結果の後に測定した変数、単独で結果をほぼ当てる変数、重複行
- モデル比較 基準モデルとの性能差、モデル間の差の信頼区間(Nadeau–Bengio 補正)、近ければ単純なモデル
- 較正と閾値 較正の傾き・切片・Brier、較正曲線、閾値での感度・特異度・陽性的中率・陰性的中率、決定曲線(Expert)
- 寄与と公平性 並べ替え重要度、部分依存(Expert)、性別・専攻などの下位集団別の性能
このように依頼してください
添付のデータで{予測する結果の列}を予測して。{予測に使う変数(任意)}を使って。 — 下線の部分を自分の研究に合わせて書き換えて送ってください。
- 予測する結果: 列名をそのまま書くと正確です。空欄なら最も妥当な結果の列を選び、仮定として示します。
- 予測に使う変数: 空欄なら識別子と結果の後に測定した変数(リークの疑い)を除いてすべて使います。
一緒にあるとよいもの
- 各変数をいつ測定したか 予測時点より後の情報が入るリークを防ぎます
- 誤分類のコスト(見逃しが何倍悪いか) そのコストに合わせて分類の閾値を選びます
- 同じ人・機関の行が繰り返されるか 同じ単位が学習と評価の両方に入らないようにまとめて分割します
こんな依頼もできます
- 1年生1学期の成績とアンケートで中途離脱を予測して。 → 分類モデルの比較、AUC・較正、閾値での感度・特異度、寄与した変数
- 入院時の検査値で在院日数を予測し、病院ごとにまとめて評価して。 → 回帰モデルの比較(RMSE・MAE)、病院単位の交差検証、予測値と観測値の図
- 見逃しは誤警報の5倍悪いとして、うつ高リスク群のスクリーニング閾値を決めて。 → コスト最小の閾値、感度・特異度・陽性的中率、決定曲線(Expert)
マイ指示
必要な項目だけ選んで設定してください。設定しない項目は既定値で進めます。 レポートの1ページ目に、反映した指示と仮定したことを示します。
- モデル候補 (モデルと評価) 比較するモデル · 例: ロジスティックのみ · ツリーモデルを含む · 既定値: 正則化線形/ロジスティック + ランダムフォレスト + 勾配ブースティング(Proから)
- 評価方式 (モデルと評価) 未知のデータでの性能の測り方 · 例: 学校単位でフォールドをまとめる · enrol_date で時間順に分割 · 既定値: 反復層化5分割(チューニングは内側のループ)、時間列を指定すれば時間順
- 主な性能指標 (モデルと評価) モデルを選ぶ指標 · 例: AUC · Brier · MAE · 既定値: 分類 AUC(較正も)、回帰 RMSE
- クラス不均衡 (モデルと評価) まれな結果の扱い · 例: クラス重みを使う · 補正しない · 既定値: 再重み付けなし(確率が歪むため)、閾値で不均衡に対応
- 閾値 (判断の基準) 分類の閾値の選び方 · 例: 見逃しは誤警報の5倍悪い · 既定値: Youden 指数、コスト比があれば期待コスト最小
- 最終モデルの選択 (判断の基準) 性能が近いときの選び方 · 例: 解釈しやすいモデルを優先 · 既定値: 差の CI が 0 を含めば単純なモデル
- 下位集団 (判断の基準) 性能を別に見る集団 · 例: 性別 · 専攻 · 既定値: データにある人口学的変数(Proから)
- レポートの言語 (報告の仕方) 作成する言語 · 例: 英語で作成 · 既定値: 依頼の言語
この方法で進めます
すべての性能は学習に使っていないデータだけで測ります。モデルは予測の問題(結果・予測変数・予測時点にない変数)を決め、学習・評価・較正・寄与はコードが規則どおりに行います。欠測補完や標準化も各学習フォールドの中だけで当てはめます。
- データ確認 すること: 結果の列の形式(二値・数値)、結果の分布・不均衡、予測変数の候補 · 設定できること: — · 確認すること: 結果の定義
- 予測の問題の定義 すること: 予測対象・予測時点・予測変数、予測時点にない変数、評価方式と主な指標 · 設定できること: 評価方式、主な性能指標 · 確認すること: 予測時点
- リーク確認と整理 すること: 識別子・結果の後の変数・結果の写し(単独で AUC > .99)を除き、非常に強い変数は表示、重複行を削除、変数あたりのイベント数を確認。同じ人・単位の行が学習側と評価側の両方に入っていないかを実際の分割で確認し、単位の列が明らかならその単位でまとめます · 設定できること: — · 確認すること: 除いた変数
- 基準モデル すること: 結果の割合(分類)または平均(回帰)だけを使う基準モデルを同じ分割で評価 · 設定できること: —
- モデルの学習と比較 すること: 正則化線形/ロジスティック・ランダムフォレスト・勾配ブースティングを同じ分割で学習、チューニングは内側のループ、差の信頼区間、近ければ単純なモデル · 設定できること: モデル候補、クラス不均衡、最終モデルの選択
- 較正と閾値 すること: 較正の傾き・切片・Brier・曲線、Youden またはコスト最小の閾値、決定曲線(Expert) · 設定できること: 閾値 · 確認すること: 閾値
- 寄与と下位集団 すること: 並べ替え重要度、部分依存(Expert)、下位集団別の性能 · 設定できること: 下位集団 · 確認すること: 公平性の問題
- レポート作成 すること: レポート・表の作成、TRIPOD+AI チェックリスト · 設定できること: レポートの言語 · 確認すること: 適用範囲
レベル別の違い
照合
公開データで確認しています。ウィスコンシン乳がんデータ(569人)で正則化ロジスティック回帰の交差検証 AUC は .995、糖尿病の進行データ(442人)でリッジ回帰の RMSE は 54.8 と、知られた範囲と一致します。結果をそのまま写した列を仕込むとリークとして除き、本当に強い変数(AUC .95)は残して「時点の確認」として表示します。サンプルデータ(学生 1,200 人、離脱 18%)では単純なロジスティック回帰が AUC .80 で、ツリーモデルとの差は信頼区間内でした。
この方法について
- なぜ「初めて見るデータ」が大切なのか 学習したデータで測った性能は常に膨らみます。モデルの選択やチューニングに使ったデータで評価しても同じです。そのためチューニングは内側のループで、評価は外側のループで別々に行い、欠測補完などの前処理も学習フォールドの中だけで当てはめます。
- なぜ較正を見るのか AUC が高くても、「リスク30%」とされた人のうち実際に30%が結果を経験するかは別に確かめる必要があります。確率を意思決定に使うには較正が合っていなければなりません。そのため、まれな結果でも既定ではクラス重みを付けません(確率が膨らむため)。不均衡は閾値で扱います。
よくある質問
- 研究者が自分で判断すべき部分は何ですか?
- 予測時点で本当に分かる変数だけが入っているか、リーク確認表を確認してください。閾値は誤分類の実際のコストを知る研究者が決めてください。下位集団の性能差が実際の利用で問題になるかも判断してください。
- 重要な変数は原因ですか?
- いいえ。このモデルの予測に寄与したという意味です。原因を知りたい場合は Causal Analysis を使ってください。
- 標本が小さい場合は?
- 結果の件数が予測変数のパラメータに比べて少ない(パラメータあたりのイベント数 < 10)と警告し、正則化線形モデルだけを実行します。
- ディープラーニングや時系列予測もしますか?
- 最初の範囲には含めていません。表データではツリー系モデルの方が通常よく、説明もしやすいです。時間の列を指定すれば、過去で学習し未来で評価する時間順の評価は行います。