预测建模
为表格数据中的结果构建并比较预测模型。我会附上数据文件(CSV、XLSX 或 SPSS)并说明要预测什么。请检查泄漏,在相同的交叉验证划分上比较基线、正则化回归、随机森林和梯度提升并给出置信区间,检查校准并选择阈值,说明驱动预测的变量和各亚组的性能差异,附 TRIPOD+AI 清单,并提供性能和交叉验证预测值表。
预测建模: 正在分析数据
请告诉我们数据文件和要预测的结果。我们检查泄漏,用相同的交叉验证比较基线、正则化回归、随机森林和梯度提升,提供包含校准、阈值、变量贡献、亚组性能和 TRIPOD+AI 清单的预测模型报告和结果表。
适合这些人
- 希望用问卷、行政或临床数据提前预测结果(流失、诊断、成绩)的研究者
- 需要按 TRIPOD 等报告规范整理机器学习结果的研究团队
- 需要向审稿人说明如何防止过拟合的研究生
- 希望及早发现高风险人群并干预的教育和卫生领域研究者
你将得到
你将得到两份结果:报告包含模型比较和解释,结果表包含所有数字和验证数据上的预测值。
- 预测模型报告 模型比较以及最终模型的性能和解释 · 一览、预测问题、数据划分与泄漏检查、模型比较(相对基线、置信区间)、校准与阈值、驱动预测的变量、各亚组性能、解释与局限、TRIPOD+AI 清单、需要你决定的事项 · MD(可用 PDF·PNG 转换智能体生成共享用 PDF)
- 性能与预测值表 报告中的所有数字 · 工作表: Model comparison · CV folds · Calibration · Decision curve · Importance · Subgroups · Predictions · Leakage · XLSX
报告中可以确认的内容
性能只在模型未训练过的数据上测量。训练和评估代码在每一步以代码框保留。不提供训练好的模型文件。
- 泄漏检查 标识符、在结果之后测量的变量、单独几乎完美预测结果的变量、重复行
- 模型比较 相对基线的性能、模型间差异的置信区间(Nadeau–Bengio 校正)、相近时选更简单的模型
- 校准与阈值 校准斜率、截距和 Brier 分数、校准曲线、阈值下的灵敏度、特异度、阳性和阴性预测值、决策曲线(Expert)
- 贡献与公平性 置换重要性、部分依赖(Expert)、按性别或专业等亚组的性能
这样提出请求
用附件数据预测{要预测的结果列},使用{预测变量(可选)}。 — 把下划线部分换成你自己的研究内容后发送。
- 预测结果: 写明准确的列名最准确。留空时选择最可能的结果列,并作为假设说明。
- 预测变量: 留空时使用除标识符和在结果之后测量的变量(疑似泄漏)以外的所有列。
最好一并提供
- 各变量的测量时间 防止混入预测时间点之后的信息
- 误分类代价(漏判比误报差几倍) 按该代价选择分类阈值
- 同一人或同一机构是否有多行 按单位分组划分,使同一单位不会同时出现在训练和测试数据中
也可以这样请求
- 用大一第一学期成绩和问卷预测中途退学。 → 分类模型比较、AUC 与校准、阈值下的灵敏度和特异度、贡献变量
- 用入院检查值预测住院天数,并按医院分组评估。 → 回归模型比较(RMSE、MAE)、按医院的交叉验证、预测值与观测值图
- 漏判比误报差 5 倍,请确定抑郁高风险筛查阈值。 → 代价最小的阈值、灵敏度、特异度和阳性预测值、决策曲线(Expert)
我的指示
只需选择需要的项目进行设置,未设置的项目按默认值进行。 报告首页会列出本次应用的指示和所作的假设。
- 候选模型 (模型与评估) 要比较的模型 · 例如: 仅逻辑回归 · 包含树模型 · 默认: 正则化线性/逻辑回归 + 随机森林 + 梯度提升(Pro 起)
- 评估方式 (模型与评估) 如何估计在新数据上的表现 · 例如: 按学校分折 · 按 enrol_date 时间顺序划分 · 默认: 重复分层 5 折(调参在内层),指定时间列时按时间顺序
- 主要性能指标 (模型与评估) 用于选模型的指标 · 例如: AUC · Brier · MAE · 默认: 分类 AUC(附校准),回归 RMSE
- 类别不平衡 (模型与评估) 罕见结果的处理 · 例如: 使用类别权重 · 不处理 · 默认: 不重新加权(会扭曲概率),用阈值处理不平衡
- 阈值 (判断标准) 如何选择分类阈值 · 例如: 漏判的代价是误报的 5 倍 · 默认: Youden 指数;给出代价比时取期望代价最小
- 最终模型选择 (判断标准) 性能相近时的选择原则 · 例如: 优先易解释的模型 · 默认: 差异 CI 含 0 时选更简单的模型
- 亚组 (判断标准) 分别查看性能的群体 · 例如: 性别 · 专业 · 默认: 数据中的人口学变量(Pro 起)
- 报告语言 (报告方式) 撰写语言 · 例如: 用英语撰写 · 默认: 请求的语言
工作方式
所有性能只在模型未见过的数据上测量。模型负责定义预测问题(结果、预测变量、预测时不可用的变量),训练、评估、校准和贡献由代码按固定规则完成。插补和标准化也只在各训练折内拟合。
- 数据检查 做什么: 结果列类型(二分类、数值)、结果分布与不平衡、候选预测变量 · 可以设置: — · 需要确认: 结果定义
- 定义预测问题 做什么: 预测目标、预测时间点和预测变量、预测时不可用的变量、评估方式和主要指标 · 可以设置: 评估方式、主要性能指标 · 需要确认: 预测时间点
- 泄漏检查与清理 做什么: 移除标识符、结果之后的变量和结果的副本(单独 AUC > .99),标记很强的变量,删除重复行,检查每参数事件数。在实际划分中检查同一人或单位的行是否同时出现在训练和评估两侧,单位列明确时按该单位分组 · 可以设置: — · 需要确认: 移除的变量
- 基线模型 做什么: 在相同划分上评估只用结果比例(分类)或均值(回归)的基线 · 可以设置: —
- 模型训练与比较 做什么: 在相同划分上训练正则化线性/逻辑回归、随机森林和梯度提升,内层循环调参,差异的置信区间,相近时选更简单的模型 · 可以设置: 候选模型、类别不平衡、最终模型选择
- 校准与阈值 做什么: 校准斜率、截距、Brier 和曲线,Youden 或代价最小阈值,决策曲线(Expert) · 可以设置: 阈值 · 需要确认: 阈值
- 贡献与亚组 做什么: 置换重要性、部分依赖(Expert)、各亚组性能 · 可以设置: 亚组 · 需要确认: 公平性问题
- 撰写报告 做什么: 汇总报告和表格,附 TRIPOD+AI 清单 · 可以设置: 报告语言 · 需要确认: 适用范围
不同级别的区别
核对
用公开数据核对:在威斯康星乳腺癌数据(569 人)上,正则化逻辑回归的交叉验证 AUC 为 .995;在糖尿病进展数据(442 人)上,岭回归的 RMSE 为 54.8,均在已知范围内。植入结果的副本列会作为泄漏被移除,而真正很强的变量(AUC .95)会保留并标记为需确认时间点。在示例数据(1,200 名学生,流失 18%)上,简单的逻辑回归 AUC 为 .80,树模型与其差异在置信区间内。
关于此方法
- 为什么"新数据"很重要 在训练数据上测得的性能总是偏高,用选模型或调参的数据来评估也一样。因此调参在内层循环、评估在外层循环分开进行,插补等预处理也只在训练折内拟合。
- 为什么看校准 即使 AUC 很高,也需要另外确认被给出"30% 风险"的人中是否真有 30% 出现结果。概率要用于决策,就必须校准良好。因此即使结果罕见,默认也不使用类别权重(会使概率偏高),不平衡通过阈值处理。
常见问题
- 哪些需要研究者自己判断?
- 请在泄漏检查表中确认只使用了预测时可获得的变量。阈值请由了解误分类真实代价的研究者决定。也请判断亚组性能差异在实际使用中是否构成问题。
- 重要变量是原因吗?
- 不是。它们只是对该模型的预测有贡献。想知道原因请使用 Causal Analysis。
- 样本很小怎么办?
- 当结果事件数相对预测变量参数太少(每参数事件数 < 10)时会给出警告,只训练正则化线性模型。
- 做深度学习或时间序列预测吗?
- 不在第一版范围内。表格数据上树模型通常更好也更易解释。指定时间列后会进行用过去训练、用未来测试的时间顺序评估。