3. 模型选择和评估 2.9. 神经网络模型(无监督) 3.1. 交叉验证:评估估算器的表现 3. 模型选择和评估 3.1 交叉验证:评估估算器的表现 3.1.1 计算交叉验证的指标 3.1.1.1 cross_validate 函数和多度量评估 3.1.1.2 通过交叉验证获取预测 3.1.2 交叉验证迭代器 3.1.2.1 交叉验证迭代器–循环遍历数据 3.1.2.1.1 K 折 3.1.2.1.2 重复 K-折交叉验证 3.1.2.1.3 留一交叉验证 (LOO) 3.1.2.1.4 留 P 交叉验证 (LPO) 3.1.2.1.5 随机排列交叉验证 a.k.a. Shuffle & Split 3.1.2.2 基于类标签、具有分层的交叉验证迭代器 3.1.2.2.1 分层 k 折 3.1.2.2.2 分层随机 Split 3.1.2.3 用于分组数据的交叉验证迭代器 3.1.2.3.1 组 k-fold 3.1.2.3.2 留一组交叉验证 3.1.2.3.3 留 P 组交叉验证 3.1.2.3.4 Group Shuffle Split 3.1.2.4 预定义的折叠 / 验证集 3.1.2.5 交叉验证在时间序列数据中应用 3.1.2.5.1 时间序列分割 3.1.3 A note on shuffling 3.1.4 交叉验证和模型选择 3.2 调整估计器的超参数 3.2.1 网格追踪法–穷尽的网格搜索 3.2.2 随机参数优化 3.2.3 参数搜索技巧 3.2.3.1 指定目标度量 3.2.3.2 为评估指定多个指标 3.2.3.3 复合估计和参数空间 3.2.3.4 模型选择:开发和评估 3.2.3.5 并行机制 3.2.3.6 对故障的鲁棒性 3.2.4 暴力参数搜索的替代方案 3.2.4.1 模型特定交叉验证 3.2.4.2 信息标准 3.2.4.3 出袋估计 3.3 模型评估: 量化预测的质量 3.3.1 scoring 参数: 定义模型评估规则 3.3.1.1 常见场景: 预定义值 3.3.1.2 根据 metric 函数定义您的评分策略 3.3.1.3 实现自己的记分对象 3.3.1.4 使用多个指数评估 3.3.2 分类指标 3.3.2.1 从二分到多分类和 multilabel 3.3.2.2 精确度得分 3.3.2.3 Balanced accuracy score 3.3.2.4 Cohen’s kappa 3.3.2.5 混淆矩阵 3.3.2.6 分类报告 3.3.2.7 汉明损失 3.3.2.8 精准,召回和 F-measures 3.3.2.8.1 二分类 3.3.2.8.2 多类和多标签分类 3.3.2.9 Jaccard 相似系数 score 3.3.2.10 Hinge loss 3.3.2.11 Log 损失 3.3.2.12 马修斯相关系数 3.3.2.13 多标记混淆矩阵 3.3.2.14 Receiver operating characteristic (ROC) 3.3.2.15 零一损失 3.3.2.16 Brier 分数损失 3.3.3 多标签排名指标 3.3.3.1 覆盖误差 3.3.3.2 标签排名平均精度 3.3.3.3 排序损失 3.3.4 回归指标 3.3.4.1 解释方差得分 3.3.4.2 最大误差 3.3.4.3 平均绝对误差 3.3.4.4 均方误差 3.3.4.5 均方误差对数 3.3.4.6 中位绝对误差 3.3.4.7 R² score, 可决系数 3.3.5 聚类指标 3.3.6 虚拟估计 3.4 模型持久化 3.4.1 持久化示例 3.4.2 安全性和可维护性的局限性 3.5 验证曲线: 绘制分数以评估模型 3.5.1 验证曲线 3.5.2 学习曲线 2.9. 神经网络模型(无监督) 3.1. 交叉验证:评估估算器的表现