过拟合与欠拟合
机器学习的核心挑战是找到既能拟合训练数据又能泛化到新数据的模型。理解过拟合与欠拟合，是构建高质量模型的基础。
学习难度：入门·阅读时间：约10分钟
基本概念
泛化能力
模型在新数据上的表现是衡量其真实价值的关键：
- 训练误差：模型在训练数据上的误差
- 测试误差：模型在新数据上的误差
- 泛化误差：模型在未见数据上的期望误差
理想模型
好的模型应该：
- 在训练数据上表现良好
- 在新数据上同样表现良好
- 训练误差和测试误差接近
过拟合
定义
过拟合发生在模型过度学习训练数据：
- 训练误差很低
- 测试误差很高
- 模型记住了训练数据的噪声和细节
表现
- 训练集准确率接近100%
- 验证集/测试集准确率明显下降
- 模型复杂度高（参数多、深度深）
- 对训练数据的微小变化敏感
原因
- 模型过于复杂（容量过大）
- 训练数据太少
- 训练时间太长
- 特征太多或包含噪声特征
比喻
过拟合就像"死记硬背"：学生记住了每道题的答案，但不理解原理，遇到新题就不会了。
欠拟合
定义
欠拟合发生在模型太简单：
- 训练误差就很高
- 测试误差也很高
- 模型无法捕获数据的模式
表现
- 训练集准确率就不高
- 验证集准确率同样不高
- 模型可能过于简单
- 增加训练数据没有帮助
原因
- 模型太简单（容量不足）
- 特征不够或选择不当
- 训练时间不够
- 正则化过强
比喻
欠拟合就像"没学会"：学生连基础知识都没掌握，无论什么题都做不对。
偏差-方差权衡
理论框架
误差可以分解为三部分：
误差 = 偏差² + 方差 + 噪声
偏差与方差
| 高偏差 | 高方差 | |
|---|---|---|
| 对应问题 | 欠拟合 | 过拟合 |
| 模型复杂度 | 太低 | 太高 |
| 解决方向 | 增加复杂度 | 降低复杂度 |
权衡
目标是找到偏差和方差的最佳平衡点：
- 太简单的模型：高偏差，低方差
- 太复杂的模型：低偏差，高方差
- 最佳模型：适中的偏差和方差
解决方法
解决过拟合
- 增加数据：更多训练样本
- 数据增强：扩展训练数据
- 正则化：L1/L2正则、Dropout
- 简化模型：减少参数或层数
- 早停：验证误差上升时停止训练
- 集成学习：Bagging等方法
解决欠拟合
- 增加模型复杂度：更多参数或层数
- 添加特征：更多有用特征
- 减少正则化：降低正则化强度
- 延长训练：训练更多轮次
- 换更强的模型：选择更合适的算法
诊断方法
学习曲线
绘制训练和验证误差随训练样本数的变化：
- 两条曲线都高：欠拟合
- 训练曲线低、验证曲线高：过拟合
- 两条曲线接近且低：理想状态
验证曲线
绘制误差随超参数的变化：
- 找到最优的超参数值
- 观察模型对超参数的敏感度
交叉验证
使用交叉验证获得可靠的性能估计。