机器学习

📉 1. 损失函数

损失函数用来估量模型的预测值 f(x) 与真实值 Y 的不一致程度。它是一个非负实值函数，通常记作 L(Y, f(x))。损失函数越小，模型的鲁棒性就越好。

损失函数是经验风险函数的核心部分，也是结构风险函数的重要组成部分。模型的结构风险函数包括经验风险项和正则项，通常可以写成：

• 前面的均值函数是经验风险函数，L 代表损失函数；
• 后面的 Φ 是正则化项；
• 整个式子的意思是：找到使目标函数最小的 θ 值。

💡 在深度学习中，通常先计算每个小批次（batch）上的损失，再对整个数据集的损失求平均，得到代价函数。

⛰️ 2. 梯度下降

梯度下降是神经网络训练最常用的优化算法，深度学习模型基本都用它来优化训练。

原理：目标函数 J(θ) 关于参数 θ 的梯度，是损失函数上升最快的方向。要让 loss 变小，只需把参数沿着梯度的反方向前进一个步长，这个步长 η 就是学习率。

公式：

1

θ ← θ − η · ∇J(θ)        其中 ∇J(θ) 是参数的梯度

📖 延伸阅读：梯度下降法

🔁 3. 反向传播（Backpropagation，BP 算法）

推导过程

符号约定