机器学习
损失函数：用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子
前面的均值函数表示的是经验风险函数，L代表的是损失函数，后面的Φ是正则化项
整个式子表示的意思是找到使目标函数最小时的θ值
在深度学习中，我们通常会使用损失函数来计算每个小批次数据上的损失，然后通过对整个数据集的所有损失进行平均，得到代价函数
梯度下降算法：神经网络模型训练最常用的优化算法。对于深度学习模型，基本都是采用梯度下降算法来进行优化训练的。
原理：目标函数 J（θ） 关于参数 θ 的梯度将是损失函数（loss function）上升最快的方向。而我们要最小化loss，只需要将参数沿着梯度相反的方向前进一个步长，就可以实现目标函数（loss function）的下降，这个步长η又称为学习速率。
公式：θ <- θ - η*▽J（θ） J（θ）是参数的梯度
反向传播算法（Backpropagation，BP算法）
反向传播算法的推导
符号约定