2.3 损失函数

给定一个学习任务，损失函数定义了具体优化的目标。我们需要根据任务的具体形式和特点设计合理的损失函数L（f（x），y）以评估模型预测值和真实值之间的不一致程度，优化的过程则以最小化损失函数定义的经验错误为目标，通过特定的优化策略对模型参数进行更新，不断减小模型输出与真实值之间的不一致性。对于不同的任务来说，优化的目标变量也各不相同，对于一般的模型训练来说，优化变量为模型参数，而对于很多攻击算法来说优化的变量是输入扰动（噪声），因为要修改输入以使模型犯错。下面将基于深度神经网络介绍几种经典学习任务中经常使用的损失函数，当然这些任务也跟数据和模型安全密切相关，很多攻击和防御方法需要基于这些任务进行研究。