1.4　深度学习在现代社会中的重要性

今天，我们享受着二三十年前没有的算法和策略带来的好处，它们带来了能够改变生活的神奇应用。让我来总结一下时至今日，关于深度学习的一些重大成果：

·小批量训练策略：这种策略让我们今天能够拥有非常庞大的数据集，可以一点一点地训练深度学习模型。在过去必须将整个数据集加载到内存中，因此大型数据集在计算上是不可行的。到了今天，虽然可能需要更长的时间，但至少可以在有限的时间内完成训练。

·新型激活函数：修正线性单元（ReLU）是一种相对较新的激活方式，它解决了用反向传播策略进行大规模训练所产生的很多问题。这些新的激活函数使得训练算法能够在深度架构上收敛。而在过去，我们会被困在非收敛的训练之中，最终导致梯度爆炸或梯度消失。

·新型神经网络架构：例如，卷积网络或循环网络已经通过拓展神经网络功能范围的方式来改变世界。卷积网络广泛应用于计算机视觉或其他自然需要进行卷积运算的领域，如多维信号或音频分析。具有记忆功能的循环神经网络被广泛用于分析文本序列，从而使我们拥有能够理解单词、句子和段落的网络，我们可以使用它们在不同语言之间进行翻译，以及做更多的事情。

·有趣的损失函数：这些损失函数在深度学习中扮演着有趣的角色，因为在过去，我们只是反复使用相同的标准损失，如均方误差（MSE）。今天，我们可以最小化MSE，同时，最小化权重的范数或某些神经元的输出，这将导致更稀疏的权重和解决方案，反过来又增加所生成的模型在投入生产时的效率。

·类比生物学的新型策略：让神经元之间的连接缺失或断开，而不是让它们一直全连接，这样的设计更加现实，或者可以与生物神经网络设计相媲美。此外，移除或删除神经元是一种新策略，可以在其他神经元被删除时推动一些神经元脱颖而出，学习更丰富的表示，同时减少训练期间和部署时的计算量。今天，在不同的和专门的神经网络之间共享参数也被证明是有趣和有效的。

·对抗训练：让神经网络与另一个网络进行相互对抗，它的唯一目的是产生欺诈、嘈杂、混乱的数据点来试图让另一个网络失败。这种训练方法被证明是一种优秀的网络训练策略，可以更好地从数据中学习，并在部署到生产环境时对噪声环境具有很好的鲁棒性。

还有许多其他有趣的事实和观点，使深度学习成为一个令人兴奋的领域，并证明了本书的价值。希望你们在开始阅读这本书的时候就知道我们将要编写这个时代最令人兴奋和不可思议的神经网络。我们的最终目的是制造出具有良好泛化性能的深度神经网络。

泛化是一种神经网络对从未见过的数据进行正确预测的能力。这是所有机器学习和深度学习实践者的终极目标，需要大量的技能和数据知识。