序

人工智能（Artificial Intelligence，AI）已无处不在。不信的话，掏出你口袋里的智能手机，一切便不证自明——我们的手机能提供基于人脸识别的安全服务，能识别简单的语音指令，能在人像模式下自动模糊背景，还能偷偷学习我们的喜好以提供个性化服务。通过分析海量数据，AI模型可以创造疫苗，可以改进机械操作，可以创造自动驾驶车辆，可以利用量子计算的强大算力，甚至当你在网络上下棋的时候，可以自动匹配与你棋艺相当的对手与你对决。整个工业界都在转型，只为更好地让本领域的专业知识，能与最前沿的AI技术结合发挥价值。而学术界也不甘落后，如今各学位的课程，都会尽量涉及人工智能的相关概念。机器驱动的认知自主时代正在到来，此刻我们所有人都已是AI的消费者。你若还对AI的发展感兴趣，就有必要理解是哪项AI技术在过去数十年得到了显著提升，那就是深度学习。深度学习是机器学习的一个分支领域，它能够利用极深的神经网络对复杂问题建模，而这些复杂问题往往难以用传统的分析模型来解决。AI技术早在20世纪50年代就已经被艾伦·图灵提出，但正是人们对深度神经网络的改进才导致近来AI的重大发展。如果说深度学习是AI发展的关键引擎，那么深度学习本身的引擎是什么呢？

深度学习的核心概念涉及自然科学、工程技术和数学。各家公司一直在试图给出其正式定义，但难以涵盖方方面面，以至于当他们想招聘该领域头部人才的时候，只好将职位要求描述得非常宽泛。与此类似，这一领域的学术课程，往往需要跨不同学科，才能让学生习得所需的技能。尽管在实战中，运用深度学习技术需要跨不同领域的学科知识，但其核心仍建立在数学理论的基础上，包括概率论、统计学、线性代数和微分。至于对这些数学基础理论要掌握和理解到什么程度，就要看你希望对深度学习技术精通到何种程度了。

本书致力于为深度神经网络的工作人员在实施算法的过程中遇到的各种挑战提供解决方案。他们通常遇到的挑战在于如何有效地利用现有方案解决问题，比如去哪里找寻源代码、如何设置工作环境来运行代码、如何进行单元测试，以及最终如何用业务数据训练模型来解决实际问题。这些深度神经网络可能有数千万甚至上亿的参数需要学习，而且即便是精通算法的研究员，也需要在有充足训练样本的情况下，通过精细化的调参才能实现有效优化，达到对数据的良好表征。初次（第二次、第三次也一样）实现模型的时候，他们通常会经历痛苦的网络最优结构的搜索过程，而只有具备对底层数学原理的高水平理解的人才能胜任这些工作。

而当算法人员开始对整个方案进行整合的时候，他们就要进一步提高专业度，不仅要熟悉本领域的知识，也要理解深度学习的底层基础模块。此时，他们所面临的挑战将不只是简单的算法实现，而且需要运用核心概念对目标领域的问题建模。挑战再次降临！他们可能面临梯度爆炸的问题，也可能为了更好地对问题建模而不得不修改损失函数，却又发现损失函数不可微（也就无法进行梯度计算），抑或在训练模型的时候发现优化算法效率太低。本书为这些人填补了空白。通过清楚地阐述深度学习所需的核心数学概念，本书可以帮助他们解决这些困难。

对核心概念理解到一定程度以后，开发者不仅能对算法进行整合，也能对算法提出创新。一旦有了创新，往往就需要对成果进行传播。这时候，开发者可能要离开开发岗位，花时间去做一些宣传、展示甚至很多具有教育性质的工作。他们还可能需要一本随时可以参考的手册，以便时常温习AI领域能取得进展所依赖的核心理论基础，同时提升个人影响力。

由于以上方方面面的因素，深度学习的开发人员在工作中需要涉及的知识体系极为庞大，但每个知识点通常又只是解决特定问题，如果不加以约束，开发者将难以聚焦于需要关注的问题点。纽塞尔博士在使用机器学习和深度学习解决图像生成和分析问题方面拥有15年以上的从业经验，他想通过本书强调并巩固读者最需要掌握的核心技能——运用神经网络解决问题所必备的核心数学基础。当然，没有任何一本书可以包罗万象，本书着眼于运用 AI 技术所需数学技能的概述型描述，如果需要探究统计学、线性代数、微分等学科的更深层知识，请参考其他资料以获得所需内容。

德里克·J.瓦尔伍尔德（Derek J. Walvoord）