- 深度学习及加速技术:入门与实践
- 白创编著
- 2832字
- 2023-08-28 19:53:37
1.3 人工智能发展阶段
从人工智能概念出现至今,已经历了多次发展热潮,每次都涌现出很多先进的技术与成果。从技术层面来看,人工智能技术的发展可归纳为四代,不同发展阶段的人工智能技术的特点有什么异同点呢?其技术本质是什么?
1.3.1 人工智能1.0——知识+算法+算力
人工智能1.0即符号主义,是一种基于知识驱动的人工智能技术,其技术本质是知识+算法+算力。这一代人工智能技术提出了基于知识和经验的推理模型,用这个模型来模拟人类的理性智能行为,像推理、规划、决策等。根据这个原理,需要在机器中建立知识库和推理机制,利用这两者对人类的推理和思考行为进行模拟。人类的思维过程是非常复杂的,故模拟其行为的推理机制也变得很复杂,在计算机里则体现为复杂的算法程序。如果需要系统能够实时响应,那么复杂的算法需要有强大的算力支撑才能快速得到结果,说白了就是计算机要计算得快,因此人工智能1.0应用其实就是知识、算法与算力的有效结合。这一阶段的应用产品就是各类专家系统,其中最具有代表性的成果是国际象棋程序IBM深蓝计算机。
第一代人工智能的优势在于,其算法模拟的是与人类一致的显式推理过程,具有很强的可解释性,即内在因果关系明确,可以有效地克服基于数据驱动的机器学习方法的不可解释性、需要大量数据等缺陷。但是第一代人工智能也存在许多局限性,比如人脑思维过程非常复杂,即使生物学家也很难解释清楚,那么模拟思维的推理机制自然存在很多不足。另外,很多知识具有不确定性,很难用计算机语言描述,也很难从数据中自动获取知识。
1.3.2 人工智能2.0——数据+算法+算力
人工智能2.0即深度学习,是一种基于数据驱动的人工智能技术,其技术本质是数据+算法+算力。这一代人工智能提出了基于数据的深度神经网络模型,用深度神经网络模型来模拟人类的感知与认知智能行为,如视觉、听觉、嗅觉、推理与决策等。深度神经网络模型的使用包括两个阶段:一是训练阶段,利用事先标注好的样本数据按照某种学习规则对神经网络迭代训练,更新网络参数;二是推理阶段,在实际环境中采样数据,利用更新好的神经网络完成分类或者预测等任务。由于人类的感知与认知过程非常复杂,所以模拟其行为的深度神经网络模型也变得很复杂,换句话说,网络训练(学习)与推理阶段都需要大量的运算。因此,为了使系统能够实时响应,也需要强大的算力才能快速完成训练和推理,显然人工智能2.0应用其实就是数据、算法与算力的有效结合。这一阶段最具有代表性的成果是阿尔法围棋,其底层算力是包括1202个CPU、280个GPU的分布式系统,采用深度学习+强化学习相结合的算法,对6000万盘棋局进行了训练与学习。
第二代人工智能技术的优势在于,可以通过数据自主学习事物的内在隐藏规律,故不需要专业的领域知识,技术门槛低,而且由于神经网络规模很大,所以可以处理海量数据,深挖数据内在的规律,其分类或者预测效果往往比人更精确。但是第二代人工智能技术也存在如不可解释性、鲁棒性差、不可靠、不安全及样本需求量大等局限性,比如对于深度神经网络每层提取的特征及最终分类,很难准确解释其原理,采用神经网络进行图片分类时准确率非常高,而加入简单的噪声后其识别结果变化很大,网络的鲁棒性很差,很不可靠。另外,网络模拟的行为规律都是通过数据学习而来的,只有通过海量数据(对于有监督学习则是海量标注数据)的学习,才能提取准确的内在规律,而大量的数据在很多应用场景下往往无法获得。
1.3.3 人工智能3.0——知识+数据+算法+算力
人工智能3.0是一种基于知识驱动与数据驱动相结合的人工智能技术,其技术本质是知识+数据+算法+算力。具体而言,人工智能3.0是通过将第一代方法与第二代方法相结合,综合知识、数据、算法与算力四要素构建的可解释和鲁棒的人工智能理论而建立的安全、可信、可靠与可扩展的人工智能技术。
深度神经网络是借鉴人脑神经元网络的机制来完成分类,但是现有的人工神经网络结构过于简单,一般都是前向连接,即只有下一层同上一层建立联系,所以在做分类识别应用时很容易受到外界噪声干扰,变得不可靠,鲁棒性较差。然而人脑的神经元网络却复杂得多,还包括反馈连接、横向连接、稀疏放电、注意机制及多模态等。人工智能3.0则通过引入人脑神经元网络的这些特点去改进现有的深度神经网络,提高网络的鲁棒性。清华大学计算机系张钹院士团队在这方面取得了很多研究成果,有兴趣的读者可以查阅学习。另外,深度神经网络往往是在完全结构化的特定环境下才能较好地解决问题,然而很多应用如自动驾驶中面临的是不确定、动态变化的场景。这个时候原有的深度学习方法就很难适应这种场景下面临的问题,因此就需要通过强化学习的方法,在与环境的不断交互中学习适应环境变化、应对突发状况等,这也是人工智能3.0重点研究的内容。
第三代人工智能的优势在于,通过知识、数据、算法和算力的结合,构建了安全、可信、可靠的人工智能技术与方法,增强了人工智能应用的可解释性与鲁棒性,能够在信息不完全、具有不确定性、动态变化的场景下解决很多智能难题。
1.3.4 人工智能4.0——存算一体化
第一代人工智能是基于知识与经验驱动的符号主义技术,以知识、算法和算力为核心,第二代人工智能是基于数据驱动的深度学习技术,以数据、算法和算力为核心,第三代人工智能则是基于知识驱动与数据驱动相结合的人工智能技术,以知识、数据、算法和算力为核心。符号主义的推理机制与统计主义的深度学习都是以复杂的软件算法的形式来模拟人脑的思维过程,都要依托于具有很强算力的计算机才能快速完成场景任务。以已商用的基于深度学习的人脸识别系统为例,其深度神经网络可达数百层甚至上千层,只有如此复杂的神经网络才能保证非常高的人脸识别准确率。而场景又要求能够实时响应,因此就需要具有很强算力的计算机才能快速运行深度神经网络算法完成人脸识别任务。其实深度神经网络的训练过程计算量更大,算力因素会更重要。同时,对于这种复杂的深度神经网络,需要大容量内存存储算法程序与参数,在运行神经网络算法时,处理器需要不断地访存读取代码和参数,又要将中间结果不停地写回内存,这种访存过程本身就很费时间(大家一定听说过存储墙的概念),而且会产生大量的功耗(大家不要以为只有运算才会耗能)。算力、内存、功耗等都是系统设计过程中必须要综合考虑的因素。然而,事实上在很多时候,尤其是物联网终端、嵌入式等资源节约型应用场景下,计算机无法提供较强的算力和很大的存储,系统的功耗要求很低,这时传统的人工智能技术就很难有用武之地。
人工智能4.0是一种基于存算一体化的新型器件与网络的人工智能技术。不同于采用软件的形式模拟人脑神经元网络,第四代人工智能直接采取新型器件(如RRAM忆阻器等)模拟神经元行为,这样的器件本身集运算和参数存储于一身,并通过多个器件互相级联构成强大的神经元网络,这样的网络可以非常快速又极低功耗地完成对信号的处理,从而完成场景任务。目前还有很多类脑芯片技术的研究可以看作人工智能4.0的范畴,其技术本质是一样的,只是实现路径有所不同,大家有兴趣可以自己钻研。