前言

缘起

写作本书的初衷,是作者在聊天机器人相关的技术公司工作时,在做产品的过程中,深深感受到理论和实践的差别。举例来说,学术界一直追捧的seq2seq技术,并没有很好地应用在聊天机器人的产品中。而且,对于刚入职的工程师,也没有一本系统性的书籍来帮助他们快速理解和掌握聊天机器人的技术脉络。因此,我提议:我们为什么不写一本全面的技术读本,将我们在实践中遇到的问题和解决方案都放到这本书里,让更多的读者了解聊天机器人的知识体系,避免踩我们在工作中踩过的很多坑呢?于是我们开始了本书的撰写。希望这本书能尽可能全面地梳理聊天机器人技术,使读者更深入地理解其背后的理论知识。

本书特色

本书应该是国内第一本聊天机器人参考书,书中不仅介绍了聊天机器人的发展历史,还深入介绍了不同类型聊天机器人的技术实现。无论是拥有实体的聊天机器人还是聊天机器人软件,其功能都跳不出闲聊、问答、对话和主动交互4种。不同类型的聊天机器人的侧重点不同,但终极目标都是拥有自我感知能力,并能像人一样进行情感交互。本书涵盖的范围比较广泛,但受限于时间和精力,对某些特定的技术点,我们仅仅给出了简要介绍(例如语音识别和语音合成技术),而将主要精力放在了在文字层面聊天机器人如何进行交互上。对于工业界的朋友,希望本书能够在您寻找特定技术的时候提供一定帮助;对于学术界的专家,本书给出的很多难题也期待着您在理论上加以研究并寻求突破。

本书分7章。第1章简要介绍了聊天机器人的发展和分类,第2章给出了聊天机器人的技术体系介绍,第3章到第5章分别介绍了3种不同类型的聊天机器人的技术实现(问答、对话和闲聊),第6章给出了聊天机器人系统评测的相关信息,第7章提出了聊天机器人进一步发展所面临的技术挑战和展望。下面简要介绍每章的具体内容:

第1章“聊天机器人概述” 在本章中,我们追溯了聊天机器人的发展历史,并阐述了聊天机器人的分类和应用场景,从技术层面给出了一个典型的聊天机器人应该包含的技术框架,同时着重介绍了最具代表性的聊天机器人产品。

第2章“聊天机器人技术原理” 在本章中,我们从技术的角度,详细介绍了一个文字型交互聊天机器人涉及的技术,包括自然语言理解、对话管理和自然语言生成。我们不仅介绍了传统的自然语言处理技术,也给出了深度学习在解决同类问题上的研究进展。同时,引出了跨越认知智能的关键技术之一——知识图谱,通过不同的例子,阐述了从构建到应用知识图谱的过程。

第3章“问答系统” 在本章中,我们介绍了聊天机器人的一种形式——问答。对于某一问题,问答系统旨在获取其精准答案。我们重点介绍了基于知识库的问答系统,阐述了构建知识库所需的技术,并给出了IBM Watson问答系统的详细说明。同时,我们介绍了4种主流的问答方法,包括模板匹配、语义解析、图遍历和深度学习。最后,给出了一个问答系统的具体实践案例。

第4章“对话系统” 在本章中,我们主要介绍面向任务的对话系统。与问答系统不同,面向任务的对话系统旨在完成用户指定的一项特定任务。从技术的层面,我们分别介绍了自然语言理解、对话状态跟踪、对话策略学习及自然语言生成,同时穿插了具体的案例,让读者可以有更直观的理解。

第5章“闲聊系统” 在本章中,我们分别介绍了闲聊系统的两种实现方式,一种基于对话库检索,另一种基于生成模型。我们不仅介绍了技术的最新进展,还给出了具体的实现案例。

第6章“聊天机器人系统评测” 在本章中,我们梳理了目前国内外聊天机器人评测的公开会议、数据集和进展,并分别针对问答系统和对话系统给出了详细的评测介绍。

第7章“聊天机器人挑战与展望” 在本章中,我们给出了聊天机器人发展到现阶段所面临的挑战,并对未来不同场景的应用进行了展望。同时,对聊天机器人发展的下一代范式——虚拟生命,给出了我们的见解和期望。

本书是集体智慧的结晶,写作成员包括王昊奋、邵浩、李方圆、张凯、宋亚楠。同时,感谢很多同事和朋友在写作过程中给予的协助。在写作过程中,我们从实际出发,考虑搭建一个聊天机器人所需要的技术应该是什么样的,同时,关注国内外关于聊天机器人、自然语言处理、知识图谱、机器学习的最新进展,并思考如何将这些技术真正应用于构建聊天机器人中。需要说明的是,在写作过程中,我们参阅了很多领域专家的资料,并尽可能地将所有参考资料都列出了。如果您发现某些内容有争议,请联系我们。

尤其要感谢郑柳洁编辑,没有她的督促和协助,本书不可能有这样的完成度。

拥抱人工智能时代

最近几年,技术的飞速发展让我们每个人都无比兴奋。我们也很激动地看到AI巨头不断地开源最新、最快的模型,例如谷歌开源了语言模型BERT,已经在所有benchmark数据集上取得了突破。“工欲善其事,必先利其器”,这些强大的算法和工具,让人工智能领域从业者可以创造出更多、更好的产品。在人工智能的发展过程中,我们希望贡献自己的微薄之力。如果读者能够在阅读的过程中获得一点灵感,也将让我们无比欣慰。

愿意创造下一代聊天机器人范式的朋友,我们非常诚挚地邀请您们,一起创造出让人惊艳的、跨越感知智能和认知智能的产品!