第3章 实现教育大数据的关键技术

2015年9月，国务院发布了《促进大数据发展行动纲要》;2016年5月，《“互联网+”人工智能三年行动实施方案》出台；2017年3月，“人工智能”首次被写入政府工作报告；2018年3月，教育部对各类教育数据的管理、互联互通、共享公开、数据安全进行了规范。伴随着我国各项政策的发布以及在各个科技领域的重大突破，我国快速进入了全民创新创业时代。回顾我国五千年的历史，没有任何一个时期，能像如今这样重视科学技术。科技不再披着神秘的面纱，科技也不再是束之高阁的公式与符号，科技正走向大众，逐步被人们所知晓和了解。

从1946年美国国防部利用第一台电子计算机“ENIAC”来计算弹道数据，到如今，人类几乎是跑步进入了大数据时代。我们对数据的利用，从过去的抽样调查到如今的全量数据分析，使得我们能够从一些原本无意义的数据中发现巨大的价值。数量庞大、类型多样的数据呈爆炸式增长，已超出了传统IT基础架构的处理能力，凭借这样的实况，人们开发了很多新的技术，使这些数据释放出更多的隐藏价值。

这样的一些新兴技术也给了教育行业巨大的启发。在过去很长一段时间里，学校关注并利用的数据多以各个业务系统的结构化数据为主，通过简单的统计对其结果进行分析。事实上，除了那些存在数据库中的结构化的数据外，还有大量的视频、音频、文档等非结构化数据产生于日常教学中。如今技术的发展已经让我们能够从容地处理这些数据，教育的颠覆性变革也许仅仅在你选择了某一个技术框架之后。然而，在这样一个科技引领发展的时代，各种高新技术层出不穷，皓首穷经也无法面面俱到。本章将围绕“数据集成、数据处理、数据分析”的全过程，为大家回顾时代发展过程中的一些关键技术。