1.1.1 机器学习简史

机器学习是一门不断发展的学科，虽然在近些年才成为一个独立学科，但机器学习的起源可以追溯到20世纪30年代以来人工智能的符号演算、逻辑推理、自动机模型、模糊数学及神经网络的误差逆传播算法（Back Propagation Algorithm,BP，也叫反向传播算法）等。虽然这些技术在当时并没有被冠以机器学习之名，但时至今日它们依然是机器学习的理论基石。从学科发展过程的角度思考机器学习，有助于读者理解目前层出不穷、日益复杂的各类机器学习算法。机器学习的大致演变过程如表1-1所示。

表1-1 机器学习的大致演变过程

续表

机器学习的发展也可分为知识推理期、知识工程期、浅层学习（Shallow Learning）和深度学习（Deep Learning）几个阶段。知识推理期始于20世纪50年代中期，这时候的人工智能主要通过专家系统赋予计算机逻辑推理能力，赫伯特·西蒙和艾伦·纽厄尔实现的自动定理证明了逻辑学家拉赛尔（Russell）和怀特黑德（Whitehead）编写的《数学原理》中的52条定理。20世纪70年代开始，人工智能进入知识工程期，费根鲍姆作为“知识工程之父”在1994年获得了图灵奖。由于人工无法将所有知识都总结出来教给计算机系统，因此这一阶段的人工智能面临知识获取的瓶颈。实际上，在20世纪50年代，就已经有机器学习的相关研究，代表性工作主要是罗森布拉特基于神经感知科学提出的计算机神经网络（即感知机）。在随后的10年中，浅层学习的神经网络曾经风靡一时，特别是马文·明斯基提出了著名的 XOR 问题和感知机线性不可分的问题。由于当时计算机的运算能力有限，多层网络训练困难，模型通常都是只有一层隐层的浅层模型，各种各样的浅层机器学习模型相继被提出，在理论分析和应用方面都产生了较大的影响，但是理论分析的难度和训练方法需要很多经验和技巧。随着 k 近邻（K-Nearest Neighbor,KNN）等算法的相继提出，浅层模型在模型理解、准确率、模型训练等方面被超越，机器学习的发展几乎处于停滞状态。

2006年，辛顿发表了深度信念网络论文，本希奥等人发表了论文“Greedy Layer-Wise Training of Deep Networks”（深层网络的贪婪层智慧训练），杨立昆团队发表了论文“Efficient Learning of Sparse Representations with an Energy-Based Model”（基于能量模型的稀疏表示的高效学习），这些事件标志着人工智能正式进入了深层网络的实践阶段。同时，云计算和 GPU （Graphics Processing Unit，图形处理单元）并行计算为深度学习的发展提供了基础保障。近年来，机器学习在各个领域都取得了突飞猛进的发展。

新的机器学习算法面临的主要问题更加复杂，机器学习的应用领域从广度向深度发展，这对模型训练和应用都提出了更高的要求。随着人工智能的发展，冯·诺依曼式的有限状态机的理论基础越来越难以应对目前神经网络中层数和参数增加的要求，这些都对机器学习提出了挑战。借助量子计算的高并行性，量子机器学习可以优化传统机器学习的效率。