今日财经关注：人工智能兴衰史背后，连接主义的前世今生
二、今日财经关注
人工智能兴衰史背后，连接主义的前世今生
来源：DataDreams
2019年3月27日，ACM 正式宣布将 2018 年图灵奖授予 Yoshua Bengio, Geoffrey Hinton 和 Yann LeCun，以表彰他们提出的概念和工作使得深度学习神经网络有了重大突破，如今神经网络已经成为计算领域的重要组成部分。他们将于2019年6月15日在加利福尼亚州旧金山举行的 ACM 年度颁奖晚宴上正式收到 2018 年 ACM 图灵奖。
从左到右：Yann LeCun, Geoff Hinton 和 Yoshua Bengio
神经网络指的是一种模型结构，它仿造生物的神经元（neuron）构造，可让计算机获得一定的感知与认知的能力。计算机通过对数据进行学习，改变神经元的参数大小或是激活神经元，以不断地接近人类智能。同时，依托现代计算机硬件的支持，这个学习过程比人类要快许多。AlphaGo通过大量的训练，在几个月内就能击败人类棋手，足以说明神经网络的学习效率。
神经网络的诞生并不是人们凭空想象出来的。它的起源依托于人们对智能的定义。在认知科学中有三个主要的理论学派，支持着智能基础，它们分别是符号主义、行为主义和连接主义。
符号主义认为人工智能源于数理逻辑；行为主义认为人工智能可用控制论的理论基础进行实现；连接主义源于仿生学，特别是对人脑模型的研究。
2018图灵奖的三位获奖人是人工智能连接主义学派的主要代表人，当今人工智能的发展与突破也是连接主义学派的发展与突破。今天就和大家介绍连接主义的起源与盛行的故事。
连接主义学派的诞生，出现于人类对脑结构与脑功能的研究到达了可具象化之后。它的代表性成果是1943年由生理学家麦卡洛克(McCulloch)和数理逻辑学家皮茨(Pitts)创立的脑模型，即MP模型，开创了用电子装置模仿人脑结构和功能的新途径。这一实现真正的将神经元结构用于模型中。但超前的概念总不会让人一下接受。其后的10年内，连接主义学派还在酝酿和探索如何更好地表征神经元，以及如何在计算机上实现他们。
连接主义消沉的这10年中，人工智能这一词汇却是真正出现了。但它的出现并不是连接主义学派的科学家们提出，而是符号主义学派首先提出。符号主义学者基于逻辑系统，在早期的计算机上具有方便实现的特点，首先将基于“规则”的演绎方法在计算机上实现，在上世纪50年代轰动一时。
符号主义虽然在当时被广泛认可，但是人们对连接主义的研究依然没有中断。终于在上世纪50年代末，感知机（perceptron）的出现，使得连接主义出现第一次热潮。感知机同样是一种类脑模型，由Frank Rosenblatt于1957年提出，用来处理二分类的问题。
随后的20年内，感知机技术得到广泛应用，越来越多的人开始认可感知机，并加大了连接主义学派下人工智能的研究。下图为第一个实现的感知机算法模型。它的名字叫“Mark 1 perceptron”，是用来做图片识别的一个大型机器。
虽说体积很大，但当时的技术限制，它能处理的图像大小非常有限。我们可以看到，图中有图像输入，图片的大小仅为20*20像素。右方是经过感知机提取后的图片特征向量。
尽管在算法层面，感知机模型已经有了现代神经网络的雏形，但是由于硬件设备和模型理论等诸多限制，感知机模型在70年代末遇到了瓶颈，同时人们对连接主义的热情也随之减淡。连接主义的第一次热潮就此结束。
连接主义与符号主义仿佛一对共生体，在一方陷入低潮时，另一方则令人瞩目。80年代初，属于符号主义的强盛时期，基于符号系统开发的专家系统与知识工程，被许多企业相中，并在此基础上开展了很多项目。但人们马上就发现了专家系统的不足：针对特定问题需要建立非常多的规则，并且模型不具备任何泛化能力，基于规则的系统也不能算作真正的智能系统。
神经网络模型可视化
就在人们对符号主义怀疑并且否定的同时，连接主义在理论与实践基础上均开始突破。这一次连接主义势如破竹，引领了接下来人工智能的发展浪潮。
首先，Hopfield教授在1982年和1984年发表两篇重要论文，提出用硬件模拟神经网络以后，连接主义才又重新抬头。其后，1986年，Hinton等人提出多层网络中的反向传播算法(BP)算法 。80年代为连接主义日后井喷式的发展打下了基础，从模型到算法，从理论分析到工程实现，都有极大的影响。
这里我们就不得不提到三位图灵奖的获奖人，也就是在这个时期，他们贡献了很多神经网络的理论基础与实现方法。
Yann LeCun
1980年代，Yann LeCun发明了卷积神经网络，现在已经成为了机器学习领域的基础技术之一 。1980年代末期，Yan LeCun在多伦多大学和贝尔实验室工作期间，首次将卷积神经网络用于手写数字识别。
Geoffrey Hinton
Hinton最重要的贡献来自他1986年发明反向传播的论文“Learning Internal Representations by Error Propagation”，1983年发明的玻尔兹曼机（Boltzmann Machines）。他还有一项贡献是与他的学生Alex Krizhevsky改进了卷积神经网络，并在2012年的ImageNet比赛中，取得质的飞跃，从此深度学习才成为世界热点，越来越多的学者投身其中。
Yoshua Bengio
Bengio的贡献主要在1990年代发明的Probabilistic models of sequences。他把神经网络和概率模型（例如隐马尔可夫模型）结合在一起，并和AT&T公司合作，用新技术识别手写的支票。
基于连接主义的神经网络，以及基于神经网络的人工智能离不开80、90年代科学家们的理论基础，尤其是通用逼近定理的建立，揭示了神经网络的巨大表示能力。同时我们也必须承认，连接主义能有今天的成绩，也离不开硬件水平的不断提高。
1999年8月，NVIDIA公司发布了一款代号为NV10的图形芯片Geforce 256。这是第一款提出GPU概念的产品。GPU极大提升神经网络的训练效率，尤其对矩阵运算的效率提升尤为明显。硬件的发展使研究人员更快的得到神经网路的实验结果，不仅加速了连接主义的理论发展，也为商用落地场景下的人工智能模型提供了支持。
连接主义学派虽然推动人工智能走向今天的高度，但我们依然离真正的智能还有距离。连接主义下的神经网络模型，在感知领域已经发展到了人类水平，但在认知领域还未有所突破。所谓认知领域，是指计算机能够通过自我分析，并结合各种感知因素，“主动推断”出结果。目前的神经网络模拟神经元的感知层面，能优秀地完成“识别”任务，但对“推理”任务的表现还远远不足。连接主义学派也需要结合其他学派所长，继续推动人工智能发展。
就如同AlphaGo结合了连接主义与行为主义的两家学派所长，在贝尔曼方程的基础上加入了深度学习，使计算机打败了很多人类最优秀的围棋选手。我们也期待连接主义结合符号主义，使计算机具有认知计算的能力，能够自主推理，辅助人类决策。我们也希望未来集合三家学派所长，让计算机同时具备感知、认知、元学习等能力，构建真正的通用人工智能。
【免责声明】《现代财经》微信公众平台所转载的专题文章，仅作佳作推介和学术研究之用，未有任何商业目的；对文中陈述、观点判断保持中立，请读者仅作参考，并请自行承担全部责任；文章版权属于原作者，如果分享内容有侵权或非授权发布之嫌，请联系我们，我们会及时审核处理。
三、健康生活
【开水的保质期是多久？】烧开的水在空气中的保质期只有16个小时，过期的水中含有的大肠杆菌群目超标严重。专家称，常年累月地喝不新鲜的水，就如同常年累月吃含有添加剂的食物。如果不注意，体质就可能越来越差。
《现代财经-早读分享》是由《现代财经》天津财经大学学报编辑部编辑出版（总第1149期）
编辑整理：蔡子团队 值班编辑：徐珊珊
团队成员：高阳、徐姗姗、王燕、张赢、姜倩雯 、王鹏丽、殷杰、李莉、郭蔷、许思宁