撰文 | 赵亚杰

 ●     ●    ●

人工智能中的神经网络一度被业内人士高度怀疑，不仅当年的相关会议门庭冷落，相关研究的学者也羞于自报家门。所谓三十年河东三十年河西，如今以深度学习引领的人工智能大红大紫，相关会议的论文激增让审稿人感到头疼，也让一般民众为之痴狂，不过，追根溯源，都要感激这三位先生那些年孤独的坚持与执拗的求索。

2019年3月27日，计算机协会 (Association for Computing Machinery, ACM）将2018年图灵奖授予给了深度学习领域的三位先驱 Yoshua Bengio，Geoffrey Hinton 以及 Yann LeCun。

他们的获奖理由为：他们在概念和工程方面的突破，使深度神经网络成为计算的关键组成部分。他们或独立工作，或一起合作，共同奠定了这一领域的概念基础，同时通过实验发现了令人惊讶的现象，并用实际的工程进展证明了深度神经网络的优势。近些年来，深度学习方法已经在计算机视觉、语音识别、自然语言处理以及机器人领域取得了激动人心的突破。

在传统计算中，计算机程序使用明确的指令来指导计算机运行。作为人工智能研究的子领域，在深度学习方法中，计算机并没有被明确告知如何解决特定的（例如对象分类）任务。相反，它通过使用学习算法来提取数据中的模式，这些模式将输入数据（例如图像的像素）与所需的输出（例如标签“猫”）相关联。在这一过程中，研究人员所面临的挑战是开发有效的学习算法可以调整人工神经网络中连接的权重，以便使这些权重捕获数据中的相关模式。

自20世纪80年代早期以来，Geoffrey Hinton 就一直在倡导利用机器学习的方法来实现人工智能。他希望通过研究人类大脑的功能，开发出可以模拟人脑功能的机器学习方法。受人脑启发，他与其他人一道提出了“人工神经网络”，作为机器学习研究的基石。

在计算机科学中，“神经网络”是指由计算机模拟的由简单的计算原件——“神经元”构成的层的组合。这些“神经元”通过加权连接相互影响，通过改变连接的权重，可以改变神经网络所执行的计算。Hinton，LeCun 和 Bengio 意识到通过使用多层网络来构建深度网络的重要性，进而提出了“深度学习”这一概念。

LeCun，Bengio 和 Hinton 在这三十年间奠定的概念基础和工程进步很大程度上还要归功于GPU的普及以及大规模数据集的出现。近年来，上述以及其他因素共同作用使得计算机视觉、语音识别以及机器翻译取得了跨越式发展。

“他们或独立工作，或一起合作”，这一表述也十分到位。

LeCun 曾在 Hinton 的指导下进行博士后研究，而 LeCun 和 Bengio 也曾于20世纪90年代初一起在贝尔实验室工作。即使并没有在一起工作，他们的工作也会产生协同作用并相互联系，彼此间发生巨大的影响。Bengio，Hinton 和 LeCun 仍在继续探索机器学习与神经科学以及认知科学的交叉方向，特别是通过他们共同参与的由 CIFAR（以前称为加拿大高级研究所）组织的一项机器与大脑学习计划。

Yoshua Bengio 作为作者之一的《深度学习》一书描述深度学习经历了三次发展浪潮：20世纪40年代到60年代，深度学习的雏形出现在控制论中；20世纪80年代到90年代，深度学习表现为联结主义；直到2006年，才真正以深度学习之名复兴，而深度学习复兴的关键人物就是本年度图灵奖的三位得主。

神经网络研究的第二次浪潮一直持续到20世纪90年代中期，可当时神经网络相比于其他机器学习算法并没有太明显的优势，因此导致了其第二次的衰退，这次衰退一直持续到2007年。

在这十多年的衰退期中，加拿大高级研究所通过其神经计算和自适应感知研究计划帮助维持神经网络研究，该计划联合了分别由 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 领导的多伦多大学、蒙特利尔大学和纽约大学的机器学习研究小组，同时还包括了神经科学家、人类和计算机视觉专家。在当时，深度网络难以训练似乎已经成为了一个共识，这一20世纪80年代就出现的算法直到2006年前后都没有体现出其优势，仅仅是由于其计算代价太高，同时当时的硬件不足以支持其进行足够的实验。

神经网络研究的第三次浪潮始于2006年的突破。

Geoffrey Hinton 证明名为 “深度信念网络 (Deep Belief Network)” 的神经网络可以使用一种称为“贪婪逐层预训练（greedy layer-wise pre-training）”的策略有效训练。其他的加拿大高级研究所附属研究小组很快表明，同样的策略可以被用来训练许多其他类型的深度网络。神经网络研究的这一次浪潮普及了“深度学习”这一术语，强调研究者现在有能力训练之前不可能训练的非常深的神经网络。

距离2006年已经有十多年过去了，神经网络的第三次浪潮仍在继续。这一波浪潮随着AlphaGo 在围棋领域战胜人类世界冠军走向高潮，持续不断地涌向其他学科，并与之结合为这些学科带来新的突破，同时影响着我们生活的方方面面。

Geoffrey Hinton，Google 副总裁兼工程研究员，Vector Institute首席科学顾问和多伦多大学名誉大学教授。Hinton 在剑桥大学获得实验心理学学士学位，在爱丁堡大学获得人工智能博士学位。他是CIFAR的神经计算和自适应感知（后来的机器与大脑学习）项目的创始主任。他被彭博社选为2017年改变全球商业格局的50人。

 

主要贡献：反向传播方法（Back propagation）；玻尔兹曼机（Boltzmann Machines）；改进卷积神经网络（Improvements to convolutional neural networks）

 

Yoshua Bengio，蒙特利尔大学的教授，Mila（魁北克人工智能研究所）以及IVADO（数据实验研究所）的科学主任，CIFAR（加拿大高等研究院）机器与大脑学习项目的联合主任。Bengio 拥有麦吉尔大学电子工程学士学位，计算机科学硕士学位和计算机科学博士学位。他建立并担任科学主任的魁北克人工智能研究所（Mila）被认为是他对于该领域所作出的重大贡献。Mila 是一家独立的非营利组织，目前拥有300名研究人员和35名教职员工，是世界上最大的深度学习研究学术中心，使得蒙特利尔成为了一个充满活力的人工智能研究基地。

 

主要贡献：序列概率模型（Probabilistic models of sequence）；High-dimensional word embeddings and attention；生成对抗网络（Generative adversarial networks）

 

Yann LeCun，法国裔美国计算机科学家，现为纽约大学 Courant 数学科学研究所 Silver 教授，Facebook 的副总裁和首席人工智能科学家，CIFAR（加拿大高等研究院）机器与大脑学习项目的联合主任。他在机器学习、计算机视觉、移动机器人和计算神经科学等领域都有很多贡献。他最著名的工作是在光学字符识别和计算机视觉上使用卷积神经网络(CNN)，他也被称为卷积网络之父。他1983年从位于巴黎的 Ecole Superieure d'Ingénieur en Electrotechnique et Electronique (ESIEE)， 获得了Diplôme d’Ingénieur（工程师学位），1987年从巴黎第六大学获得了计算机科学博士学位。博士在学期间，他提出了神经网络的反向传播学习算法的原型。

 

主要贡献：卷积神经网络（Convolutional neural networks）；改进反向传播算法（Improving back propagation algorithms）；扩大了神经网络的适用范围（Broadening the vision of neural networks） 

（编者按：本文内容参考了Google Translate提供的翻译，机器翻译技术的进步很大程度上也得益于三位获奖者所发明的技术，感谢他们：））

参考资料：

1. https://awards.acm.org/about/2018-turing

2. https://zh.wikipedia.org/wiki/%E6%9D%A8%E7%AB%8B%E6%98%86

3. 《深度学习》作者: [美] 伊恩·古德费洛/ [加] 约书亚·本吉奥/ [加] 亚伦·库维尔

制版编辑 | 皮皮鱼