AI大热,三位深度学习先驱赢得2018年图灵奖

by admin on 2020年3月1日

(文/开源中国)    

图片 1

同时,他们对神经网络的兴趣最初遭到了怀疑,此后,他们的想法带来了重大的技术进步,现在已经成为该领域的主导范式。

2019年3月27日,ACM
正式宣布将
2018 年图灵奖授予 Yoshua Bengio, Geoffrey Hinton 和 Yann
LeCun,以表彰他们提出的概念和工作使得深度学习神经网络有了重大突破,如今神经网络已经成为计算领域的重要组成部分。他们将于2019年6月15日在加利福尼亚州旧金山举行的
ACM 年度颁奖晚宴上正式收到 2018 年 ACM 图灵奖。

图片 2

卷积神经网络:20世纪80年代,LeCun开发了卷积神经网络,成为神经网络领域的基本模型。在20世纪80年代后期,LeCun在多伦多大学和贝尔实验室工作期间,首次在手写数字图像上成功了训练卷积神经网络系统。如今,卷积神经网络是计算机视觉、语音识别,语音合成、图像合成和自然语言处理领域的行业标准。已被用于自动驾驶、医学成像分析、语音助手和信息过滤等多个领域。

奖项设立的目的之一是为了纪念世界计算机科学的先驱艾伦·图灵(Alan M.
Turing),并专门奖励对计算机事业作出重要贡献的个人,获奖者必须是在计算机领域具有持久而重大的先进性技术贡献。图灵奖的授予对获奖者要求极高,评奖程序也极为严格,一般每年只奖励一到两名科学家,只有极少数年度有两名以上在同一方向做出贡献的科学家同时获奖。

据悉,这也是图灵奖1966年建立以来少有的一年颁奖给三位获奖者。ACM在公告分别陈述了三位科学奖在深度学习领域做出的突出贡献。

Bengio、Hinton 和LeCun
继续探索机器学习与神经科学和认知科学的交叉领域,最显著的是,他们共同参与了加拿大高级研究所的
Learning in Machines and Brains 倡议。

图灵奖是美国计算机协会(ACM)于 1966
年设立的奖项,是计算机科学界的最高荣誉,有「计算机领域的诺贝尔奖」之称。图灵奖奖金为
100 万美元,由谷歌公司全额赞助。

众所周知,在人工智能时代,深度学习是最关键的基础技术之一,在当前的计算机视觉、语音识别、自然语言处理以及机器人等领域,深度学习做出了巨大的贡献。

图灵奖由ACM于1966年设置,设立目的之一是纪念著名的计算机科学先驱艾伦·图灵。图灵奖是计算机科学领域的最高奖。获奖者必须在计算机领域具有持久重大的先进性技术贡献。人工智能领域的先驱马文·明斯基、约翰·麦卡锡、艾伦·纽厄尔和司马贺等人都曾经获奖。华人科学家姚期智2000年因为伪随机数生成等计算领域的重要贡献获奖。

P.S.
2017 年图灵奖授予给了
John L. Hennessy 和 David A. Patterson
2016
年图灵奖授予给了万维网之父蒂姆
· 伯纳斯 – 李爵士

其次是1983年发明的玻尔兹曼机(Boltzmann
Machines),以及2012年对卷积神经网络的改进。Hinton和他的学生Alex
Krizhevsky以及Ilya Sutskever 通过Rectified Linear Neurons和 Dropout
Regularization改进了卷积神经网络,并在著名的ImageNet评测中取得了很好的成绩,在计算机视觉领域掀起一场革命。

文章来源:雷锋网

Geoffrey Hinton,谷歌副总裁兼工程研究员,Vector Institute
的首席科学顾问,同时也是多伦多大学的名誉大学教授。Hinton
最重要的贡献来自他 1986 年发明反向传播的论文“Learning Internal
Representations by Error Propagation”,1983
年发明的玻尔兹曼机(Boltzmann Machines),以及 2012
年对卷积神经网络的改进。

Yann LeCun

Yoshua Bengio,蒙特利尔大学教授。Bengio 教授凭《Learning Deep
Architectures for AI》、《A neural probabilistic language
model》两篇经典之作在内的 300
多篇论文,对深度学习的发展起到了巨大的推动作用,他与 Geoff Hinton、Yann
LeCun 两位一起造就了 2006 年始的深度学习复兴,并称深度学习三巨头。Yoshua
Bengio 教授于 2017 年获得加拿大总督功勋奖。

Hinton、LeCun 和 Bengio
独立工作,共同开发了深度学习神经网络领域的概念基础,通过实验和实际工程证明了深度神经网络的优势。近年来,深度学习方法一直是计算机视觉、语音识别、自然语言处理和机器人技术等领域出现惊人突破的主要原因。

他的第三个贡献则是拓展了神经网络的应用范围,他把神经网络变成了一个可以完成大量不同任务的计算模型。他早期引进的一些工作现在已经成为了人工智能的基础概念,例如在图片识别领域,他研究了如何让神经网络学习层次特征,这一方法现在已经用于很多日常的识别任务。

Hinton、LeCun 和 Bengio
三人的独立工作及合作工作,为该领域开发了概念基础,通过实验发现了令人惊讶的现象,并为证明深度神经网络的实际优势的工程进展做出了贡献。

谈及颁奖缘由,ACM 总裁 Cherri M. Pancake
说到:“人工智能现在是所有科学领域发展最快的领域之一,也是社会上最受关注的话题之一。人工智能的进步和兴盛在很大程度上归功于
Bengio、Hinton 和 LeCun
为深度学习最新进展奠定的基础。这些技术被数十亿人使用,任何一个拥有智能手机的人都能切实体验到自然语言处理和计算机视觉方面的进步。除了我们每天使用的产品之外,深度学习的新进展还在医学、天文学、材料科学等领域为科学家提供了强大的新工具。”

Geoffrey Hinton

生成对抗网络:自2010年以来,Bengio与Ian
Goodfellow共同开发的生成对抗网络引发了一场计算机视觉和计算机图形学的革命。GAN的一个引人注目应用是,计算机实际上能够生成原始图像,这种创造力往往被认为是机器具备人类智能的标志。

图片 3
2018年图灵奖获得者从左到右:Yann LeCun, Geoff Hinton 和 Yoshua Bengio

被誉为“计算机界诺贝尔奖”的图灵奖在27日公布了获奖人,ACM宣布,深度学习的三位创造者Yoshua
Bengio、Yann LeCun以及Geoffrey
Hinton获得了2018年的图灵奖,以表彰他们给人工智能带来的重大突破,这些突破使深度神经网络成为计算的关键组成部分。届时,这三位获奖人士将分享100万美元的奖金。

三位获奖者在业内被称为“当代人工智能教父”,开创了深度神经网络,而这项技术已经成为计算科学的关键部分,为深度学习算法的发展和应用奠定了基础。去年,”深度学习寒冬论“频起,三位大神也在多个场合对”寒冬“做出了回应。不仅如此,Geoffrey
Hinton还提出新的神经网络模型Capsule
Network,试图找到解决深度学习缺陷的新方法。

关于图灵奖

图片 4

Yann
LeCun的代表贡献之一是卷积神经网络。1980年代,LeCun发明了卷积神经网络,现在已经成为了机器学习领域的基础技术之一,也让深度学习效率更高。1980年代末期,Yan
LeCun在多伦多大学和贝尔实验室工作期间,首次将卷积神经网络用于手写数字识别。今天,卷积神经网络已经成为了业界标准技术,广泛用于计算机视觉、语音识别、语音合成、图片合成,以及自然语言处理等学术方向,以及自动驾驶、医学图片识别、语音助手、信息过滤等工业应用方向。LeCun的第二个重要贡献是改进了反向传播算法。他提出了一个早期的反向传播算法backprop,也根据变分原理给出了一个简洁的推导。他的工作让反向传播算法更快,比如描述了两个简单的方法可以减少学习时间。LeCun第三个贡献是拓展了神经网络的应用范围。他把神经网络变成了一个可以完成大量不同任务的计算模型。他早期引进的一些工作现在已经成为了人工智能的基础概念。例如,在图片识别领域,他研究了如何让神经网络学习层次特征,这一方法现在已经用于很多日常的识别任务。他们还提出了可以操作结构数据的深度学习架构。

图灵奖得主介绍

图片 5

在ACM的公告中,Hinton最重要的贡献来自他1986年发明反向传播的论文“Learning
Internal Representations by Error
Propagation”,1983年发明的玻尔兹曼机,以及2012年对卷积神经网络的改进。Hinton和他的学生Alex
Krizhevsky以及Ilya Sutskever 通过Rectified Linear Neurons和 Dropout
Regularization改进了卷积神经网络,并在著名的ImageNet评测中取得了很好的成绩,在计算机视觉领域掀起一场革命。

Yoshua Bengio,蒙特利尔大学教授,魁北克人工智能研究所 Mila 科学主任,与
Ian Goodfellow、Aaron Courville 两人合著 《深度学习》一书。Bengio
的主要贡献是在 1990 年代发明的 Probabilistic models of sequences。

Yoshua
Bengio的贡献主要是他在1990年代发明的序列的概率模型,该理论将神经网络和概率模型结合,成功用新技术识别手写的支票,而现代深度学习技术中的语音识别也是在此基础上进行扩展。

由于强大的图形处理器 (GPU)
计算机的普及,以及大型数据集变得可用,LeCun、Bengio 和 Hinton 在过去 30
年里奠定的概念基础和工程进展得到了显著的推进。近年来,这些因素以及其他因素带来了计算机视觉、语音识别和机器翻译等技术的跨越式发展。

Yann LeCun,纽约大学教授,同时也是 Facebook
的副总裁和首席人工智能科学家。Yann LeCun 的代表贡献之一是卷积神经网络。

此外Bengio发表的论文“A Neural Probabilistic Language
Model”,使用了高维词向量来表征自然语言。他的团队还引入了注意力机制,让机器翻译获得技术突破,成为深度学习处理序列的重要技术。

Yann LeCun

LeCun的第二个重要贡献是改进了反向传播算法。他提出了一个早期的反向传播算法backprop,根据变分原理给出了一个简洁的推导,让反向传播算法更快。

三位大神的成就

Yoshua Bengio

三位科学家发明了深度学习的基本概念,在实验中发现了惊人的结果,也在工程领域做出了重要突破,帮助深度神经网络获得实际应用。

所以Yann
LeCun的代表贡献之一是卷积神经网络。1980年代,LeCun发明了机器学习领域的基础技术之卷积神经网络,让深度学习效率更高。Yann
LeCun在多伦多大学和贝尔实验室工作期间,首次将卷积神经网络用于手写数字识别。如今,卷积神经网络已经成广泛用于计算机视觉、语音识别、语音合成、图片合成、自然语言处理等学术方向,以及自动驾驶、医学图片识别、语音助手、信息过滤等工业应用方向。

在计算机科学中,“神经网络” 这个术语指的是由计算机中模拟的、称为“神经元”
的相对简单的计算元件的层组成的系统。这些 “神经元”
知识与人脑中的神经元大致相似,它们通过加权连接相互影响。通过改变连接的权重,可以改变神经网络执行的计算。Hinton、LeCun和Bengio认识到使用多层构建深度网络的重要性
—— 因此有了“深度学习”这个术语。

目前,Bengio是蒙特利尔大学教授,也是魁北克人工智能研究所Mila的科学主任。

他目前是多伦多大学特聘教授,并于 2013 年加入加入谷歌 AI
团队,将神经网络带入应用一线,比如将他的成名作 Back
Propagation算法应用到神经网络与深度学习,同时他也是第一个证明了广义反向传播算法训练多层神经网络的人。他获得的重要奖项包括:2001
年「Rumelhart 奖」;2005 年 IJCAI「卓越研究奖」;2011
年「加拿大自然科学与工程研究委员会吉勒斯•布拉萨德博士奖」;2012
年,Hinton 获得加拿大「基廉奖」;2016 年欧胜、RSE 和 IEEE
联合颁发「James Clerk Maxwell 奖」等。

Geoffrey
Hinton是谷歌副总裁兼工程研究员、Vector研究所首席科学顾问、多伦多大学名誉教授。

Geoffrey Hinton

Yann
LeCun是纽约大学教授、Facebook副总裁兼人工智能首席科学家,他也被誉为“卷积神经网络之父”。

Hinton、 LeCun 和Bengio既有合作研究,也有独立工作。

他最重要的贡献包括反向传播的论文“Learning Internal Representations by
Error
Propagation”,论文提到反向传播能让神经网络发现自己内部的数据表征,这样便可以处理以往无法解决的问题。

Yoshua Bengio

高维词汇嵌入和注意力机制:2000年,Bengio撰写了具有里程碑意义的论文“A
Neural Probabilistic Language
Model”,此文引入了高维词嵌入作为词义表示。Bengio的这个思想对日后的自然语言处理任务产生了巨大而深远的影响,其中包括语言翻译、问答和视觉问答系统开发等。Bengio的团队还引入了“注意力机制”,导致了机器翻译研究的突破,并成为深度学习的顺序处理的关键组成部分。

拓宽神经网络的研究领域:LeCun还拓宽了神经网络的研究领域,将神经网络作为一种计算模型应用于更广泛的任务上。他在早期研究中引入的许多思想和理念,现在已成为AI领域的基础概念。例如,在图片识别领域,他研究了如何让神经网络学习层次特征,这一方法现在已经用于很多日常的识别任务。他们还提出了可以操作结构数据的深度学习架构。

Geoffrey Hinton

“深度神经网络对现代计算机科学的一些重大进步做出了贡献,帮助在计算机视觉、语音识别和自然语言理解等领域长期存在的问题上取得了实质性进展。”Google
高级研究员、谷歌AI高级副总裁Jeff
Dean表示:“这一进步的核心是今年的图灵奖获得者Yoshua Bengio,Geoffrey
Hinton 和 Yann LeCun 在 30
多年前开发的基础技术。通过大幅提高计算机理解世界的能力,深度神经网络不仅改变了计算领域,而且几乎改变了科学和人类努力的每一个领域。”

反向传播:1986年,Hinton与David Rumelhart和Ronald
Williams共同撰写了“Learning Internal Representations by Error
Propagation”论文,Hinton等人在文中证明了反向传播算法可以让神经网络发现自身的数据内部表示,这一发现让神经网络有可能解决以前被认为不可解决的问题。反向传播算法已经成为如今大多数神经网络的标准。

3月27日,ACM 宣布,2018年图灵奖获得者是号称深度学习三巨头的 Yoshua
Bengio, Yann LeCun 和 Geoffrey
Hinton,得奖理由是:他们在概念和工程上取得的巨大突破,使得深度神经网络成为计算的关键元素。今天,深度学习已经成为了人工智能技术领域最重要的技术之一。在最近数年中,计算机视觉、语音识别、自然语言处理和机器人取得的爆炸性进展都离不开深度学习。无疑,今天将是人工智能史上具有划时代意义的一天!

深度神经网络改变每一个领域

虽然在 20 世纪 80
年代人工神经网络就已作为一种帮助计算机识别模式和模拟人类智能的工具被提出,但直21世纪初,只有LeCun、Hinton和Bengio等一小群人仍然坚持使用这种方法。

Bengio
教授研究人工智能的动力就是发掘它的潜能,而不是对它的恐惧。他的研究成果不仅是如今
AI
热浪的基石,也是加拿大在人工智能时代占据一席领导者位置的重要原因。「要让电脑能像人类那样思考,或者起码能像人类那样理解世界,我们现在离那一步还太远」,Bengio
教授说,「但是人工智能现在的发展已经足以对经济和人类的福祉产生巨大的影响。」

对反向传播算法的改进:LeCun提出了反向传播算法的早期版本,并根据变分原理对其进行了简洁的推导。他表述了缩短学习时间的两种简单方法,从而加快了反向传播算法的速度。

对卷积神经网络的改进:2012年,Hinton与他的学生Alex Krizhevsky和Ilya
Sutskever一起使用整流线性神经元和退出正则化改进了卷积神经网络。在著名的ImageNet图像识别大赛中,Hinton和他的学生几乎将对象识别的错误率降低了一半,可以说重塑了计算机视觉领域。

Geoffrey Hinton 自上世纪 80
年代初以来一直倡导用机器学习方法研究人工智能。受人类大脑的启发,他和其他人提出了“人工神经网络”,作为他们的机器学习研究的基石。

Geoffrey E. Hinton,「神经网络之父」,「深度学习鼻祖」。Geoffrey E.
Hinton
是加拿大认知心理学家和计算机科学家,爱丁堡大学人工智能博士,以他的人工神经网络
(artificial neural networks)
而出名,被称为「神经网络之父」、「深度学习鼻祖」。

玻尔兹曼机:1983年,Hinton与Terrence
Sejnowski一起共同发明了玻尔兹曼机,这是第一个能够学习不属于输入或输出的神经元内部表示的神经网络之一。

Yann LeCun 出生在法国,曾在多伦多大学跟随深度学习鼻祖 Geoffrey Hinton
进行博士后研究。早在 20 世纪 80 年代末,Yann LeCun
就作为贝尔实验室的研究员提出了卷积网络技术,并展示如何使用它来大幅度提高手写识别能力。上世纪末本世纪初,当神经网络失宠时,Yann
LeCun 是少数几名一直坚持的科学家之一。他于 2003
年成为纽约大学教授,并从此引领了深度学习的发展,目前是 Facebook
首席人工智能科学家,并创立了 Facebook 人工智能研究院。

序列的概率模型:20世纪90年代,Bengio将神经网络与序列的概率模型结合起来。这些思想被纳入AT&T
/
NCR用于读取手写支票的系统中,成为20世纪90年代神经网络研究的巅峰之作,目前的深度学习语音识别系统正是这些概念的扩展。

Yann LeCun

下面是本次获图灵奖的三位大神的主要技术成就,这些成就对其后的深度学习研究产生了巨大的影响。

AI三巨头简介

在传统计算中,计算机程序使用明确的分步指令指导计算机。在AI研究的一个子领域——
深度学习中,计算机并没有被明确告知如何解决特定的任务,如对象分类。相反,它使用一种学习算法来提取数据中的模式,这些模式将输入数据
(如图像的像素) 与期望的输出 (如标签 “cat”)
关联起来。研究人员面临的挑战是开发有效的学习算法,这些算法可以修改人工神经网络连接的权重,以使这些权重捕捉数据中的相关模式。

图片 6

ACM主席Cherri M. Pancake
说,“人工智能现在是所有科学领域中增长最快的领域之一,也是社会上谈论最多的话题之一。人工智能的发展以及人们对它的兴趣,在很大程度上要归功于
Bengio、Bengio 和 LeCun
为之奠定基础的深度学习的最新进展。这些技术被数十亿人使用。任何口袋里有智能手机的人都能实实在在地体验到自然语言处理和计算机视觉方面的进步,这在10
年前是不可能的。除了我们每天使用的产品,深度学习的新进展也为医学、天文学、材料科学等领域的科学家们提供了强大的新工具”。

近年来,深度学习方法在计算机视觉、语音识别、自然语言处理和机器人等应用领域取得了惊人的突破,这一切得益于神经网络。

Yoshua Bengio

图灵奖通常被视为
“计算机领域的诺贝尔奖”,由谷歌公司提供资金支持,奖金为100
万美元。Bengio,、Hinton 和 LeCun 将于 2019 年 6 月 15
日星期六在加利福尼亚州旧金山举行的 ACM 年度颁奖晚宴上正式接受 2018 ACM
AM 图灵奖。

挺过寒冬,取得成就

在去年 11
月接受专访时,被问到退休之前最想做出来的成果,他表示,「我的兴趣实际上还是在学习上,比如我喜欢寻找不同的方式让机器通过观察来学习这个世界是怎么运作的。这就意味着在包含有不确定性的环境中学习。如果你让机器看一段视频,然后让它预测接下来会发生什么,可能的发展其实会有很多。但另一方面,所有这些可能的发展里,真正发生在接下来的视频里只会有一种,但其他的状况也还是有可能发生的。当你训练一个机器预测视频的时候,如果你不小心的话,它就会输出一个模糊的预测结果,差不多是所有可能发生的情境的平均值。那这就是一个糟糕的预测了。」

例如,LeCun 在Hinton
的指导下进行博士后研究工作,LeCun和Bengio在20世纪90年代初曾共同在贝尔实验室工作。即使没有在一起工作,他们的工作中也有协同合作和相互联系,他们彼此之间的影响很大。

Bengio的贡献主要在1990年代发明的Probabilistic models of
sequences。他把神经网络和概率模型结合在一起,并和ATT公司合作,用新技术识别手写的支票。现代深度学习技术中的语音识别也是这些概念的扩展。此外Bengio还于2000年还发表了划时代的论文“A
Neural Probabilistic Language
Model”,使用高维词向量来表征自然语言。他的团队还引入了注意力机制,让机器翻译获得突破,也成为了让深度学习处理序列的重要技术。

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图