深度学习的历史(一)

更新中...

Posted by yaohong on Friday, May 1, 2020

TOC

深度学习的历史(一)

深度学习的主要突破是从2011年开始,开始超越其它算法成为主流也是从这个时间开始,因此我们有必要先了解从2011年开始的历史,话不多说,直接看。

2011年以前反向传播训练的CNNs已经存在了几十年,GPU实现NNs(包括CNNs)已经有很多年了,但在计算机视觉上进展不大,直到Ciresan和其同事对此进行了改进–GPU上实现max池的CNNs。

2011年,这种方法首次在视觉模式识别比赛中取得了超越人类的成绩。当年获得了ICDAR中文手写大赛的冠军,2012年5月获得了ISBI图像分割大赛的冠军。

CNNs

2011年之前,CNNs在计算机视觉会议上没有发挥重要作用。

在2012年6月,Ciresan等人在领先的CVPR会议上发表的一篇论文显示,在GPU上最大池化的CNN是如何显著改善许多视觉基准记录的。

2012年10月,Krizhevsky等人的类似系统以显著优势战胜了浅层机器学习方法,赢得了大规模的ImageNet竞赛。

2012年11月,Ciresan等人的系统还获得了ICPR大型医学影像分析用于癌症检测的比赛,并在第二年的MICCAI大挑战赛上获得了同一主题的冠军。

2012年,George E. Dahl领导的团队利用多任务深度神经网络预测一种药物的生物分子靶点,赢得了 “默克分子活性挑战赛”

应用在其它领域

2014年,Hochreiter小组利用深度学习检测营养品、生活用品和药物中的环境化学物质的非目标和毒性效应,并获得了NIH、FDA和NCATS的 “Tox21数据挑战赛”。

在2013年和2014年,使用深度学习的ImageNet任务上的错误率进一步降低,在大规模语音识别中也有类似的趋势。Wolfram图像识别项目公开了这些改进。

然后,图像分类被扩展到更有挑战性的任务,即为图像生成描述(标题),通常是CNNs和LSTMs的组合。

图灵

2019年3月26日,美国计算机协会(ACM)公布了去年(2018年)图灵奖评选的结果,对深度学习做出开创性贡献的三名美国和加拿大科学家本杰欧(Yoshua Bengio)、辛顿(Geoffrey Hinton)和莱昆(Yann LeCun)荣获该奖。

参考文献:深度学习

「点个赞」

Yaohong

点个赞

使用微信扫描二维码完成支付