递归神经网络之父施米德休：他和DeepMind有不解之缘

作者：宗仁

2016/03/17 21:05

最近因为人机大战成为当红炸子鸡的DeepMind被世人各种扒皮，但很少有人想到它的联合创始人中也有来自深度学习四巨头之一Jürgen Schmidhuber的学生，有种扒来扒去原来还是没逃出这个圈子的感觉。

递归神经网络之父施米德休：他和DeepMind有不解之缘

作为又一位以贡献论资历的大牛，雷锋网非常惊奇地发现Schmidhuber在网上的资料也是少得可怜，so, 又一次展示出我们开扒小能手的一面，为大家找来了所有网上能找到的资料，来为大家画个清晰的轮廓。

1. 根据linkedin的介绍，大概从15岁左右开始， Jürgen Schmidhuber的主要目标就是建造一个能够自我改进的比他自己聪明的人工智能，然后他就能退休了。

2. 1987年，他首先将自我改进的常规问题给解决了，并从1991开始研究出了深度学习神经网络。他的研究团队研发出的递归神经网络第一次赢得了官方国际赛事的冠军。

3. 1992年，他和他的学生团队提出了非监督学习时间递归神经网络(recurrent neural net)，为语音识别和自然语言翻译提供了重要的模型。

4. 1997年，他和他的学生团队提出了简化时间递归神经网络的长短期记忆人工时间递归神经网络(LSTM RNN)，解决了时间递归网络在学习过程中的误差消失和放大问题，并因为这个开创性的成果而声名远播，并奠定了递归神经网络之父的美誉。

5. 2007年的时候，他和他的学生团队用CTC训练的LSTM开始革新语音识别，性能表现超越了键盘识别任务中传统方法。

谷歌后来也用LSTM以帮助改进现有的技术，包括图像字幕（2014年）、机器翻译（2014年）、文本到语音合成（2015年，现在可在谷歌Android上使用）、自然语言处理的句法分析（2015年）等其它许多应用。

6. 2009至2012年年间，他的研究小组赢得了模式识别和机器学习的八个国际比赛。

MICCAI 2013有丝分裂检测挑战赛

ICPR 2012乳腺癌组织学图片有丝分裂检测大赛

ISBI 2012脑图像分割挑战赛

IJCNN 2011交通标志识别大赛

ICDAR 2011离线中国书法大赛

在线德国交通标志识别大赛

ICDAR 2009阿拉伯语连接手写大赛

ICDAR 2009波斯语/阿拉伯语手写字符识别大赛

ICDAR 2009法语连接手写大赛

7. 2015年，CTC训练的LSTM极大地改善了Google Voice（49%）——现在有超过10亿智能手机用户可以使用它。微软和IBM和其它著名公司也在大量使用LSTM。

8. Schmidhuber在InfoQ最近的采访《专访深度学习元老Jürgen Schmidhuber：这个实验室如何孕育DeepMind 》当中表示，“我为谷歌DeepMind的成功感到高兴，同时也因为这家公司在很大程度上受我以前的学生影响：DeepMind的头四个成员中有两个来自IDSIA，他们的第一个人工智能领域的博士雇员也来自IDSIA，其中一个是联合创始人，另一个是公司的第一名员工”。

9. 2015年ICML的深度学习研讨会，Schmidhuber认为，真正运行AI代理的代码是非常简短的，甚至高中生都能玩转它。换句话说，不用有任何担心会有行业垄断AI及其研究。

10. 2015年，Schmidhuber和他在瑞士人工智能实验室 IDSIA 共事的四位研究人员联合创办了初创公司Nnaisense。

小结：

作为又一位在理论研究上有贡献、不耍流氓的深度学习大牛，虽然找到他的资料并不容易，但对整个科学界来说，这样的人越低调我们越爱他，特别是在InfoQ最近的采访中，他表示，“我最近的研究兴趣仍然是我早在20世纪80年代阐述过的那些：「开发出比我更聪明的人工智能，这样我就可以退休了。」”，这让我们看到一个始终坚持初衷的大牛形象。