KDD 2016 Deep Learning大讨论

今天KDD 2016有很多有意思的内容，其中要数题为“Is Deep Learning the New 42”的Plenary Panel给我印象最深。

首先说一下参与Panel的几位学者的来头。主持Panel的Andrei Broder自然不用说，目前担任Google的Distinguished Scientist，之前是Yahoo Research的VP。参与讨论的有University of Washington的Pedro Domingos（因为Markov Logic Networks著名），来自Google DeeMind的Nando de Freitas（之前因为Gaussian Process，现在因为Deep Learning著名），来自Université Paris-Saclay的Isabelle Guyon（因为SVM著名），来自University of California at Berkeley的Jitendra Malik（因为CV界的好几个算法著名）以及来自Purdue University的Jennifer Neville（因为Graph Mining著名）。

总体感觉是，Jennifer和Nando de Freitas大部分时间在打酱油。两者均在学术圈的时日比较短，虽然Nando是做Deep Learning的，但深入的观点感觉并不多，无法从多个领域的整体感觉来谈论Deep Learning的一些High Level Idea。整个Panel而言，表现最抢眼的是Pedro Domingos，观点犀利，而且观众很有共鸣。我这里总结几点：

1. Deep Learning的核心成功来源于Representation Learning。Pedro希望看到不同类型的，基于不同观念的Representation Learning兴起。

2. Deep Learning还处于非常早期的发展时期，我们需要对认知Deep Learning为什么成功，而不仅仅限于能做什么Task。

3. Model Interpretative可能是一个伪问题。在精确的模型和有解释意义的模型之前，宁愿选择精确的模型。人类的认知局限，恰恰是希望能够发展出人类 所不能解释的，超过人类能力的模型。如果是为了解释性，从而降低了模型的准确度，那就违背了Machine Learning的初衷。人类理解不了模型是好事，需要提高的人类的认知能力。这一个观点在会场上引起了很大的震动。

4. 学者有义务对整个社会进行教育，所有人都应该理解Machine Learning的局限和期望。（这一点也就能够解释Pedro为什么会写科普性质的书籍《Master Algorithm》。）

5. 学术圈的存在意义不是做Incremental的学术，而恰恰是做Long-term，可能会失败的有深远意义的研究。

6. Deep Learning未必能够在所有的领域都大放异彩。目前的成功还主要在Image、Speech领域。

Nando有一个观点还是不错的，那就是现在Deep Learning的成功也得益于软件系统，特别是现在DL的各类框架的成熟。

总之，整个一个多小时Panel人山人海，看来Deep Learning依然是目前最为火热的研究课题。

Ps：本文转载自洪亮劼微博