【编者按】本文来自CSDN翻译文章。在解决视觉、听觉问题方面表现出色的深度学习系统中，分类器和特征模块都是自动学习的，神经网络可解释性问题就成了一个灰色区域，思考这个问题对神经网络效率的保证是有必要的。在这篇博客文章中，机器学习PhD、软件架构师Adnan Masood针对这个问题进行了多方面的反思。
深度学习的成就
在昨天与软件架构师David Lazar关于“how everything old is new again”的讨论中，我们讨论到了关于深度神经网络及其优越效果方面的话题。
一个人如果不是与世隔绝5年，那么他一定会发现我们人类在人工神经网络（ANN）方面已经取得了显著的成就。由于走出了人工智能的冬天（AI winter），在解决各种问题方面，人工智能已经有了显著成效并且发展成为一种不可或缺的技术。
从过去对人工神经网络的有趣猜测到现在使用ConvNets和谷歌翻译将深度学习浓缩到一部手机中，这其中取得了重大进展。我们已经见识到了Inceptionism（谷歌的人工神经网络）带来的梦幻般的景象，在图像分类和语音识别上使用调校好的网络参数，我们可以对神经网络有更深层次的理解。相比使用非监督式特征学习经典模型将自然图像转换成可读数字输入，深度神经网络在图像识别方面表现的更加出色。现在，我们已经在MNIST、深度卷积神经网络图像分类和有效利用深度神经网络进行对象检测方面取得了卓越成就。
谷歌的Otavio Good说的很好：
五年前，如果你向计算机中输入一张猫或者狗的图片，它分辨不出这张图片是猫还是狗。多亏了卷积神经网络，计算机不仅能够分辨猫和狗之间的区别，还能够识别不同品种的狗。
Geoffrey Hinton等人指出：
2010年最好的系统在第一次选择时，错误率高达47%，在前五次选择中，错误率有25%。一个深度神经网络（Krizhevsky等）在第一次选择中可以得到低于40%的错误率，在前五次选择中则低于20%。
Courtesy: XKCD
深度学习的可解释性问题
那么，经过这番大张旗鼓地介绍，深度神经网络在什么方面可能出问题？
在深度学习系统中，分类器和特征模块都是自动学习的，神经网络就有了一个灰色区域：可解释性问题（explain-ability problem）。
可解释性和确定性在机器学习系统方面是一个宽泛的话题，但在神经网络中，当你看到Unreasonable Effectiveness of Recurrent Neural Networks （递归神经网络的不合理的有效性）的时候，它们就不是那么宽泛了。
停下来思考它为什么起作用是很重要的，它是否足够好，可以通过网络的启发式方法来窥探到黑盒内部，又或者是通过大规模非监督式学习得到的高层次特征训练出的神经网络，是如何抽象出“猫”这个概念的？如果我们可以在高维度空间的网络中得出文字嵌入的方法，然后为机器翻译提供语言间的相似性，它会形成一个“灰盒”吗？这种非确定性的本质是棘手的；在你如何选择初始化参数，比如为梯度下降算法选择起始点来训练反向传播的时候，了解非确定性的本质是至关重要的。那么可维持性（retain-ability）又如何呢？至少可以说，不通透性（imperviousness）使得分析解决问题更困难。
你可能没注意到，我努力使这篇科普文章不那么危言耸听，不过我将从下面这几个方面讲起。
解释性和神经网络固有的透明性缺少相关性（研究界因为“它能正确工作”而对相关性感到自满）。我对黑盒智能的想法可能会引出更深层次的问题，这些问题是由Gates、Hawking和Musk提出来的。我可能是第一个指出，这可能是导致世界末日技术缺点的延伸或一般化，并且我们可能可以解密这些信息以驱除人们的恐惧。但是，我的基本原则是，如果技术是不可解释的，并且加上如今增长的机器学习技术，那些意想不到的结果是不容忽视的。
强人工智能和弱人工智能的组合，加大了对解释性的关注。无可否认，设法了解神经网络在那些层的函数中具体在做什么是一大挑战。一个乐观的场景是，一个网络训练良好，并且多次给我们带来高质量的结果。但是，试图理解底层是如何做到的还一直困扰着我们。更让人担忧的是，如果网络失败了，那么很难理解是到底是哪里出错了。我们真的可以摆脱那些对人工智能危险感到恐惧而持怀疑态度的人吗？
正如比尔盖茨所说的那样（实际上是反驳埃里克·霍维茨的立场）
我很关心超级智能的发展。最开始机器可以为我们完成许多任务，而且它们也不是超级智能。如果我们管理得当，那么可以得到良好效果。几十年后，智能强大到足以引起人们的关注。我同意Elon Musk等人在这方面的看法，而且我也不明白为什么有的人对此并不关注。
像神经网络这种具有非确定性本质的技术，会给理解分类器置信度带来更大的关注吗？神经网络在何时收敛并不清楚，但是对于SVM而言，验证何时收敛就显得微不足道了。将没有文档的函数描述成黑盒在本质上可能就是一个有缺陷的想法。如果我们将这种想法作为生物的思维过程，有了信号和相应的训练行为，我们可以得到基于训练数据的期望结果，这些期望结果将作为一个观察器。然而，在非识别模型中，由神经网络提供的近似值对所有意图来说都是令人费解的。
我认为对人工智能和机器学习有着深刻理解的人会担心“天网”的出现，关于这点，吴恩达纠正道：
担心杀人机器的出现就像是担心火星人口过多。
这些担忧都与“但是它能工作啊”的想法分不开，即如果适合我那我就坐下（If-It-fits-I-sits ，下面猫的图片形象解释了这句话）。
与自驾车、出租车、快递员以及就业相关的社会学挑战都是是真实的，但是这些都只是监管问题。了解神经网络解释性的关键在于技术的核心部分以及我们对核心部分的理解。斯坦福大学的Katie Malone在“神经网络中的线性分离”的讲话中说的很好。
虽然这听起来好像我们希望在没有人工干预的自动机器不允许进行某些任务的情况下发挥指挥作用，就好像Hawking、Musk和Wozniak想要禁止自动武器和敦促AI专家设计安全的系统，我们对黑盒方法的依赖可能只是一厢情愿。正如斯蒂芬·霍金所说：
我们已经有的最原始的人工智能是非常有用的。但我认为全人工智能的发展可能会毁灭全人类。一旦人类发明这种人工智能，它将会以前所未有的速度重新设计自己来提升性能。而人类，受到缓慢进化的限制，无法与之抗衡而将被取代。
我们可以这么说，因为我们无法完全理解一项新技术，因此我会产生（变化带来的）恐惧，但是随着逐步研究，我们将会慢慢适应。对于非黑盒模型或可解释模型，如回归（封闭式逼近）和决策树/信念网络（确定性和概率信念图形表示），我们有着良好的理解。如今我们知道，神经网络中微小的改变都会对结果带来巨大的变化，正如“Intriguing” properties of neural networks中所说。在这篇论文中，作者证明了微小的改变可以引发更大的问题。
我们发现，深度神经网络学习输入输出映射关系是相当不连续的。我们可以通过加入一些几乎不可观察的微扰让网络错误分类一张图像，这是通过最大化网络预测误差发现的。我们发现，神经网络与各个语义单位和间断点有着相对立的属性。这种对抗性的负面性质似乎与网络达到高泛化性能的能力相矛盾。确实如此，如果一个网络的泛化能力优越，它为什么还会出现这种对抗的负面性质，而且在常规例子中还难以分辨？对此问题可能的解释是，这种对抗性的负面性质出现的概率极低。但是，我们不知道这种对抗性的负面性质多久会出现。
我们要清楚的是，在讨论人工神经网络的黑盒特性时，我们讨论的不是单感知器只能用于学习线性可分模式的问题（Minsky等人，69年）。我们都知道，XOR方法不能在单层网络上使用，但是在多层感知器（MLP）上并非如此。卷积神经网络（CNN）就是最好的证明；受生物学的灵感而产生的多层感知器有着明确的假设，即带有图像的输入数据可以得到确定的属性，这些属性可以嵌入到感知器架构中。问题的关键是针对一种快速适应的技术，它有着黑盒的性质，有更大的计算负担，固有的非确定性，以及过度拟合并倾向于比其他技术表现得“更好”。以非怀疑论者的态度来复述Jitendra Malik的话，没有理由认为多层随机森林或SVM不能达到相同的结果。在AI冬天的时候我们遗弃了人工神经网络，我们在其他技术方面是否又在重蹈覆辙呢？
最近Elon Musk发表推文说：
Bostrom的超级智能值得一读。我们必须对AI十分谨慎。它的潜在危害比核武器更可怕。
虽然现在情况并不是那么糟糕，让我们以下面这段话来结束此文，引自IEEE spectrum的Michael Jordan。
有些时候，那些成果的确代表了进步。特别是在深度学习方面，这在很大程度上是80年代神经网络的代名词。而如今，主要成就是卷积神经网络，但是这种构想在前期技术中早已出现。而且其中一个问题是人们不断推断某些包含神经科学的知识在背后支撑着这些技术，而人们对大脑如何处理信息、学习、决策和组织大量数据的理解，奠定了深度学习基础。这种想法明显是错误的。
这又给我们留下了一个根本问题，模仿生物神经网络的网络是否真的是一个模拟只能的好方法？或者是Noam Chomsky关于人工智能的看法在哪里出错了吗？
我们以后再讨论这个话题。
正在生成分享图...
刘洁