浅层神经网络

本文为 AI 研习社编译的技术博客，原标题 ：

Shallow Neural Networks

作者 | Rochak Agrawal

翻译 | hxyzzz0     编辑 | 邓普斯•杰弗、王立鱼

原文链接：

https://towardsdatascience.com/shallow-neural-networks-23594aa97a5

每当我们听到神经网络的大名时，就会认为它里面有许许多多的隐藏层，但其实还有一种只有少量隐藏层的神经网络，浅神经网络只包含一到两层隐藏层。对浅神经网络的研究可以加强我们对深度神经网络内部运行机制的理解。本文将介绍什么是浅神经网络以及它的数学原理。下图所示是一个只包含一个隐藏层、一个输入层和一个输出层的浅神经网络。

在上面的方程中：

1. 下标i表示第i层，下标j表示该层的第j个神经元。

2. X是包含3个特征的输入向量。

3. W[i]j是第i层第j个神经元的权值。

4. b[i]j 是第i层第j个神经元的偏置。

5. Z[i]j 是第i层第j个神经元的中间输出。

6. A[i]j 第i层第j个神经元的最终输出。

7. Sigma 是sigmoid激活函数。它的数学定义是：

显而易见，上述四个方程比较冗长，因此我们把它们进行向量化：

1. 第一个方程用一个矩阵乘法计算所有的中间输出Z。

2. 第二个方程用一个矩阵运算计算所有的激活函数输出A。

1. 第一个方程计算第一个隐藏层的中间输出Z[1]。

2. 第二个方程计算第一个隐藏层的最终输出A[1]。

3. 第三个方程计算输出层的中间输出Z[2]。

4. 第四个方程计算输出层的最终输出A[2]，也就是整个神经网络的最终输出。

将方程一中的Z[1]代入方程2得到如下方程：

显而易见，输出将是一个新权重矩阵W、输入X和新偏置矩阵b线性组合，意味着隐藏层中的神经元及其权重都失去了意义。因此，我们需要用激活函数为网络引入非线性特性。

激活函数有许多种，包括Sigmoid、Tanh、ReLU等等，并且可以在每层使用不同的激活函数。你可以在下面这篇文章中得到关于激活函数的更多信息。

（https://towardsdatascience.com/activation-functions-neural-networks-1cbd9f8d91d6）

上图中，前向传播（黑线所示）用于根据给定输入X计算输出。反向传播（红线所示）对计算图中每一步的输入计算其导数，从而更新权重矩阵W[1]、W[2]和偏置b[1]、b[2]。损失函数L定义如下：

根据上式所示损失函数L，隐藏层和输出层采用sigmoid激活函数，利用导数的链式法则可以计算出：

上面的方程可能看起来有点迷惑，但是它们在梯度下降中应用非常好。在计算dZ[1]的方程中，＊表示点积，σ’ 表示sigma的导数。

“我强烈建议懂微积分的读者亲自计算一下上述方程，从而对于梯度下降的运行方式有一个更好的理解。”

在本文中，我们学习了浅层神经网络的数学原理。尽管我已经尽可能详细的解释了其中的所有内容，如果你感觉欠缺某些知识，请查看我之前的帖子，或者在下面的评论区中提问。雷锋网雷锋网雷锋网

Coursera — Deep Learning Course 1

DeepLearning Notes — Initialization

想要继续查看该篇文章相关链接和参考文献？

点击【浅层神经网络】即可访问：

Github项目推荐：推荐系统数据集汇总