深度学习是类固醇的神经网络吗?

 
摘要：“深度学习”只是高级神经网络的另一个名称，还是有更多的东西呢?我们来看看深度学习和神经网络的最新进展。
怀疑论者俱乐部
如果你像我一样属于怀疑论者俱乐部，你也可能想知道深度学习的大惊小怪。神经网络(NN)不是一个新概念。多层感知器于1961年推出，并不仅仅是昨天。
但目前的神经网络比多层感知器更复杂;他们可以有更多的隐藏层，甚至是经常性的连接。但是坚持下去，难道他们仍然使用反向传播算法进行训练吗?
是!现在，机器计算能力与60年代甚至80年代的机器计算能力无法比拟。这意味着可以在合理的时间内训练更复杂的神经架构。
Techopedia – IT和业务相遇的地方
技术快速发展!使用Techopedia保持领先地位!
加入近200,000名订阅者，他们可以从Techopedia获得可操作的技术见解。
正如我所说的那样，我属于怀疑论者俱乐部，而且我通常对尚未支持的证据持谨慎态度。这一次，让我们抛开偏见，让我们尝试彻底调查新兴的神经网络学习技术，如果有的话。
在深入挖掘时，我们确实在深度学习领域找到了一些新的单元，架构和技术。这些创新中的一些具有较小的重量，例如由辍学层引入的随机化。然而，其他一些人负责更重要的变化。当然，他们中的大多数都依赖于更大的计算资源可用性，因为它们的计算成本非常高。
在我看来，神经网络领域有三个主要的创新，它们有助于深度学习获得目前的普及：卷积神经网络(CNNs)，长期短期记忆(LSTM)单元和生成性对抗网络(GANs) )。
卷积神经网络(CNN)
深度学习的大爆炸 – 或者至少在我第一次听到繁荣时 – 发生在2012年的ImageNet大规模视觉识别挑战图像识别项目中。为了自动识别图像，一个卷积神经网络八层–AlexNet–被使用。前五层是卷积层，其中一些层跟随最大池层，最后三层是完全连接的层，所有层都具有非饱和的ReLU激活功能。 AlexNet网络实现了前15个误差15.3%，比亚军低了10.8个百分点。这是一项伟大的成就!
除了多层架构，AlexNet最大的创新是卷积层。
卷积网络中的第一层始终是卷积层。卷积层中的每个神经元聚焦在输入图像的特定区域(感受野)上，并且通过其加权连接充当感受野的过滤器。在神经元之后滑动滤波器，神经元之后，在所有图像接收场上，卷积层的输出产生激活图或特征图，其可以用作特征标识符。
图1.卷积层中的神经元充当输入图像的5×5感受野上的滤波器(从Adit Deshpande的“理解卷积神经网络的初学者指南”中再现)。
通过在彼此的顶部添加更多卷积层，激活图可以表示来自输入图像的越来越复杂的特征。此外，通常在卷积神经网络架构中，在所有这些卷积层之间散布更多层以增加映射函数的非线性，提高网络的鲁棒性并控制过度拟合。
现在我们可以从输入图像中检测高级特征，我们可以将一个或多个完全连接的层添加到网络末端以进行传统分类。网络的最后部分将卷积层的输出作为输入并输出N维向量，其中N是类的数量。该N维向量中的每个数字表示一个类的概率。