RNN、CNN、与DNN区别

由深度神经网络（deep neural networks，DNN）有时也称为深度学习（Deep Learning），从名字中我们能够知道，深度神经网络是有多个隐藏层的神经网络，很多人工智能应用以它为基础[6]。传统的机器学习主要依赖浅层的网络，引入深度网络之后，每一层节点依据前一层的输出在一组不同的特征上训练，随着神经网络的不断加深，组合这些特征，节点识别的功能就更加复杂。我们可以计算更多冗杂的输入特征，之后针对不同的类别，网络得出这些高阶特征组组合而成的各个对象的概率，也就是分类结果。由于每一个隐藏层能够对前一层的输出进行non-linear transformation（非线性变换），因此深度神经网络的表达能力远远超出浅层的网络的表达能力。总体来说，神经网络或者称为深度神经网络包含了卷积神经网络，循环神经网络等变种形式，可以说是它们的统称。它融合了多种已知的结构，是深度学习的一种，以神经网络为载体，重在深度。

卷积神经网络（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖领域内的周围单元，在大型图像处理中有十分精彩表现[7]。卷积神经网络由一个及以上卷积层和顶端的全连通层组成，同时也包含关联权重和池化层（pooling layer），卷积神经网络的结构使得它能够利用输入数据的二维结构[8]。与其他深度学习相比，卷积神经网络的神经元之间是非全连接的，神经元之间连接的权重是相同的，所以，它的结构更类似于生物的神经网络，也可以使用反向传播bp算法进行训练,并且网络模型的复杂度大大降低，权值的数量得到了减少。所以相对于其他神经网络，卷积神经网络需要预估的参数大大减少，在图像和语音识别方面得出更优的结果变得更加容易，使之成为一种非常有吸引力的深度学习结构。

总的来说，深度神经网络在本质上是一种多层网络，它以神经网络为载体，使用了很多技巧，比一般的神经网络更具有深度；卷积神经网络主要是侧重于空间映射，处理图像数据，解决图像的问题。可以将CNN看做特征提取层，放在输入层上，最后用MLP 做分类。

CNN 专门解决图像问题的，可用把它看作特征提取层，放在输入层上，最后用多层感知器（Multilayer Perceptron,MLP） 进行分类；而循环神经网络是一种回归型网络，用于时间序列数据的处理，具有一定的记忆性。LSTM是循环神经网络的一种模型，具有广泛的应用。

优缺点

1）深度神经网络优缺点

深度神经网络描述比浅层网络大的函数集合的方式更加简洁紧凑。也就是说，我们可以将一些函数用深度神经网络简洁地表达出来。但是对于一个浅层的网络来说，要想能够简洁表达这些函数，只有使用与输入单元的数目呈指数关系的隐藏单元数目。当对图像进行处理时，深度神经网络可以分解其中的 “部分-整体”关系。比如，第一层可以学习如何整合图像中的像素去检测边缘；第二层可以将边缘组合组合在一起检测简单的“parts of objects”或者更长的轮廓；以此类推，在更深的层次上，可以进一步把轮廓组合这样可以测验更加庞大的特征。

尽管人们很早就发现了深度神经网络在理论上具有简洁性和表达的能力比较强的优点，但是训练深度神经网络比较困难，因此研究者没有在这方面取得多少进步。由于局部极值，获取的数据，diffusion of gradients等问题，取得突破比较困难。目前，研究者在不断寻找可取的训练方法，如逐层贪婪训练方法，将会使我们更好的利用深度神经网络解决问题。

2)卷积神经网络优缺点

卷积神经网络主要用与二维图形的处理。在使用卷积神经网络时，由于其通过训练数据开展的特征检测层的学习，从训练数据中隐蔽的进行学习；另外，因为在同一特征上，射影面上的神经元权值是一样的，因此卷积神经网络能够进行并行学习，这恰巧是CNN的一大优点。卷积神经网络的布局与现实生活中的生物神经网络的布局十分相似，在许多方面以其局部权值共享的特殊结构有着独特的优越性，网络的复杂性因为权值共享而......