2004年，执着于神经网络研究的杰弗里·辛顿获得加拿大高级研究院（CIFAR）每年50万加元的经费支持，召集为数不多的同道，启动了“神经计算和自适应感知（Neural Computation and Adaptive Perception，NCAP）”项目。2006年，辛顿在《科学》发表论文，提出深度信念网络（Deep Belief Networks，DBNs），掀起了汹涌至今的人工神经网络第三次浪潮。从网络结构来看，深度信念网络仍然是传统的多层感知机，但增加了一个初始权值训练阶段:利用待处理的样本数据，采用受限玻尔兹曼机，以输出层重构输入层为目标，采用无监督的方法逐层训练，使得多层网络能够高效表达训练数据，一定程度上可以避免反向传播算法陷入局部极小的问题。由于这次浪潮的核心是多层网络（相对于浅层网络更深）的有效学习问题，往往用“深度学习”来指代。更纯粹地体现深度学习精髓的是自动编码器（Autoencoder），由深度学习另一位代表人物约舒瓦·本吉奥（Yoshua bengio）进行了深入研究，采用无监督逐层训练的方法，可让多层神经网络有效表征训练数据的内隐结构。
此文由 怡心湖 编辑，若您觉得有益，欢迎分享转发！：首页 > 常识论 » 再谈深度学习的发展之路