来源：微信公众号“雷课

深度学习技术发展到今天，离不开两方面技术的进步：层次结构概念的创建和让电脑能自己提取特征。层次结构，是人类培养电脑对事物理解的一种方式，即让电脑在学习一些简单的概念之后，进而能够理解复杂的概念。当从过去所熟知的事物中有了新的发现时，就会通过逐渐优化理解模型来让电脑不断适应，而这些新发现的事物，又能够帮助电脑更好地理解相对应的事实与数据。

深度学习系统可以通过组合一些简单的概念来表示某一形象。它可以通过某个形象边缘的概念来自行依次定义其轮廓，而不用特意教它有关中间区域的概念，因为它会自己学习。比如说，在一个视觉识别系统中，电脑可以在一张松鼠跳跃的照片中识别出松鼠，而不需要提供给系统有关松鼠可能具有的颜色、体型或行为。只要电脑面对一只松鼠时，它就能识别这是一只松鼠。

正是具备这样的功能，深度学习技术受到了前所未有的重视，并有了更广泛的应用。因而，谁都看好深度学习技术的发展前景。纽伯格（Brad Neuberg）是一位在Dropbox做新产品开发的工程师，在机器学习、计算机视觉和神经网络研究方面，卓有建树。他在自己丰富的实践经验上总结出了深度学习未来发展的十大趋势。

（1）神经网络框架将会变得越来越复杂而精密。

神经网络是模拟人脑神经元功能，通过建模和连接，来研制一种具有学习、联想、记忆和模式识别等智能信息处理功能的人工系统。它的一个重要特性是，能够从环境中学习，并把学习的结果存储在网络的连接中。这种学习是一个过程。人们把学习集中的每个输入加到神经网络中，并做出神经网络输出的分类，待全部学习集运行完成，神经网络就能总结出自己的想法。然后用神经网络来分别测试测试集中的测试例子。测试通过，说明神经网络构建成功。之后就可以用这个神经网络来判断事务的分类。神经网络框架决定着建模和连接的维度和功能。

目前，在感知、语言翻译等方面，最先进的神经网络框架正在发展，不再局限于前庭式框架或卷积式框架，并正在混合匹配如自定义目标函数、多皮层柱和卷积等神经网络技术。

（2）所有最酷的系统都会使用LSTM。

LSTM是英文Long-Short Term Memory的缩写，指的是一种时间递归神经网络，由Hochreiter和Schmidhuber于1997年提出。LSTM是一种RNN特殊的类型，具有独特的设计结构，可以学习长期依赖信息，适合处理时间序列中间隔和延迟非常长的重要事件。

纽伯格指出，在未来，“大部分最先进的系统都将LSTM纳入系统中，以使系统具有捕捉重复模式的记忆力”。

（3）“注意力模型”在升温。

人们每天都会对感知到的外界信息进行选择，以选择出最重要的信息。同人的这种机能一样，计算机视觉计算系统面对大量需要处理的信息，如何忽略无用或次要的信息，让视觉感知变得高效可靠，从而满足某些应用中的实时性要求，就成为一项必须解决的技术。注意力模型就成为这项技术的切入点。简单来说，注意力模型可理解为，计算机视觉系统基于时域的显著性目标检测模型，即用智能的方式确定系统在场景图中的研究顺序，其所采用的一种有效方法是，让系统模仿人的视觉感知系统的功能和行为。

如今，已经有一些系统开始将神经系统完成任务的过程放到“注意力模型”的背景中。虽说不普遍，还不是正规神经网络流水线中的一部分，但是已不是个别做法。

（4）神经图灵机仍然有趣，但并没有影响到实际工作。

图灵机，又称图灵计算、图灵计算机，是由英国数学家，被称为“计算机之父”的阿兰·麦席森·图灵提出的一种抽象计算模型。也就是让一个虚拟的机器来代替人工进行计算，是将人工手算的过程进行抽象。这种抽象的机器，有一条无限长的纸带，纸带上有很多小方格，每个方格有不同的颜色。有一个机器头在纸带上移来移去，从当前纸带上读入一个方格信息，然后根据程序，输出信息到纸带方格上。在深度学习界，人们认为，建造类脑计算机必须在保留“图灵机”的基础上进行改变。但是，这种看法是错误的。因为计算模型本质上是一种数学构建，要改变计算架构，就得改变图灵计算模型。

由此，纽伯格指出，“神经网络图灵机（Neural Turing Machines）的研究，或者说能够有差异地训练一个神经网络来学习算法，仍然有趣，但是还没有应用到实际工作中。它们还很复杂，并且目前只能解决玩具问题（toy problems）。”

（5）计算机视觉和自然语言处理，会变得几乎不可分离。

计算机视觉和自然语言处理都是人工智能的分支，这两个领域的深度学习正在融合。卷积神经网络最初应用在电脑视觉中，现在开始应用于一些自然语言处理中。LSTM第一次做出成果是在自然语言处理中，现在被纳入计算机视觉神经网络任务中。另外，电脑视觉和自然语言处理的交叉部分及一些嵌入技术，也成为热门应用。

（6）符号微分法越来越重要。

在神经网络框架和目标函数变为可以自定义的同时，它们本身也变得越来越复杂，人为手动提取的难度越来越大，也容易出错。而采用符号微分法，在构建框架和目标函数的训练中，能够在众多碎片中找出正确的微分，从而保证误差梯度可以反向传播。

（7）神经网络模型压缩带来了越来越多令人惊喜的结果。

压缩一个训练过的模型的权重数量的方法有二值化、固定浮点、迭代剪枝和微调措施等。这些方法带来了如将很复杂的模型适配到手机上、与云端无延迟的对话来得到结果等应用。例如，与云端无延迟的对话来得到结果，如语音识别。另外，在移动装置上使用训练好的神经网络模型，就有可能完成接近实时的新类型电脑视觉任务。

（8）深度学习和强化学习的交叉在继续。

在深度学习和强化学习领域，出现了一些让人振奋的事情。如端对端机器人就是通过使用深度学习和强化学习，让原始传感器数据直接过渡到实际动作执行器上。这种交叉，已经让过去仅仅是分类发展到对在方程中加入计划和行动的理解。

（9）批量归一化开始使用。

在深度学习样本训练时，会遇到归一化图像的情况。为了提高训练效率，在训练之前都要将正负样本的尺寸归一化为统一大小。目前，在神经网络工具包中，批量归一化（batch normalization）正被考虑成为一个标准部分。

（10）神经网络和产品应用携手同行。

神经网络的方法在不断创新，而且这些方法也在快速扩展到实际应用产品中。目前，尽管只有谷歌这样的公司能做到这一点，但就行业来说，这是一种发展趋势——任何技术的进步，最终都会应用和服务于实践和生活。

来源：微信公众号“雷课”

声明：本文版权归原作者及原出处所有，内容为作者观点，并不代表本公众号赞同其观点及对其真实性负责。如涉及版权等问题，请及时与我们联系，我们立即更正或删除相关内容。本公众号拥有对此声明的最终解释权。