第１１卷第５期 ２０１６年１０月 ＤＯＩ：１０．１１９９２／ｔｉｓ．２０１５１１０２８ 智能系统学报 Ｖｏｌ＿１１№．５ ＣＡＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ ０ｃｔ．２０１６ 网络出版地址：ｈｔｔｐ：／／ｗｗｗ．ｃｎｋｉ．ｎｅｔ／ｋｅｍｓ／ｄｅｔａｉｌ／２３．１５３８．ＴＰ．２０１６０７１５．１３５３．００２．ｈｔｍｌ 深度学习方法研究新进展 刘帅师，程曦，郭文燕，陈奇 （长春工业大学电气与电子工程学院，吉林长春１３００００） 摘要：本文依据模型结构对深度学习进行了归纳和总结，描述了不同模型的结构和特点。首先介绍了深度学习的 概念及意义，然后介绍了４种典型模型：卷积神经网络、深度信念网络、深度玻尔兹曼机和堆叠自动编码器，并对近３ 年深度学习在语音处理、计算机视觉、自然语言处理以及医疗应用等方面的应用现状进行介绍，最后对现有深度学 习模型进行了总结，并且讨论了未来所面临的挑战。 关键词：深度学习；卷积神经网络；深度信念网络；深度玻尔兹曼机；堆叠自动编码器 中图分类号：ＴＰ１８ 文献标志码：Ａ文章编号：１６７３—４７８５（２０１６）０５—０５６７—１０ 中文引用格式：刘帅师，程曦，郭文燕。等．深度学习方法研究新进展［Ｊ］．智能系统学报，２０１６。ｌ１（５）：５６７－５７７． 英文引用格式：ＬＩＵ Ｓｈｕａｉｓｈｉ。ＣＨＥＮＧ Ｘｉ。ＧＵＯ Ｗｅｎｙａｎ，ｅｔ ａ１．Ｐｒｏｇｒｅｓｓ ｒｅｐｏｒｔ ｏｎ ｎｅｗ ｒｅｓｅａｒｃｈ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ［Ｊ］．ＣＡＡＩ ｔｒａｎｓ－ ａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ。２０１６。１１（５）：５６７－５７７． Ｐｒｏｇｒｅｓｓ ｒｅｐｏｒｔ ｏｎ ｎｅｗ ｒｅｓｅａｒｃｈ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ＬＩＵ Ｓｈｕａｉｓｈｉ，ＣＨＥＮＧ Ｘｉ，ＧＵＯ Ｗｅｎｙａｎ，ＣＨＥＮ Ｑｉ （Ｃｏｌｌｅｇｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｃｈａｎｇｃｈｕｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈａｎｇｃｈｕｎ １３００００，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｈａｓ ｒｅｃｅｎｔｌｙ ｒｅｃｅｉｖｅｄ ｗｉｄｅｓｐｒｅａｄ ａｔｔｅｎｔｉｏｎ．Ｕｓｉｎｇ ａ ｍｏｄｅｌ ｓｔｒｕｃｔｕｒｅ，ｔｈｉｓ ｐａｐｅｒ ｇｉｖｅｓ ａ ｓｕｍｍａｒｉｚａｔｉｏｎ ａｎｄ ａｎａｌｙｓｉｓ ｏｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｂｙ ｄｅｓｃｒｉｂｉｎｇ ａｎｄ ｒｅｖｉｅｗｉｎｇ ｔｈｅ ｓｔｒｕｃｔｕｒｅ ａｎｄ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｄｉｆｆｅｒ— ｅｎｔ ｍｏｄｅｌｓ．Ｔｈｅ ｐａｐｅｒ ｆｉｒｓｔｌｙ ｉｎｔｒｏｄｕｃｅｓ ｔｈｅ ｃｏｎｃｅｐｔ ａｎｄ ｓｉｇｎｉｆｉｃａｎｃｅ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ，ａｎｄ ｔｈｅｎ ｒｅｖｉｅｗｓ ｆｏｕｒ ｔｙｐｉｃａｌ ｍｏｄｅｌｓ：ａ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ；ｔｈｅ ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ；ａｎｄ ａｎ ａｕｔｏｍａｔｉｃ ｓｔａｃｋｉｎｇ ｅｎｃｏｄｅｒ．Ｔｈｅ ｐａｐｅｒ ｔｈｅｎ ｃｏｎｃｌｕｄｅｓ ｂｙ ｒｅｖｉｅｗｉｎｇ ｔｈｅ ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｓ ｒｅｇａｒｄｓ ｓｐｅｅｃｈ ｐｒｏ‘ ｃｅｓｓｉｎｇ，ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ，ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ，ｍｅｄｉｃａｌ ｓｃｉｅｎｃｅ，ａｎｄ ｏｔｈｅｒ ａｓｐｅｃｔｓ．Ｆｉｎａｌｌｙ，ｔｈｅ ｅｘｉｓｔｉｎｇ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ ｉｓ ｓｕｍｍａｒｉｚｅｄ ａｎｄ ｆｕｔｕｒｅ ｃｈａｌｌｅｎｇｅｓ ｄｉｓｃｕｓｓｅｄ． Ｋｅｙｗｏｒｄｓ：ｄｅｅｐ ｌｅａｒｎｉｎｇ；ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ；ｄｅｅｐ Ｂｏｈｚｍａｎｎ ｍａｃｈｉｎｅ；ａｕｔｏｍａｔ— ｉＣ ｓｔａｃｋｉｎｇ ｅｎｃｏｄｅｒ 深度学习是机器学习的一个分支，属于人工智 能的新领域。深度学习的本质是特征提取，即通过 究热点。 ２００６年，机器学习大师Ｈｉｎｔｏｎ等 在《科学》 上发表的一篇论文，开启了深度学习的浪潮。他提 出了深度信念网的概念，成功地利用贪心策略逐层 训练由限制玻尔兹曼机组成的深层架构，解决了以 往深度网络训练困难的问题。此后，Ｈｉｎｔｏｎ、Ｌｅｃｕｎ、 组合低层次的特征形成更加抽象的高层表示，以达 到获得最佳特征的目的¨Ｊ。它主要通过神经网络 来模拟人的大脑的学习过程，希望实现对现实对象 或数据（图像、语音及文本等）的抽象表达，整合特 征抽取和分类器到一个学习框架下 。目前，深度 学习在许多领域取得了广泛的关注，成为当今的研 收稿日期：２０１５．１１－２７．网络出版日期：２０１６—０７－１５． 基金项目：吉林省科技厅青年科研基金项目（２０１４０５２００￣ＪＨ， ２０１４０５２（￣７６ＪＨ）；长春工业大学科学研究发展基金自然科学 计划项目（２０１０ＸＮ０７）． 通信作者：．Ｅ—ｍａｉｌ：刘帅师．Ｅ—ｍａｉｌ：ｌｉｕ・ｓｈｕａｉｓｈｉ＠１２６．ｃｏｍ． Ｂｅｎｇｉｏ等大量科研人员对深度学习的模型构建、训 练方式等做出了杰出的贡献。文献［４］对近几年新 兴的深度学习的初始化方法、模型结构、学习算法等 进行了详细的分析。２０１４年余滨等 从训练方式 的角度对深度学习进行了总结。文献［６］依据数据 流向对深度学习进行不同分类，本文将重点放在模 ・５６８・ 智能系统学报 第ｌ１卷 型结构，以深度学习的核心模型结构而展开。文献 ［７］从深度学习结构进行展开，本文大量增加了近３ 年新的研究成果，因此能够更准确地反映该领域的 最新研究进展。 本文依据模型结构，着重介绍４种典型的深度 学习模型，即卷积神经网络、深度信念网络、深度玻 尔兹曼机、堆叠自动编码器。下面对这些模型进行 描述。 １ 深度学习典型模型 １．１卷积神经网络 １．１．１ 历史 卷积神经网络（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ， ＣＮＮ）最早在２０世纪８０年代就已被提出，是由于在 研究猫脑皮层时受到的启发。它的典型模型ＬｅＮｅｔ一 ５＿８ 系统，在ＭＮＩＳＴ上得到了０．９％的错误率，并在 ２Ｏ世纪９０年代就已用于银行的手写支票识别 。 但是，由于在大尺寸图像上没有好的效果，一度被人 忽视。随着高效的ＧＰＵ计算的兴起，直到２０１２年 Ｈｉｎｔｏｎ在ＩｍａｇｅＮｅｔ问题的成功，才使它在近几年流 行起来 ｊ。如今卷积神经网络已经成为众多科学 领域的研究热点之一，特别是在图像识别领域。由 于该网络避免了对图像的复杂前期预处理，可以直 接输入原始图像，因而得到了广泛的应用。 １．１．２结构 卷积神经网络是前馈神经网络的一种。卷积神 经网络的模型如图１所示，它是一个多层的神经网 络，每层由多个二维平面组成，而每个平面由多个独 立神经元组成。传统的神经网络层与层之间神经元 采取全连接方式，而卷积神经网络采用稀疏连接方 式，即每个特征图上的神经元只连接上一层的一个 小区域的神经元连接。 图１卷积神经网络模型 Ｆｉｇ．１ Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｍｏｄｅｌ 卷积神经网络的低隐含层是由卷积层和最大池 采样层交替组成，高层通常是全连接层作为分类器 使用。 首先，为了降低网络的复杂性，卷积神经网络采 用权重共享方式，即同一个特征图，卷积核是一样 的 ；其次，对得到的特征输入给一个非线性函数， 比如ＲｅＬＵ等；最后，再采取下采样方法，比如最大 池化等。下采样的作用是把语义上相似的特征合并 起来，这是因为形成一个主题的特征的相对位置不 太一样 。 １．１．３训练方式 卷积神经网络的训练采用有监督训练方式。首 先是向前传播，即输入 经过卷积神经网路后变为 输出Ｏ，再将Ｏ与标签进行比较，然后以向后传播的 方式，到将所得误差传播到每个节点，根据权值更新 公式，更新相应的卷积核权值 Ｊ。 此外，以卷积神经网络为核心的深度学习网络 还有３．Ｄ卷积神经网络（３．Ｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，３Ｄ—ＣＮＮ）） ，光谱网络（ｓｐｅｃｔｒａｌ ｎｅｔ— ｗｏｒｋｓ，ＳＮ）¨引，金字塔卷积神经网络（ｐｙｒａｍｉｄ ｃｏｎｖ— ｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，ＰＣＮＮ） １３］，多级金字塔卷 积神经网络（ｍｕｌｔｉ ｌｅｖｅｌ ｐｙａｍｉｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，ＭＬＰＣＮＮ） １４］等。 １．２受限制玻尔兹曼机为核心的深度网络 受限制玻尔兹曼机为核心的深度网络有２种： 深度信念网和深度玻尔兹曼机。现简要分析二者的 区别。 １．２．１受限制玻尔兹曼机 受限制玻尔兹曼机（ｒｅｓｔｒｉｃｔｅｄ Ｂｏｈｚｍａｎｎ ｍａ． ｃｈｉｎｅ，ＲＢＭ）是一类无向图模型＿４ Ｊ，由可视层和隐含 层组成，与玻尔兹曼机（Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ，ＢＭ）不 同，层内无连接，层间有连接。这种结构更易于计算 隐含层单元与可视层单元的条件分布 ］。受限制 玻尔兹曼机的训练方式通常采用对比散度方（ｃｏｎｔ． ｒａｓｔｉｖｅ ｄｉｖｅｒｇｅｎｃｅ，ＣＤ）。常见的玻尔兹曼机的演变 模型如图２所示。 图２玻尔兹曼机演变模型 Ｆｉｇ．２ Ｔｈｅ ｅｖｏｌｕｔｉｏｎ ｍｏｄｅｌ ｏｆ ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ 第５期 刘帅师，等：深度学习方法研究新进展 受限制玻尔兹曼机的演变模型有卷积受限制玻 尔兹曼机（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａ． ｃｈｉｎｅ，ＣＲＢＭ） １５］、稀疏受限制玻尔兹曼机（ｓｐａｒｓｅ ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ，ＳＲＢＭ） １６ Ｊ、稀疏组受 限制玻尔兹曼机（ｓｐａｒｓｅ ｇｒｏｕｐ ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ，ＳＧＲＢＭ） 、分类受限制玻尔兹曼机（ｃｌａｓｓ ｒｅｓｔｉｒｃｔｅｄ Ｂｏｈｚｍａｎｎ ｍａｃｈｉｎｅ，ＣＲＢＭ） 等。更详细 的描述内容参见文献［１９］。 １．２．２深度信念网络 深度信念网络（ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ，ＤＢＮ）是由 多个受限制玻尔兹曼机（ＲＢＭ）叠加而成的深度网 络。深度信念网络的典型结构如图３所示，它通过 无监督预训练和有监督微调来训练整个深度信念网 络 。预训练时用无标签数据单独训练每一层受 限制玻尔兹曼机，通过自下而上的方式，将下层受限 制玻尔兹曼机输出作为上层受限制玻尔兹曼机输 入。当预训练完成后，网络会获得一个较好的网络 初始值，但这还不是最优的＿２０］。再采用有标签数据 去训练网络，误差自顶向下传播，一般采用梯度下降 法对网络进行微调。深度信念网络的出现是深度学 习的转折点，目前深度信念网络已应用于语音、图像 处理等方面，尤其是在大数据方面¨ 。 ｌ标签单位ｌ ● ● Ｉ顶层单元ｌ ● ’ 隐含层单元 ｆ Ｉ 隐含层单元 检测权值 ｆ ｌ 生成权值 隐含层单元 ｆ ｌ 权值 ＼７／ Ｉ 输入 ｌ 图３深度信念网络典型结构 Ｆｉｇ．３ Ｔｈｅ ｉｌｌｕｓｔｒａｔｉｏｎ ｏｆ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ ｆｒａｍｅｗｏｒｋ 深度信念网络的变种模型有卷积深度信念网 （ｃｏｎｖｏｌｕｔｉｏｎａｌ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ，ＣＤＢＮ）［２１ Ｊ、稀疏 深度信念网（ｓｐａｒｓｅ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ，ＳＤＢＮ） 、 判别深度信念网（ｄｉｓｃｉｒｍｉｎａｔｉｖｅ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ， ＤＤＢＮ） 等。 １．２．３深度玻尔兹曼机 深度玻尔兹曼机（ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ， ＤＢＭ）与深度信念网络相似，都是以受限制玻尔兹 曼机叠加而成。但是，与深度信念网络不同，层间均 为无向连接，省略了由上至下的反馈参数调节。训 练方式也与深度信念网络相似，先采用无监督预训 练方法，得到初始权值，再运用场均值算法，最后采 用有监督微方式进行微调。 １．３堆叠自动编码器 １．３．１自动编码器 自动编码器（ａｕｔｏ ｅｎｃｏｄｅｒ，ＡＥ）由编码器与解码 器组成，其原理如图４所示。核心思想是将输入信 号进行编码，使用编码之后的信号重建原始信号，目 的是让重建信号与原始信号相比重建误差最小 ］。 编码器将输人数据映射到特征空间，解码器将特征 映射回数据空间，完成对输入数据的重建。 输入层 输出层 图４自动编码器原理图 Ｆｉｇ．４ Ｔｈｅ ｉｌｌｕｓｔｒａｔｉｏｎ ｏｆ ａｕｔｏｅｎｃｏｄｅｒ 自动编码器演化的模型如图５所示，自动编码 器演化的模型有去噪自动编码器（ｄｅｎｏｉｓｉｎｇ ａｕｔｏ ｅｎ． ｃｏｄｅｒ，ＤＡＥ） 、稀疏自动编码器（ｓｐａｒｓｅ ａｕｔｏ ｅｎ— ｃｏｄｅｒ，ＳＡＥ） 、收缩自动编码器（ｃｏｎｔｒａｃｔｉｖｅ ａｕｔｏ ｅｎｃｏｄｅｒ，ＣＡＥ） 、卷积自动编码（ｃｏｎｖｏｌｕｔｉｏｎａｌ ａｕｔｏ ｅｎｃｏｄｅｒ，ＣＡＥ） 等。更详细的描述内容参见文献 『２９ ３１］。 图５ 自动编码器的演变模型 Ｆｉｇ．５ Ｔｈｅ ｅｖｏｌｕｔｉｏｎ ｍｏｄｅｌ ｏｆ ａｕｔｏｅｎｃｏｄｅｒ １．３．２堆叠自动编码器原理 堆叠自动编码器（ｓｔａｃｋｅｄ ａｕｔｏ ｅｎｃｏｄｅｒｓ，ＳＡＥ） 与深度信念网络类似，其结构如图６所示，都是由简 单结构叠加起来的深层网络。简单来说，就是将 ＤＢＮ中的ＲＢＭ替换成ＡＥ就得到了ＳＡＥ。自动编 码器的训练过程也是使用贪心逐层预训练算法，但 智能系统学报 第１１卷 因为是通过重构误差来进行训练，相比较而言比受 限制玻尔兹曼机训练容易 Ｊ。 以自动编码器及其变种模型的为核心的深度网 络称之为深度自动编码（ｄｅｅｐ ａｕｔｏ ｅｎｃｏｄｅｒｓ，ＤＡＥ）。 文献［３２］对深度自动编码器进行了详细的描述。 堆叠自动编码器就是一种典型的深度自动编码。类 似的还有堆叠去噪自动编码器（ｓｔａｃｋｅｄ ｄｅｎｏｉｓｉｎｇ ａｕｔｏ—ｅｎｃｏｄｅｒｓ，ＳＤＡＥ） 、堆叠稀疏自动编码器 （ｓｔａｃｋｅｄ ｓｐａｒｓｅ ａｕｔｏ ｅｎｃｏｄｅｒｓ，ＳＳＡＥ）［３３ 等。 图６堆叠自动编码器结构 Ｍｇ．６ Ｔｈｅ ｉｌｌｕｓｔｒａｔｉｏｎ ｏｆ ｓｔａｃｋｅｄ Ａｕｔｏｅｎｃｏｄｅｒ ｆｒｍｎｅｗｏｒｋ ２深度学习应用 ２．１语音处理 长期以来，语音识别技术普遍采用的是声学模 型混合高斯模型。但这种混合高斯模型本质上是一 种浅层网络建模，不能充分描述特征的状态空间分 布 。２０１１年微软 将深度学习引入语音识别领 域，提出深度神经网络ＤＮＮ，本质上是把混合高斯 模型替换成了深度神经网络模型大大提高识别率。 该模型在Ｓｗｉｔｃｈｂｏａｒｄ标准数据集上的识别错误率 比最低错误率降低了３３％。２０１４年Ｖａｎ等 在网 络音乐平台Ｓｐｏｔｉ￣使用深度卷积神经网络做基于 内容的音乐推荐，以及实现依靠音频信号预测听众 的收听喜好，然后采用ＷＭＦ（ｗｅｉｇｈｔｅｄ ｍａｔｒｉｘ ｆａｃｔｏｒｉ— ｚａｔｉｏｎ）模型进行评分预测。百度的深度学习语音识 别系统ＤｅｅｐＳｐｅｅｃｈ 可以在饭店等嘈杂环境下实 现将近８１％的辨识准确率。２０１５年Ｃｈａｎ等 副提 出了ＬＡＳ（１ｉｓｔｅｎ，ａｔｔｅｎｄ ａｎｄ ｓｐｅｌ１）系统。该系统利 用金字塔式双向的ＲＮＮ网络。不同于传统的模型， 不需要完整的端对端的ＣＴＣ（ｃｏｎｎｅｃｔｉｏｎｉｓｔ ｔｅｍｐｏｒａｌ ｃｌａｓｓｉｉｆｃａｔｉｏｎ），实现跳过音素直接把语音识别为字 符，合成了约４万小时音频。当不依赖语音词典和 语言模型时在谷歌语音搜索任务词错率达到 １４．２％，当结合语言模型时词错率达到１ １．２％。 ２．２计算机视觉 ２０１２年Ｈｉｎｔｏｎ＿３ 和他的２个学生在著名的Ｉｍ． ａｇｅＮｅｔ问题上用更深的卷积神经网络取得世界最好 结果，赢得了冠军，使得图像识别大踏步前进。随 后，深度学习在图像处理方面取得突破性进展，如物 体定位 ∞］、脸部识别 和人体姿势估计 等。 ２０１５年深海团队 利用卷积神经网络对３万个例 子进行１２１种浮游生物分类。Ｄｅｎｔｏｎ等 利用卷 积神经网络通过用户的性别、年龄、城市和图片等特 征进行整合。在Ｆａｅｅｂｏｏｋ上对用户上传的图片进 行标签、分类。 ２．２．１ 图像语义分割 图像包括很多层信息，例如这幅图像是否有特 定的物体（如汽车）。所谓的图像语义分割，就是描 述图片中包含哪些物体、包括街头的场景分割、三维 扫描、对３．Ｄ人体解剖分割定位等。因为是基于像 素分类方法，所以这个问题会带来巨大的计算量。 ２０１５年Ｌｏｎｇ等 提出了利用全卷积网络（ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ，ＦＣＮ，）的概念去进行图像语 义分割。同年Ｂｅｈｎｋｅ等 提出了语义ＲＧＢ．Ｄ感 知器的概念，使得基于深度学习的图像语义分割得 到进一步发展。 ２．２．２人脸识别 Ｌｉｎｋｆａｃｅ开发了基于深度学习的人脸检测创新 算法。无论场景中是单人还是多人，是侧脸、半遮 挡还是模糊等情景中，均能进行精准检测。据全球 最具权威的人脸检测评测平台ＦＤＤＢ最新数据， Ｌｉｎｋｆａｃｅ的人脸检测算法达到了世界领先的水平。 ２０１４年Ｆａｃｅｂｏｏｋ开发一种叫ＤｅｅｐＦａｃｅｌ４。。技术。其 贡献在于对人脸对齐和人脸表示环节的改进。通过 革新的３一Ｄ人脸建模勾勒出脸部特征，然后通过颜 色过滤做出一个刻画特定脸部元素的平面模型。 Ｆａｃｅｂｏｏｋ建立了一个来自于４ ０３０个人的４４０万张 标签化的人脸池，Ｆａｃｅｂｏｏｋ称这是迄今为止最大规 模的人脸池。它是一个拥有９层的深度卷积神经网 络，网络有超过１．２亿个参数。该技术在ＬＦｗ数据 集上取得了９７．２５％的平均精度，已经接近人类的识 别水平。２０１５年Ｇｏｏｇｌｅ提出ＦａｃｅＮｅｔｌ４ 进行人脸 验证。它直接学习图像到欧式空间上点的映射，然 后基于这个编码再做人脸识别、人脸验证和人脸聚 第５期 刘帅师，等：深度学习方法研究新进展 类等。其中两张图像所对应的特征欧式空间上的点 的数据集上准确率达到４７．６７％。 ２．３自然语言处理 之间的距离直接对应着两个图像是否相似。 ＦａｃｅＮｅｔ并没有像ＤｅｅｐＦａｃｅ和ＤｅｅｐＩＤ那样需要对 Ｓａｓｈｉｈｉｔｈｌｕ等＿６。。采用递归自编码方法（ｒｅｃｕｒ— ｓｉｖｅ ａｕｔｏ ｅｎｃｏｄｅｒｓ，ＲＡＥ）来解决较为复杂的情感分 齐。ＦａｃｅＮｅｔ得到最终表示后不用像ＤｅｅｐｌＤ那样需 要再训练模型进行分类，直接计算距离就可以，简单 而有效。在Ｙｏｕｔｕｂｅ数据集上测试准确率为９５．１２％。 析问题。Ｊｏｈｎｓｏｎ等 提出一种基于卷积神经网络 直接在词袋模型（ＢｏＷ）上用做文本分类任务。 ２０１５年谷歌的Ｇｏｏｄ等利用深度神经网络开发了字 镜头（ｗｏｒｄ ｌｅｎｓ）实时视频翻译性能和通话实时翻译 功能。它可以实现拿着手机摄像头对着实物，实物 目前，传统人脸识别技术主要集中在可见光谱 的范畴，对于跨模态人脸识别问题尚无好的解决方 法。２０１５年Ｓａｒｆｒａｚ等 利用深度神经网络，成功 将红外热图像与可见光图像进行匹配，实现了跨模 态人脸匹配。该网络可以在短短３５ ｍｓ的时间内，能 够将红外热图像匹配到其可见光图像，可以实现实 时运行。 ２．２．３表情识别 目前，大部分研究者把卷积神经网络应用在表 情识别上。例如，２０１３年Ｌｉｕ等 提出了构建一个 新的深层结构（ＡＵ—ａｗａｒｅ ｄｅｅｐ ｎｅｔｗｏｒｋｓ，ＡＵＤＮ），基 于卷积神经网络进行特征提取，连接ＳＶＭ做表情分 类器。２０１４年Ｏｕｅｌｌｅｔ等¨５。。使用卷积神经网络对电 脑前的游戏玩家进行实时表情识别。Ｓｏｎｇ等 利 用了一种５层卷积神经网络，实现了每幅图像在服 务器的预测时间为５０ ｍｓ，每个图像的往返时间小 于１００ ｍｓ，在智能手机上实现实时表情识别。Ｉｊｊｉｎａ 等ｌ５ 用Ｋｉｎｅｃｔ深度传感器得到的图片作为表情识 别的对象，并在卷积神经网络进行表情识别取得了 较好的效果。Ｂｙｅｏｎ等 使用３Ｄ卷积神经网络去 识别视频人脸表情。文献［５４］证明在实时表情识 别系统，卷积神经网络比深层神经网络具有更好的 效果。 还有一部分研究者利用其他深度学习模型进行 表情识别。例如，ＭｃＬａｕｇｈｌｉｎ等 提出一种基于深 度信念网络的实时表情识别系统，但只能检测４种 表情。２０１３年Ｈｅ等 刮利用深度玻尔兹曼机对红 外热图像进行表情识别。 此外，一些研究者们将多种深度学习模型结合 起来进行表情识别。例如，２０１４年ＬＹＵ等 将深 度信念网络与自编码器相结合来进行识别。２０１５ 年Ｊｕｎｇ等 将卷积神经网络与深度神经网络合起 来。Ｋａｈｏｕ等＿５ 提出一种视频表情识别系统 ＥｍｏＮｅｔｓ。卷积神经网络捕捉视频信息，检测人脸。 深度信念网络捕捉音频信息，自编码器捕捉人肢体 行为。该理论赢得了２０１３ ＥｍｏｔｉＷ挑战赛，在２０１４ 中的文字就可被即时识别出，并被翻译成目标语言， 目前该技术可支持２Ｏ多种语言的即时视觉翻译。 更重要的是即使它在不联网的状态下也能进行工 作，所有深度学习的庞大计算都是在手机上完成的。 李婷等 利用堆叠去噪自动编码器（ｓｔａｃｋ ｄｅｎｏｉｓｉｎｇ ａｕｔｏ ｅｎｃｏｄｅｒ，ＳＤＡＥ）识别盲文。 ２．４医疗应用 Ｄｅｅｐ Ｇｅｎｏｍｉｃｓ公司开始把基因组和深度学习 结合起来，Ｄｅｅｐ Ｇｅｎｏｍｉｃｓ已经推出了他们的第一款 产品ＳＰＩＤＥＸ。只需将测试结果和细胞类型导人， ＳＰＩＤＥＸ便可分析出某一变异对ＲＮＡ剪切的影响， 并计算出该变异与疾病之间的关系。Ｋｏｚｉｏｌ等 利用一种受限玻尔兹曼机用于肝细胞癌的分类。 ２０１５年Ｆａｕｗ等 利用２Ｏ多层的卷积神经网络检 测糖尿病视网膜病变的眼底图像。 ３ 模型总结及面临的挑战 ３．１深度学习模型 本文对深度学习模型进行分类、概括，在此以模 型的结构为序，对深度学习模型进行总结如表１～表 ３所示。 １）模型结构。目前，大部分的深度学习模型都 是以卷积神经网络、深度信念网络、深度玻尔兹曼 机、堆叠自动编码器等几种基本模型为基础演变而 来。除此之外，还有像递归神经网络（ｒｅｃｕｒｒｅｎｔｎｅｕ— ｒａｌ ｎｅｔｗｏｒｋｓ，ＲＮＮ） ７４］、深度凸形网络（ｄｅｅｐ ｃｏｎｖｅｘ ｎｅｔ，ＤＣＮ） 等其他类型的新型深度模型。 ２）训练方式。深度学习模型的训练方式主要 有有监督学习和无监督学习２种。训练方式因模型 结构而异，一般以卷积神经网络为核心的模型一般 采取有监督训练方式。而以受限制玻尔兹曼机与自 动编码器为核心的模型，大部分采用无监督学习方 式预训练，配合有监督微调模式进行参数训练。 。５７２ 智能系统学报 第１１卷 堆叠自动编码器 （ＳＡＥ） 多个ＡＥ累加而成 无监督贪婪逐层预 训练，再将网络展 开，有监督微调 （ＢＰ） 图像处理 Ｂｅｎｇｉｏ Ｙ，［７０］，２００９ ４ 堆叠去噪自动编码器将ＳＡＥ中ＡＥ替换成ＤＡＥ无监督贪婪逐层预 （ＳＤＡＥ） 训练，再将网络展 开，有监督微调 （ＢＰ） 图像处理， 自然语言处理 Ｖｉｎｅｅｎｔ Ｐ，［２５１，２００８ 第５期 刘帅师，等：深度学习方法研究新进展 ・５７３・ ３）应用领域。深度学习在语音处理、计算机视 上的无监督学习。因此，如何做到完全意义上的无 监督学习是未来研究的重点。 觉的应用已十分广泛，许多技术已用于商用。但是， 在自然语言处理的应用尚不成熟¨Ｊ。一些研究者 ３）减少训练时间。当待解决的问题过于复杂， 尝试用递归神经网络去解决这一问题。文献［７４— ７８］对递归神经网络在文本生成和机器翻译的应用 做出了详细的描述。目前，递归神经网络的变种模 型长短时记忆模型（１ｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ，ＬＳＴＭ） 被证明比传统的递归神经网络更加有效 。 ３．２面临的挑战 使深度学习模型参数增加时，会导致模型的训练时 间逐渐上升，是否可以在不改变硬件性能的条件下， 对算法进行改进，在保证精度的同时，提高训练速 度。所以，减少训练时间，仍是深度学习需要努力的 研究方向。 ４）实现在线学习。目前，深度学习的算法大多 采用无监督预训练与有监督微调配合的方式进行。 然而，一旦在线环境下引入全局微调，会使结果陷入 局部最小值。因此，这种训练算法不利于在线学习。 是否可以改进算法进而将深度学习应用于在线环 境，这是未来要思考的问题。 １）模型结构创新。自Ｈｉｎｔｏｎ提出深度学习的 思想以来，已经涌现出大量的深度学习模型，然而大 部分的模型的构建依旧停留在以简单模型（如ＡＥ， ＲＢＭ等）叠加而成的深度网络，或是几种深度学习 模型简单相叠加，来构建深度学习模型。这种形式 的模型往往不能发挥深度学习的优势，是否存在其 ５）克服对抗样本。通过稍微修改实际样本，而 构造出的合成样本，会使一个分类器以高置信度认 为它们属于错误的分类，这就是深度学习对抗样本 问题 ｍ ］。研究如何克服它们可以帮助我们避免 潜在的安全问题。然而，目前为止并没有好的方法 出现。一些研究人员尝试使用常见的正则化方法 （包括均化多重模型、均化图像多采样观测等）去解 他有效的深度学习模型，是否可以让深度学习与其 他方法进行融合，这是今后要研究的问题。 ２）训练方式的改进。深度学习已经在各个领 域取得了突破性的成果，大部分深度学习模型均采 用无监督学习方式。但是，离完全的无监督学习还 有一定的距离。目前的深度学习模型在无监督预训 练后，仍然需要有监督的微调，并没有做到完全意义 决这一问题，但是并没有取得良好的进展。因此，深 ・５７４－ 智能系统学报 第１１卷 度学习的对抗样本问题仍然是待解决的难题之一。 ４ 结束语 本文详细描述了几种典型的深度学习模型的构 造原理，以及训练方法。并且，对近３年深度学习在 各个领域的应用进行了概括。最后，在现有深度学 习模型的基础上讨论了深度学习面临的挑战。 深度学习自提出以来已经在许多领域取得了突 破性的进展。但是，在深度学习实际应用的过程中， 往往为了要构造合适的深度学习模型而大费周章。 因为目前的深度学习模型大部分是为了解决某一特 定问题，而量身定做的。如果用于解决其他问题，效 果往往不尽如人意。今后研究者们能否通过改进结 构与算法，研究出一种可以应对大部分问题深度学 习算法，这是未来要思考的难题。 参考文献ｉ ［１］ＬＥＣＵＮ Ｙ，ＢＥＮＧＩＯ Ｙ，ＨＩＮＴＯＮ Ｇ．Ｄｅｅｐ ｌｅａｒｎｉｎｇ［Ｊ］． Ｎａｔｕｒｅ，２０１５，５２１（７５５３）：４３６—４４４． ［２］林妙真．基于深度学习的人脸识别研究［Ｄ］．大连：大连 理工大学，２０１３． ＬＩＮ Ｍｉａｏｚｈｅｎ．Ｒｅｓｅａｒｃｈ ｏｎ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ［Ｄ］．Ｄａｌｉａｎ，Ｃｈｉｎａ：Ｄａｌｉａｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｅｈｎｏｌ— ｏｇｙ，２０１３． ［３］ＨＩＮＴＯＮ Ｇ Ｅ，ＳＡＬＡＫＨＵＴＤＩＮＯＶ Ｒ Ｒ．Ｒｅｄｕｃｉｎｇ ｔｈｅ ｄｉ— ｍｅｎｓｉｏｎａｌｉｔｙ ｏｆ ｄａｔａ ｗｉｔｈ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ［Ｊ］．Ｓｃｉｅｎｃｅ， ２００６，３１３（５７８６）：５０４—５０７． ［４］刘建伟，刘媛，罗雄麟．深度学习研究进展［Ｊ］．计算机 应用研究，２０１４，３１（７）：１９２１—１９３０，１９４２． ＬＩＵ Ｊｉａｎｗｅｉ，ＬＩＵ Ｙｕａｎ，ＬＵＯ Ｘｉｏｎｇｌｉｎ．Ｒｅｓｅａｒｃｈ ａｎｄ ｄｅ－ ｖｅｌｏｐｍｅｎｔ ｏｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ［Ｊ］．Ａｐｐｌｉｃａｔｉｏｎ ｒｅｓｅａｒｃｈ ｏｆ ｃｏｍｐｕｔｅｒｓ，２０１４，３１（７）：１９２１—１９３０，１９４２． ［５］余滨，李绍滋，徐素霞，等．深度学习：开启大数据时代 的钥匙［Ｊ］．工程研究一跨学科视野中的工程，２０１４，６ （３）：２３３—２４３． ＹＵ Ｂｉｎ，ＬＩ Ｓｈａｏｚｉ，ＸＵ Ｓｕｘｉａ，ｅｔ ａ１．Ｄｅｅｐ ｌｅａｒｎｉｎｇ：ａ ｋｅｙ ｏｆ ｓｔｅｐｐｉｎｇ ｉｎｔｏ ｔｈｅ ｅｒａ ｏｆ ｂｉｇ ｄａｔａ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ ｅｎｇｉｎｅｅｒ－ ｉｎｇ ｓｔｕｄｉｅｓ，２０１４，６（３）：２３３—２４３． ［６］尹宝才，王文通，王立春．深度学习研究综述［Ｊ］．北京 工业大学学报，２０１５，４１（１）：４８ ５９． ＹＩＮ Ｂｉａｏｃａｉ，ＷＡＮＧ Ｗｅｎｔｏｎｇ，ＷＡＮＧ Ｌｉｃｈｕｎ．Ｒｅｖｉｅｗ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｂｅｉｊｉｎｇ ｕｎｉｖｅｒｓｉｔｙ ｏｆ ｔｅｃｈｎｏｌｏ— ｇＹ，２０１５，４１（１）：４８—５９． ［７］张建明，詹智财，成科扬，等．深度学习的研究与发展 ［Ｊ］．江苏大学学报：自然科学版，２０１５，３６（２）：１９１ ２０Ｏ． ＺＨＡＮＧ Ｊｉａｎｍｉｎｇ，ＺＨＡＮ Ｚｈｉｅａｉ，ＣＨＥＮＧ Ｋｅｙａｎｇ，ｅｔ ａ１． Ｒｅｖｉｅｗ ｏｎ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｊｉａｎｇｓｕ ｕｎｉｖｅｒｓｉｔｙ：ｎａｔｕｒａｌ ｓｃｉｅｎｃｅ ｅｄｉｔｉｏｎｓ，２０１５，３６（２）： １９１—２００． ［８］ＬＥＣＵＮ Ｙ，ＪＡＣＫＥＬ Ｌ Ｄ，ＢＯＴＦＯＵ Ｌ，ｅｔ １ａ．Ｌｅａｒｎｉｎｇ ａ１． ｇｏｒｉｔｈｍｓ ｆｏｒ ｃｌａｓｓｉｉｆｃａｔｉｏｎ：ａ ｃｏｍｐａｒｉｓｏｎ ｏｎ ｈａｎｄｗｒｉｔｔｅｎ ｄｉｇｉｔ ｒｅｃｏｇｎｉｔｉｏｎ［Ｍ］／／ＯＨ Ｊ Ｈ，ＫＷＯＮ Ｃ，ＣＨＯ Ｓ．Ｎｅｕｒａｌ Ｎｅｔ． ｗｏｒｋｓ：Ｔｈｅ Ｓｔａｔｉｓｔｉｃａｌ Ｍｅｃｈａｎｉｃｓ Ｐｅｒｓｐｅｃｔｉｖｅ．Ｓｉｎｇａｐｏｒｅ： Ｗｏｒｌｄ Ｓｃｉｅｎｔｉｆｉｃ，１９９５：２６１—２７６． ［９］陈先昌．基于卷积神经网络的深度学习算法与应用研究 ［Ｄ］．杭州：浙江工商大学，２０１４． ＣＨＥＮ Ｘｉａｎｃｈａｎｇ．Ｒｅｓｅａｒｃｈ ｏｎ ａｌｇｏｒｉｔｈｍ ａｎｄ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｂａｓｅｄ ｏｎ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒ￣ｎｅｔｗｏｒｋ［Ｄ］． Ｈａｎｇｚｈｏｕ，Ｃｈｉｎａ：Ｚｈｅｊｉａｎｇ Ｇｏｎｇｓｈａｎｇ Ｕｎｉｖｅｒｓｉｔｙ，２０１４． ［１０］李卫．深度学习在图像识别中的研究及应用［Ｄ］．武 汉：武汉理工大学，２０１４． ＬＩ Ｗｅｉ．Ｔｈｅ ｒｅｓｅａｒｃｈ ａｎｄ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｉｎ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ［Ｄ］．Ｗｕｈａｎ：Ｗｕｈａｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈ— ｎｏｌｏｇｙ，２０１４． ［１１］ＪＩ Ｓｈｕｉｗａｎｇ，ＸＵ Ｗｅｉ，ＹＡＮＧ Ｍｉｎｇ，ｅｔ ａ１．３Ｄ ｃｏｎｖｏｌｕ． ｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ『Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉ— ｇｅｎｃｅ，２０１３，３５（１）：２２１・２３１． ［１２］ＢＲＵＮＡ Ｊ，ＺＡＲＥＭＢＡ Ｗ，ＳＺＬＡＭ Ａ，ｅｔ ａ１．Ｓｐｅｃｔｒａｌ ｎｅｔ— ｗｏｒｋｓ ａｎｄ ｌｏｃａｌｌｙ ｃｏｎｎｅｃｔｅｄ ｎｅｔｗｏｒｋｓ ｏｎ ｇｒａｐｈｓ［ＥＢ／ＯＬ］． Ｅｐｒｉｎｔ Ａｌｚｄｖ：Ａｒｘｉｖ，２０１３－［２０１４—１０—１０］ｈｔｔｐ：／／１２０．５２． ７３．７９／ａ￣ｉｖ．ｏｒｇ／ｐｄｆ／１３１２．６２０３ｖ３．ｐｄｆ． ［１３］ＦＡＮ Ｈａｏｑｉａｎｇ，ＣＡＯ Ｚｈｉｍｉｎ，ＪＩＡＮＧ Ｙｕｎｉｎｇ，ｅｔ ａ１． Ｌｅａｒｎｉｎｇ ｄｅｅｐ ｆａｃｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ［ＥＢ／ＯＬ］．Ｅｐｒｉｎｔ Ａｒｘ— ｉｖ：Ａｒｘｉｖ，２０１４．［２０１４—１０—１０］ｈｔｔｐ：／／１２０．５２．７３．８０／ ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１４０３．２８０２ｖ１．ｐｄｆ． ［１４］王冠皓，徐军．基于多级金字塔卷积神经网络的快速特 征表示方法［Ｊ］．计算机应用研究，２０１５，３２（８）：２４９２— ２４９５． ＷＡＮＧ Ｇｕａｎｈａｏ，ＸＵ Ｊｕｎ．Ｆａｓｔ ｆｅａｔｕｒｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｍｕｌｔｉ—ｌｅｖｅｌ ｐｙｒａｍｉｄ ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ［Ｊ］．Ａｐｐｌｉｃａｔｉｏｎ ｒｅｓｅａｒｃｈ ｏｆ ｃｏｍｐｕｔｅｒｓ，２０１５，３２ （８）：２４９２—２４９５． ［１５］ＬＥＥ Ｈ，ＧＲＯＳＳＥ Ｒ，ＲＡＮＧＡＮＡＴＨ Ｒ。ｅｔ ａ１．Ｃｏｎｖｏｌｕ。 ｔｉｏｎａｌ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ ｆｏｒ ｓｃａｌａｂｌｅ ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎ ｉｎｇ ｏｆ ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２６ｔｈ Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎ— ｉｎｇ．Ｎｅｗ Ｙｏｒｋ，ＮＹ，ＵＳＡ，２００９：６０９—６１６． ［１６］ＬＥＥ Ｈ，ＥＫＡＮＡＤＨＡＭ Ｃ，ＮＧ Ａ Ｙ．Ｓｐａｒｓｅ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔ ｍｏｄｅｌ ｏｆｒ ｖｉｓｕａｌ ａｒｅａ Ｖ２［Ｃ］／／Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎ— ｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２０：２１ ｓｔ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ．Ｖａｎｃｏｕｖｅｒ， Ｂｒｉｔｉｓｈ Ｃｏｌｕｍｂｉａ，Ｃａｎａｄａ，２００７：８７３—８８０． ［１７］罗恒．基于协同过滤视角的受限玻尔兹曼机研究［Ｄ］． 上海：上海交通大学，２０１１． ＬＵＯ Ｈｅｎｇ．Ｒｅｓｔｉｒｃｔｅｄ Ｂｏｈｚｍａｎｎ ｍａｃｈｉｎｅｓ：ａ ｃｏｌｌａｂｏｒａｔｉｖｅ ｉｆｌｔｅｒｉｎｇ ｐｅｒｓｐｅｃｔｉｖｅ［Ｄ］．Ｓｈａｎｇｈａｉ，Ｃｈｉｎａ：Ｓｈａｎｇｈａｉ Ｊｉａｏ 第５期 Ｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ，２０１ １． 刘帅师，等：深度学习方法研究新进展 ・５７５・ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，Ｐａｒｔ Ｉ．Ｂｅｒｌｉｎ Ｈｅｉｄｅｌｂｅｒｇ，Ｇｅｒ— ｍａｎｙ，２０１１：５２－５９． ［１ ８］ＬＡＲＯＣＨＥＬＬＥ Ｈ，ＢＥＮＧＩＯ Ｙ．Ｃｌａｓｓｉｉｆｃａｔｉｏｎ ｕｓｉｎｇ ｄｉｓ— ｃｒｉｍｉｎａｔｉｖｅ ｒｅｓｔｒｉｃｔｅｄ Ｂｏｈｚｍａｎｎ ｍａｃｈｉｎｅｓ『Ｃ］／／Ｐｒｏｃｅｅｄ— ｉｎｇｓ ｏｆ ｔｈｅ ２５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ ［２９］王雅思．深度学习中的自编码器的表达能力研究［Ｄ］． 哈尔滨：哈尔滨工业大学，２０１４． ＷＡＮＧ Ｙａｓｉ．Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ａｂｉｌｉｔｙ ｒｅｓｅａｒｃｈ ｏｆ ａｕｔｏ—ｅｎ— Ｌｅａｒｎｉｎｇ．Ｎｅｗ Ｙｏｒｋ，ＮＹ，ＵＳＡ，２００８：５３６—５４３． ［１９］张春霞，姬楠楠，王冠伟．受限波尔兹曼机［Ｊ］．工程数 学学报，２０１５，３２（２）：１５９－１７３． ＺＨＡＮＧ Ｃｈｕｎｘｉａ，ＪＩ Ｎａｎｎａｎ，ＷＡＮＧ Ｇｕａｎｗｅｉ．Ｒｅｓｔｒｉｃｔｅｄ ｃｏｄｅｒｓ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ［Ｄ］．Ｈａｒｂｉｎ：Ｈａｒｂｉｎ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，２０１４． ［３０］李远豪．基于深度自编码器的人脸美丽吸引力预测研 究［Ｄ］．江门：五邑大学，２０１４． ＬＩ Ｙｕａｎｈａｏ．Ａ ｓｔｕｄｙ ｏｒ ｆｆａｃｉａｌ ｂｅａｕｔｙ ａｔｔｒａｃｔｉｖｅｎｅｓｓ ｐｒｅｄｉｃ— Ｂｏｈｚｍａｎｎ ｍａｃｈｉｎｅｓ［Ｊ］．Ｃｈｉｎｅｓｅ ｊｏｕｒｎａｌ ｏｆ ｅｎｇｉｎｅｅｉｒｎｇ ｍａｔｈｅｍａｔｉｃｓ，２０１５，３２（２）：１５９—１７３． ［２０］刘银华．ＬＢＰ和深度信念网络在非限制条件下人脸识 ｔｉｏｎ ｂａｓｅｄ ｏｎ ｄｅｅｐ ａｕｔｏｅｎｃｏｄｅｒ［Ｄ］．Ｊｉａｎｇｍｅｎ：Ｗｕｙｉ Ｕｎｉ— 别研究［Ｄ］．江门：五邑大学，２０１４． ＬＩＵ Ｙｉｎｈｕａ．Ｔｈｅ ｒｅｓｅａｒｃｈ ｏｆ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｕｎｄｅｒ ｕｎｃｏｎ— ｓｔｒａｉｎｅｄ ｃｏｎｄｉｔｉｏｎ ｖｉａ ＬＢＰ ａｎｄ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ［Ｄ］． Ｊｉａｎｇｍｅｎ：Ｗｕｙｉ Ｕｎｉｖｅｒｓｉｔｙ，２０１４． ［２１］ＬＥＥ Ｈ，ＧＲＯＳＳＥ Ｒ，ＲＡＮＧＡＮＡＴＨ Ｒ，ｅｔ ａ１．Ｕｎｓｕｐｅｒ— ｖｉｓｅｄ ｌｅａｒｎｉｎｇ ｏｆ ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｗｉｔｈ ｃｏｎｖｏｌｕ． ｔｉｏｎａｌ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ『Ｊ］．Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ，２０１１，５４（１０）：９５—１０３． ［２２］ＨＡＬＫＩＡＳ ｘ Ｃ，ＰＡＲＩＳ Ｓ，ＧＬＯＴＩＮ Ｈ．Ｓｐａｒｓｅ ｐｅｎａｌｔｙ ｉｎ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ：ｕｓｉｎｇ ｔｈｅ ｍｉｘｅｄ ｎｏｒｍ ｃｏｎｓｔｒａｉｎｔ ［ＥＢ／ＯＬ］．［２０１４—０５一Ｏ８］．ｈｔｔｐ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１３０１． ３５３３．ｐｄｆ． ［２３］ＬＩＵ Ｙａｎ，ＺＨＯＵ Ｓｈｕｓｅｎ，ＣＨＥＮ Ｑｉｎｇｃａｉ．Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ ｆｏｒ ｖｉｓｕａｌ ｄａｔａ ｃｌａｓｓｉｉｆｃａｔｉｏｎ『Ｊ］．Ｐａｔ ｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ，２０１１，４４（１０／１１）：２２８７—２２９６． ［２４］郑胤，陈权崎，章毓晋．深度学习及其在目标和行为识 别中的新进展［Ｊ］．中国图象图形学报，２０１４，１９（２）： １７５—１８４． ＺＨＥＮＧ Ｙｉｎ，ＣＨＥＮ Ｑｕａｎｑｉ，ＺＨＡＮＧ Ｙｕｊｉｎ．Ｄｅｅｐ ｌｅａｒｎ－ ｉｎｇ ａｎｄ ｉｔｓ ｎｅｗ ｐｒｏｇｒｅｓｓ ｉｎ ｏｂｊｅｃｔ ａｎｄ ｂｅｈａｖｉｏｒ ｒｅｃｏｇｎｉｔｉｏｎ ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ ｉｍａｇｅ ａｎｄ ｇｒａｐｈｉｃｓ，２０１４，１９（２）：１７５— １８４． ［２５］ＶＩＮＣＥＮＴ Ｐ，ＬＡＲＯＣＨＥＬＬＥ Ｈ，ＢＥＮＧＩＯ Ｙ，ｅｔ ａ１．Ｅｘ— ｔｒａｃｔｉｎｇ ａｎｄ ｃｏｍｐｏｓｉｎｇ ｒｏｂｕｓｔ ｆｅａｔｕｒｅｓ ｗｉｔｈ ｄｅｎｏｉｓｉｎｇ ａｕ— ｔｏｅｎｃｏｄｅｒｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２５ｔｈ Ｉｎｔｅｎｒａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ．Ｎｅｗ Ｙｏｒｋ，ＮＹ，ＵＳＡ， ２００８：１０９６—１１０３． ［２６］ＢＥＮＧＩＯ Ｙ，ＬＡＭＢＬＩＮ Ｐ，ＰＯＰＯＶＩＣＩ Ｄ，ｅｔ ａ１．Ｇｒｅｅｄｙ ｌａｙｅｒ—ｗｉｓｅ ｔｒａｉｎｉｎｇ ｏｆ ｄｅｅｐ ｎｅｔｗｏｒｋｓ［Ｃ］／／Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ １９：２０ｔｈ Ａｎｎｕ￣ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ． Ｖａｎｃｏｕｖｅｒ，Ｂｒｉｔｉｓｈ Ｃｏｌｕｍｂｉａ，Ｃａｎａｄａ，２００６：１５３・１６０． ［２７］ＲＩＦＡＩ Ｓ，ＶＩＮＣＥＮＴ Ｐ，ＭＵＬＬＥＲ Ｘ，ｅｔ ａ１．Ｃｏｎｔｒａｃｔｉｖｅ ａｕｔｏ－ｅｎｃｏｄｅｒｓ：ｅｘｐｌｉｃｉｔ ｉｎｖａｒｉａｎｃｅ ｄｕｒｉｎｇ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２８ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ．Ｂｅｌｌｅｖｕｅ，ＷＡ，ＵＳＡ，２０１ １． ［２８］ＭＡＳＣＩ Ｊ，ＭＥＩＥＲ Ｕ，ＣＩＲＥ￣ＡＮ Ｄ，ｅｔ ａ１．Ｓｔａｃｋｅｄ ｃｏｎｖｏ— ｌｕｔｉｏｎａｌ ａｕｔｏ—ｅｎｃｏｄｅｒｓ ｆｏｒ ｈｉｅｒａｒｃｈｉｃａｌ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２１ｓｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｖｅｒｓｉｔｙ，２０１４． ［３１］林洲汉．基于自动编码机的高光谱图像特征提取及分 类方法研究［Ｄ］．哈尔滨：哈尔滨工业大学，２０１４． ＬＩＮ Ｚｈｏｕｈａｎ．Ｈｙｐｅｒｓｐｅｃｔｒａｌ ｉｍａｇｅ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ａｎｄ ｃｌａｓｓｉｉｆｃａｔｉｏｎ ｂａｓｅｄ ｏｎ ａｕｔｏｅｎｃｏｄｅｒｓ［Ｄ］．Ｈａｒｂｉｎ：Ｈａｒｂｉｎ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，２０１４． ［３２］曲建岭，杜辰飞，邸亚洲，等．深度自动编码器的研究 与展望［Ｊ］．计算机与现代化，２０１４（８）：１２８—１３４． ＱＵ Ｊｉａｎｌｉｎｇ，ＤＵ Ｃｈｅｎｆｅｉ，ＤＩ Ｙａｚｈｏｕ，ｅｔ ａ１．Ｒｅｓｅａｒｃｈ ａｎｄ ｐｒｏｓｐｅｃｔ ｏｆ ｄｅｅｐ ａｕｔｏ—ｅｎｃｏｄｅｒｓ［Ｊ］．Ｊｉｓｕａｎｊｉ ｙｕ ｘｉａｎｄａｉｈｕａ， ２０１４（８）：１２８—１３４． ［３３］林少飞，盛惠兴，李庆武．基于堆叠稀疏自动编码器的 手写数字分类［Ｊ］．微处理机，２０１５（１）：４７．５１． ＬＩＮ Ｓｈａｏｆｅｉ，ＳＨＥＮＧ Ｈｕｉｘｉｎｇ，ＬＩ Ｑｉｎｇｗｕ．Ｈａｎｄｗｒｉｔｔｅｎ ｄｉｇｉｔａｌ ｃｌａｓｓｉｉｆｃａｔｉｏｎ ｂａｓｅｄ ｏｎ ｔｈｅ ｓｔａｃｋｅｄ ｓｐａｒｓｅ ａｕｔｏｅｎｃｏｄ－ ｅｒｓ［Ｊ］．Ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ，２０１５（１）：４７—５１． ［３４］陈硕．深度学习神经网络在语音识别中的应用研究 ［Ｄ］．广州：华南理工大学，２０１３． ＣＨＥＮ Ｓｈｕｏ．Ｒｅｓｅａｒｃｈ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ［Ｄ］．Ｇｕａｎｇｚｈｏｕ，Ｃｈｉ— ｎａ：Ｓｏｕｔｈ Ｃｈｉｎａ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，２０１３． ［３５］郭丽丽，丁世飞．深度学习研究进展［Ｊ］．计算机科学， ２０１５，４２（５）：２８—３３． ＧＯＵ Ｌｉｌｉ，ＤＩＮＧ Ｓｈｉｆｅｉ，Ｒｅｓｅａｒｃｈ ｐｒｏｇｒｅｓｓ ｏｎ ｄｅｅｐ ｌｅａｒｎ－ ｉｎｇ［Ｊ］．Ｃｏｍｐｕｔｅｒ ｓｃｉｅｎｃｅ，２０１５，４２（５）：２８—３３． ［３６］ＶＡＮ ＤＥＮ ＯＯＲＤ Ａ，ＤＩＥＬＥＭＡＮ Ｓ，ＳＣＨＲＡＵＷＥＮ Ｂ． Ｄｅｅｐ ｃｏｎｔｅｎｔ—ｂａｓｅｄ ｍｕｓｉｃ ｒｅｃｏｍｍｅｎｄａｔｉｏｎ［Ｍ］／／Ａｄ— ｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２６：２７ｔｈ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓ— ｔｅｍｓ．Ｌａｋｅ Ｔａｈｏｅ，２０１３：２６４３－２６５１． ［３７］ＨＡＮＮＵＮ Ａ，ＣＡＳＥ Ｃ，ＣＡＳＰＥＲ Ｊ，ｅｔ ａ１．Ｄｅｅｐ ｓｐｅｅｃｈ： ｓｃａｌｉｎｇ ｕｐ ｅｎｄ—ｔｏ—ｅｎｄ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ［ＥＢ／ＯＬ］．Ｅｐｒｉｎｔ Ａｒｘｉｖ：Ａｒｘｉｖ，２０１４．［２０１４—１２—１９］ｈｔｔｐｓ：／／ａ￣ｉｖ．ｏｒｇ／ｐｄｆ／ １４１２．５５６７ｖ２．ｐｄｆ． ［３８］余凯，贾磊，陈雨强．深度学习的昨天、今天和明天 ［Ｊ］．计算机研究与发展，２０１３，５０（９）：１７９９—１８０４． ＹＵ Ｋａｉ，ＪＩＡ Ｌｅｉ，ＣＨＥＮ Ｙｕｑｉａｎｇ．Ｄｅｅｐ ｌｅａｒｎｉｎｇ：ｙｅｓｔｅｒ— ｄａｙ，ｔｏｄａｙ，ａｎｄ ｔｏｍｏｒｒｏｗ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ ｃｏｍｐｕｔｅｒ ｒｅ— ｓｅａｒｃｈ ａｎｄ ｄｅｖｅｌｏｐｍｅｎｔ，２０１３，５０（９）：１７９９—１８０４． ・５７６・ 智能系统学报 第１１卷 ［３９］ＧＩＲＳＨＩＣＫ Ｒ，ＤＯＮＡＨＵＥ Ｊ，ＤＡＲＲＥＬＬ Ｔ，ｅｔ ａ１．Ｒｉｃｈ ｆｅａｔｕｒｅ ｈｉｅｒａｒｃｈｉｅｓ ｆｏｒ ａｃｃｕｒａｔｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｓｅｍａｎ— Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１４ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ．Ｌａｓ Ｖｅｇａｓ，ＮＶ，２０１４：５６４－５６７． ｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１４ ＩＥＥＥ Ｃｏｎ— ｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｃｏ— ｌｕｍｂｕｓ，ＯＨ，２０１４：５８０—５８７． ［５ １］ＩＪＪＩＮＡ Ｅ Ｐ，ＭＯＨＡＮ Ｃ Ｋ．Ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｋｉｎｅｃｔ ｄｅｐｔｈ ｓｅｎｓｏｒ ａｎｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔ— ｗｏｒｋｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１４ １３ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ．Ｄｅ— ｔｒｏｉｔ，ＭＩ，２０１４：３９２—３９６． ［４０］ＴＡＩＧＭＡＮ Ｙ，ＹＡＮＧ Ｍｉｎｇ，ＲＡＮＺＡＴＯ Ｍ Ａ，ｅｔ ａ１．Ｄｅｅｐ— Ｆａｃｅ：ｃｌｏｓｉｎｇ ｔｈｅ ｇａｐ ｔｏ ｈｕｍａｎ—ｌｅｖｅｌ ｐｅｒｆｏｒｍａｎｃｅ ｉｎ ｆａｃｅ ｖｅｒｉｆｉｃａｔｉｏｎ［Ｃ］／＇／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１４ ＩＥＥＥ Ｃｏｎｆｅｒ— ｅｎｅｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｃｏｌｕｍ— ［５２］ＢＹＥＯＮ Ｙ Ｈ，ＫＷＡＫ Ｋ Ｃ．Ｆａｃｉｌａ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ３Ｄ ｅｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ ｊｏｕｒｎａｌ ｏｆ ａｄｖａｎｃｅｄ ｃｏｍｐｕｔｅｒ ｓｃｉｅｎｃｅ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ， ２０１４，５（１２）：１０７—１１２． ｂｕｓ，ＯＨ，２０１４：１７０１—１７．０８． 、、 ［４１］ＴＯＳＨＥＶ Ａ，ＳＺＥＧＥｄＹ Ｃ．ＤｅｅｐＰｏｓｅ：ｈｕｍａｎ ｐｏｓ ｉｍａ— ｔｉｏｎ ｖｉａ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｅ ２０１４ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ、 Ｒｅｃｏｇｎｉｔｉｏｎ．Ｃｏｌｕｍｂｕｓ，ＯＨ，２０１４：１６５３—１６６０． ［５３］ＪＵＮＧ Ｈ，ＬＥＥ Ｓ，ＰＡＲＫ Ｓ，ｅｔ ａ１．Ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ—ｂａｓｅｄ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｓｙｓｔｅｍ［Ｃ］／／ Ｆｒｏｎｔｉｅｒｓ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＦＣＶ），２０１５ ２１ｓｔ Ｋｏｒｅａ— Ｊａｐａｎ Ｊｏｉｎｔ Ｗｏｒｋｓｈｏｐ ｏｎ ２０１５：１－４． ［４２］ＤＩＥＬＥＭＡＮ Ｓ．Ｃｌａｓｓｉｆｙｉｎｇ ｐｌａｎｋｔｏｎ ｗｉｔｈ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔ— ｗｏｒｋｓ［ＥＢ／ＯＬ］．（２０１５—０３—１７）［２０１５—０５—３０］．ｈｔｔｐ：／／ｂｅ— ｎａｎｎｅ．ｇｉｔｈｕｂ．ｉｏ／２０１５／０３／１７／ｐｌａｎｋｔｏｎ．ｈｔｍ１． ［５４］ＭＣＬＡＵＧＨＬＩＮ Ｔ，ＭＡＩ Ｌ，ＢＡＹＡＮＢＡＴ Ｎ．Ｅｍｏｔｉｏｎｒｅｃｏｇ— ｎｉｔｉｏｎ ｗｉｔｈ ｄｅｅｐ—ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ［ＥＢ／ＯＬ］．２００８ ｈｔｔｐ：／／ ｃｓ２２９．ｓｔａｎｆｏｒｄ．ｅｄｔｔ／ｐｒｏｊ２０１０／ＭｅＬａｕｇｈｌｉｎＬｅＢａｙａｎｂａｔ—Ｒｅｃ— ｏｇｎｉｚｉｎｇＥｍｏｔｉｏｎｓＷｉｔｈＤｅｅｐＢｅｌｉｅｆＮｅｔｓ．ｐｄｆ． ［４３］ＤＥＮＴＯＮ Ｅ，ＷＥＳＴＯＮ Ｊ，ＰＡＬＵＲＩ Ｍ，ｅｔ ａ１．Ｕｓｅｒ ｃｏｎｄｉ－ ｔｉｏｎａｌ ｈａｓｈｔａｇ ｐｒｅｄｉｃｔｉｏｎ ｆｏｒ ｉｍａｇｅｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２１ ｔｈ ＡＣＭ ＳＩＧＫＤＤ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｋｎｏｗ１一 ｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ａｎｄ Ｄａｔａ Ｍｉｎｉｎｇ．Ｎｅｗ Ｙｏｒｋ，ＮＹ，ＵＳＡ， ２０１５：１７３１—１７４０． ［５５］ＨＥ Ｓｈａｎ，ＷＡＮＧ Ｓｈａｎｆｅｉ，ＬＡＮ Ｗｕｗｅｉ，ｅｔ ａ１．Ｆａｃｉａｌ ｅｘ— ｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｄｅｅｐ Ｂｏｈｚｍａｎｎ ｍａｃｈｉｎｅ ｆｒｏｍ ｔｈｅｒｍａｌ ｉｆｒｎａｒｅｄ ｉｍａｇｅｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１３ Ｈｕ— ｍａｉｎｅ Ａｓｓｏｃｉａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｆｆｅｃｔｉｖｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ ［４４］ＬＯＮＧ Ｊ，ＳＨＥＬＨＡＭＥＲ Ｅ，ＤＡＲＲＥＬＬ Ｔ Ｆｕｌｌｙ ｅｏｎｖｏｌｕ－ ｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ［Ｊ］．ＩＥＥＥ Ｃｏｎ— ｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ＆Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．２０１５． Ｉｎｔｅｌｌｉｇｅｎｔ Ｉｎｔｅｒａｃｔｉｏｎ．Ｇｅｎｅｖａ，２０１３：２３９—２４４． ［５６］ＬＶ Ｙａｄａｎ，ＦＥＮＧ Ｚｈｉｙｏｎｇ，ＸＵ Ｃｈａｏ．Ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｖｉａ ｄｅｅｐ ｌｅａｒｎｉｎｇ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１４ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｍａｒｔ Ｃｏｍｐｕｔｉｎｇ．Ｈｏｎｇ Ｋｏｎｇ，Ｃｈｉｎａ，２０１４：３０３—３０８． ７９（１０）：１３３７—１３４２． ［４５］ＳＣＨＷＡＲＡ Ｍ，ＳＣＨＵＬＺ Ｈ，ＢＥＨＮＫＥ Ｓ．ＲＧＢ—Ｄ ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｂａｓｅｄ ｏｎ ｐｒｅ・－ｔｒａｉｎｅｄ ｃｏｎｙ－－ ｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｆｅａｔｕｒｅｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１５ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏ— ［５７］ＪＵＮＧ Ｈ，ＬＥＥ Ｓ，ＰＡＲＫ Ｓ，ｅｔ ａ１．Ｄｅｅｐ ｔｅｍｐｏｒａｌ ａｐｐｅａｒ— ａｎｃｅ—ｇｅｏｍｅｔｒｙ ｎｅｔｗｏｒｋ ｆｏｒ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｍａｔｉｏｎ．Ｓｅａｔｔｌｅ，ＷＡ，２０１５：１３２９—１３３５． ［ＥＢ／ＯＬ］．Ｅｐｒｉｎｔ Ａｒｘｉｖ：Ａｒｘｉｖ，２０１５．［２０１５—６—５］．ｂｔｔｐ：／／ １２０．５２．７３．７５／ａｒｘｉｖ．ｏｒ＃ｐｄｆ／１５０３．０１５３２ｖ１．ｐｄｆ． ｆ５８］ＫＡＨＯＵ Ｓ Ｅ，ＢＯＵＴＨＩＬＬＩＥＲ Ｘ，ＬＡＭＢＬＩＮ Ｐ ｅｔ ａ１． ＥｍｏＮｅｔｓ：Ｍｕｌｔｉｍｏｄａｌ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｐｐｒｏａｃｈｅｓ ｆｏｒ ｅｍｏ— ［４６］ＳＣＨＲＯＦＦ Ｆ，ＫＡＬＥＮＩＣＨＥＮＫＯ Ｄ，ＰＨＩＬＢＩＮ Ｊ．ＦａｃｅＮｅｔ： Ａ ｕｎｉｉｅｄ ｅｍｂｅｄｄｉｆｎｇ ｆｏｒ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｃｌｕｓｔｅｒｉｎｇ ［Ｃ］／／Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ），Ｂｏｓｔｏｎ，ＵＳＡ，２０１５：８１５—８２３． ｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ ｖｉｄｅｏ［Ｊ］．Ｊｏｕｒｎａｌ ｏｎ Ｍｕｌｔｉｍｏｄａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ，２０１５，１０（２）：ｌ－１３． ［４７］ＳＡＲＦＲＡＺ Ｍ Ｓ，ＳＴＩＥＦＥＬＨＡＧＥＮ Ｒ．Ｄｅｅｐ ｐｅｒｃｅｐｔｕａｌ ｍａｐｐｉｎｇ ｆｏｒ ｔｈｅｒｍａｌ ｔｏ ｖｉｓｉｂｌｅ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ．［ＥＢ／ＯＬ］ Ｅｐｒｉｎｔ Ａｒｘｉｖ：Ａｒｘｉｖ，２０１５．［２０１５—１２・２３］．ｈｔｔｐ：／／１２０．５２． ７３．８０／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１５０７．０２８７９ｖ１．ｐｄｆ． ［５９］ＳＡＳＨＩＨＩＴＨＬＵ Ｓ，ＳＯＭＡＮ Ｓ Ｓ．Ｃｏｍｐｌｅｘ ｓｅｎｔｉｍｅｎｔａｎａｌｙｓ— ｉｓ ｕｓｉｎｇ ｒｅｅｕｒｓｉｖｅ ａｕｔｏｅｎｅｏｄｅｒｓ［ＥＢ／ＯＬ］．Ｃｏｒｅ．ａｃ．Ｕｋ： ＣｉｔｅＳｅｅｒＸ，２０１３．［２０１５—９—３０］．ｈｔｔｐｓ：／／ｃｏｒｅ．ａｃ．ｕｋ／ｄｉｓｐｌａｙ／ ２３４２６２５１． ［４８］ＨＵ Ｍｅｎｇｙｉ，ＬＩ Ｓｈａｏｘｉｎ，ＳＨＡＮ Ｓｈｉｇｕａｎｇ，ｅｔ ａ１．Ａｕ—ａ— ｗａｒｅ ｄｅｅｐ ｎｅｔｗｏｒｋｓ ｆｏｒ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ［ｃ］／／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１３ １０ｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎ￣ｒ— ｅｎｅｅ ａｎｄ Ｗｏｒｋｓｈｏｐｓ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃ－－ ｏｇｎｉｔｉｏｎ．Ｓｈａｎｇｈａｉ，Ｃｈｉｎａ，２０１３：１－６． ［６０］ＪＯＨＮＳＯＮ Ｒ，ＺＨＡＮＧ Ｔｏｎｇ．Ｅｆｆｅｃｔｉｖｅ ｕｓｅ ｏｆ ｗｏｒｄ ｏｒｄｅｒ ｏｒ ｔｆｅｘｔ ｃａｔｅｇｏｒｉｚａｔｉｏｎ ｗｉｔｈ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ［ＥＢ／ＯＬ］．Ｅｐｒｉｎｔ Ａｒｘｉｖ：Ａｒｘｉｖ，２０１４．［２０１４－１０—１０］．ｈｔ— ｔｐ：／／１２０．５２．７３．７９／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１４１２．１０５８．ｐｅｌｆ． ［４９］ＯＵＥＬＬＥＴ Ｓ．Ｒｅａｌ—ｔｉｍｅ ｅｍｏｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｆｏｒ ｇａｍｉｎｇ ｕ— ｓｉｎｇ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ ｆｅａｔｕｒｅｓ［ＥＢ／ＯＬ］．Ｅｐｆｉｎｔ Ａｒｘｉｖ：Ａｒｘｉｖ，２０１４．［２０１４—７—１６］．ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／ １４０８．３７５０ｖ１．ｐｄｆ． ’ ［６１］李婷．基于深度学习的盲文识别方法［Ｊ］．计算机与现 代化，２０１５（６）：３７—４０． ＬＩ Ｔｉｎｇ．Ａ ｄｅｅｐ ｌｅａｒｉｎｇ ｍｅｔｈｏｄ ｆｏｒ ｂｒａｉｌｌｅ ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］． Ｊｉｓｕａｎｊｉ ｙｕ ｘｉａｎｄａｉｈｕａ，２０１５（６）：３７－０．４ ［５０］ＳＯＮＧ Ｉ，ＫＩＭ Ｈ Ｊ，ＪＥＯＮ Ｐ Ｂ．Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｆｏｒ ｒｅａｌ—ｔｉｍｅ ｒｏｂｕｓｔ ｆａｃｉｌａ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｏｎ ａ ｓｍａｒｔｐｈｏｎｅ［ｃ］／／ ［６２］ＫＯＺＩＯＬ Ｊ Ａ，ＴＡＮ Ｅ Ｍ，ＤＡＩ Ｌｉｐｉｎｇ，ｅｔ ａ１．Ｒｅｓｔｉｒｃｔｅｄ Ｂｏｈｚｍａｎｎ ｍａｃｈｉｎｅｓ ｆｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｈｅｐａｔｏｅｅｌｌｕｌａｒ ｃａｒ－ 第５期 刘帅师，等：深度学习方法研究新进展 ・５７７・ ｃｉｎｏｍａ［Ｊ］．Ｃｏｍｐｕｔａｔｉｏｎａｌ ｂｉｏｌｏｇｙ ｊｏｕｒｎａｌ，２０１４，２０１４： ４１８０６９． ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｌａｎｇｕａｇｅ ｍｏｄｅｌ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１ １ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ， ［６３］ＦＡＵＷ Ｊ Ｄ．Ｄｅｔｅｃｔｉｎｇ ｄｉａｂｅｔｉｃ ｒｅｔｉｎｏｐａｔｈｙ ｉｎ ｅｙｅ ｉｍａｇｅｓ ［ＥＢ／ＯＬ］．２０１５［２０１５—０７—２８］．ｈｔｔｐ：／／ｊｅｆｆｒｅｙｄｆ．ｇｉｔｈｕｂ． ｉｏ／ｄｉａｂｅｔｉｃ—ｒｅｔｉｎｏｐａｔｈｙ—ｄｅｔｅｃｔｉｏｎ． Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ．Ｐｒａｇｕｅ，２０１１：５５２８—５５３１． ［７６］ＬＩＵ Ｓｈｕｊｉｅ，ＹＡＮＧ Ｎａｎ，ＬＩ Ｍｕ，ｅｔ ａ１．Ａ ｒｅｃｕｒｓｉｖｅ ｒｅｃｕｒ— ｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｆｏｒ ｓｔａｔｉｓｔｉｃａｌ ｍａｃｈｉｎｅ ｔｒａｎｓｌａｔｉｏｎ ［６４］ＣＵＮ Ｙ Ｌ，ＢＯＳＥＲ Ｂ，ＤＥＮＫＥＲ Ｊ Ｓ，ｅｔ ａ１．Ｈａｎｄｗｒｉｔｔｅｎ ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ５２ｎｄ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓ— ｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ．Ｂａｌｔｉｍｏｒｅ，Ｍａｒｙ— ｌａｎｄ，ＵＳＡ，２０１４：１４９１－１５００． ｄｉｇｉｔ ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ ａ ｂａｃｋ—ｐｒｏｐａｇａｔｉｏｎ ｎｅｔｗｏｒｋ［Ｃ］／／ Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２．Ｓａｎ Ｆｒａｎｃｉｓｃｏ，ＣＡ，ＵＳＡ，１９９０：３９６—４０４． ［７７］ＳＵＴＳＫＥＶＥＲ Ｉ，ＶＩＮＹＡＬＳ Ｏ，ＬＥ Ｑ ｖ．Ｓｅｑｕｅｎｃｅ ｔｏ ｓｅ－ ｑｕｅｎｃｅ ｌｅａｒｎｉｎｇ ｗｉｔｈ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ［ＥＢ／ＯＬ］．２０１４． ［６５］ＪＩ Ｓｂｕｉｗａｎｇ，ＸＵ Ｗｅｉ，ＹＡＮＧ Ｍｉｎｇ，ｅｔ ａ１．３Ｄ ＣＯＨＶＯＩＨ— ｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉ－ ｇｅｎｃｅ，２０１３，３５（１）：２２１－２３１． ［６６］ＨＩＮＴＯＮ Ｇ Ｅ，ＯＳＩＮＤＥＲＯ Ｓ，ＴＥＨ Ｙ Ｗ．Ａ ｆａｓｔ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｓ［Ｊ］．Ｎｅｕｒｌａ ｃｏｍｐｕｔａｔｉｏｎ， ２００６，１８（７）：１５２７—１５５４． ［６７］ＳＡＬＡＫＨＵＴＤＩＮＯＶ Ｒ，ＨＩＮＴＯＮ Ｇ Ｅ．Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １２ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎ－ ｆｅｒｅｎｅｅ ｏｎ Ａｒｔｉｉｆｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ Ｓｔａｔｉｓｔｉｃｓ．Ｃｌｅａｒｗａ— ｔｅｒ，Ｆｌｏｒｉｄａ，ＵＳＡ，２００９：４４８・４５５． ［６８］杜骞．深度学习在图像语义分类中的应用［Ｄ］．武汉： 华中师范大学，２０１４． ＤＵ Ｑｉａｎ．Ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｉｎ ｉｍａｇｅ ｓｅｍａｎｔｉｃ ｃｌａｓｓｉｉｆｃａｔｉｏｎ［Ｄ］．Ｗｕｈａｎ：Ｃｅｎｔｒａｌ Ｃｈｉｎａ Ｎｏｒｍａｌ Ｕｎｉｖｅｒｓｉ． ｔｙ，２０１４． ［６９］ＢＥＮＧＩＯ Ｙ．Ｌｅａｎｒｉｎｇ ｄｅｅｐ ａｒｃｈｉｔｅｃｔｕｒｅｓ ｆｏｒ ＡＩ［Ｊ］．Ｆｏｕｎ— ｄａｔｉｏｎｓ ａｎｄ ｔｒｅｎｄｓｅ ｉｎ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ，２００９，２（１）：１－ １２７． ［７０］ＨＩＮＴＯＮ Ｇ Ｅ，ＳＥＪＮＯＷＳＫＩ Ｔ Ｊ．Ｌｅａｒｎｉｎｇ ａｎｄ ｒｅｌｅａｒｎｉｎｇ ｉｎ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅｓ『Ｍ］／／Ｐａｒａｌｌｅｌ Ｄｉｓｔｉｒｂｕｔｅｄ Ｐｒｏｅｅｓｓ ｉｎｇ：Ｅｘｐｌｏｒａｔｉｏｎｓ ｉｎ ｔｈｅ Ｍｉｅｒｏｓｔｒｎｃｔｕｒｅ ｏｆ Ｃｏｇｎｉｔｉｏｎ．Ｃａｍ－ ｂｒｉｄｇｅ，ＭＡ，ＵＳＡ：Ｍｒｒ Ｐｒｅｓｓ，１９８６． ［７１］ＳＭＯＬＥＮＳＫＹ Ｐ．Ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｉｎ ｄｙｎａｍｉｃａｌ ｓｙｓ— ｔｅｍｓ：ｆｏｕｎｄａｔｉｏｎｓ ｏｆ ｈａｒｍｏｎｙ ｔｈｅｏｒｙ［Ｍ］／／Ｐａｒａｌｌｅｌ Ｄｉｓ． ｔｒｉｂｕｔｅｄ Ｐｒｏｃｅｓｓｉｎｇ：Ｅｘｐｌｏｒａｔｉｏｎｓ ｉｎ ｔｈｅ Ｍｉｃｒｏｓｔｎｒｃｔｕｒｅ ｏｆ Ｃｏｇｎｉｔｉｏｎ．Ｃａｍｂｒｉｄｇｅ，ＭＡ，ＵＳＡ：ＭＩＴ Ｐｒｅｓｓ，１９８６． ［７２］ＲＵＭＥＬＨＡＲＴ Ｄ Ｅ，ＨＩＮＴＯＮ Ｇ Ｅ，ＷＩＬＬＩＡＭＳ Ｒ Ｊ． Ｌｅａｒｎｉｎｇ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｂｙ ｂａｃｋ—ｐｒｏｐａｇａｔｉｎｇ ｅｒｒｏｒｓ［Ｊ］． Ｎａｔｕｒｅ，１９８６，３２３（６０８８）：５３３—５３６． ［７３］ＭＩＫＯＬＯＶ Ｔ，ＫＡＲＡＦＩＡＴ Ｍ，ＢＵＲＧＥＴ Ｌ，ｅｔ ａ１．Ｒｅｃｕｒ— ｒｅｎｔ ｎｅｕｒｌａ ｎｅｔｗｏｒｋ ｂａｓｅｄ ｌａｎｇｕａｇｅ ｍｏｄｅｌ［Ｃ］／／Ｐｒｏｃｅｅｄ— ｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｓｐｅｅｃｈ ２０１０ １ ｌｔｈ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｐｅｅｃｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ａｓｓｏｃｉａｔｉｏｎ．Ｍａｋｕ— ｈａｆｔ，Ｃｈｉｂａ，Ｊａｐａｎ，２０１０：１０４５—１０４８． ［７４］ＤＥＮＧ Ｌｉ，Ｙｕ Ｄｏｎｇ．Ｄｅｅｐ ｃｏｎｖｅｘ ｎｅｔ：ａ ｓｃａｌａｂｌｅ ａｒｃｈｉ— ｔｅｅｔｕｒｅ ｆｏｒ ｓｐｅｅｃｈ ｐａｔｔｅｒｎ ｃｌａｓｓｉｉｆｃａｔｉｏｎ［ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １２ｔｈ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｐｅｅｃｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ａｓｓｏｃｉａｔｉｏｎ．Ｆｌｏｒｅｎｃｅ，Ｉｔａｌｙ，２０１ １：２２９６— ２２９９． ［７５］ＭＩＫＯＬＯＶ Ｔ，ＫＯＭＢＲＩＮＫ Ｓ，ＢＵＲＧＥＴ Ｌ．Ｅｘｔｅｎｓｉｏｎｓ ｏｆ ［２０１４－１０—１２］．ｈｔｔｐ：／／１２０．５２．７３．７９／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１４０９． ３２１５ｖ３．ｐｄｆ． ［７８］ＧＲＡＶＥＳ Ａ，ＭＯＨＡＭＥＤ Ａ Ｒ，ＨＩＮＴＯＮ Ｇ．Ｓｐｅｅｃｈ ｒｅｃｏｇ— ｎｉｔｉｏｎ ｗｉｔｈ ｄｅｅｐ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ［Ｃ］／／Ｐｒｏｃｅｅｄ－ ｉｎｇｓ ｏｆ ｔｈｅ ２０１３ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓ— ｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ．Ｖａｎｃｏｕｖｅｒ，ＢＣ， ２０１３：６６４５—６６４９． ［７９］ＳＺＥＧＥＤＹ Ｃ，ＺＡＲＥＭＢＡ Ｗ，ＳＵＴＳＫＥＶＥＲ Ｉ，ｅｔ ａ１．Ｉｎ－ ｔｒｉｕｇｉｎｇ ｐｒｏｐｅｒｔｉｅｓ ｏｆ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ［ＥＢ／ＯＬ］．Ｅｐｒｉｎｔ ｍｌｘｉｖ：Ａｒｘｉｖ，２０１４．［２０１４—１０—１２］．ｈｔｔｐ：／／１２０．５２．７３．７８／ ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１３１２．６１９９ｖ４．ｐｄｆ． ［８０］ＮＧＵＹＥＮ Ａ，ＹＯＳＩＮＳＫＩ Ｊ，ＣＬＵＮＥ Ｊ Ｄｅｅｐ ｎｅｕｒｌａ ｎｅｔ－ ｗｏｒｋｓ ａｒｅ ｅａｓｉｌｙ ｆｏｏｌｅｄ：Ｈｉｇｈ ｃｏｎｆｉｄｅｎｃｅ ｐｒｅｄｉｃｔｉｏｎｓ ｆｏｒ ｕｎｒｅｃｏｇｎｉｚａｂｌｅ ｉｍａｇｅｓ［ｃ］／／Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．ＩＥＥＥ，Ｂｏｓｔｏｎ，ＵＳＡ，２０１５：４２７－４３６． ［８１］ＬＩＰＴＯＮ Ｚ Ｃ．（Ｄｅｅｐ ｌｅａｒｎｉｎｇ’ｓ ｄｅｅｐ ｆｌａｗｓ）’ｓ ｄｅｅｐ ｆｌａｗｓ ［ＥＢ／ＯＬ］．［２０１５—０７－２８］．ｈｔｔｐ：／／ｗｗｗ．ｋｄｎｕｇｇｅｔｓ．ｃｏｒｎ／ ２０１５／０１／ｄｅｅｐ—ｌｅａｒｎｉｎｇ—ｌｆａｗｓ—ｕｎｉｖｅｒｓａｌ—ｍａｃｈｉｎｅ—ｌｅａｒｎｉｎｇ． ｈｔｍ１． 作者简介： 刘帅师，女，１９８１年生，讲师，博士， 主要研究方向为模式识别、计算机 视觉。 程曦，男，１９８９年生，硕士研究生， 主要研究方向为模式识别、机器学习。 郭文燕，女，１９９１年生，硕士研究 生，主要研究方向为模式识别、机器 学习。
