结合LSTM和CNN混合架构的深度神经网络语言模型

王毅;谢娟;成颖

【期刊名称】《情报学报》 【年(卷),期】2018(037)002

【摘 要】语言模型是自然语言处理研究中的基础性工作,是计算机识别与理解自然语言的桥梁,是人工智能学科的前沿及热点课题.其在语音识别、机器翻译、信息检索和知识图谱等领域都有着广泛的应用.至今,语言模型已经历了从统计模型、神经网络模型到深度神经网络模型的衍化.随着深度学习技术的广泛应用,采用大规模的数据集、复杂的模型以及高昂的训练代价成为语言模型建模的特点.本文通过模型输入拟人化、卷积神经网络(convolutional neural network)编码以及融合门机制并结合长短时记忆单元(long short-term memory,LSTM)优化了语言模型,提出了结合LSTM和CNN混合架构的深度神经网络语言模型(Gated CLSTM).利用深度学习框架Tensorflow实现了Gated CLSTM.实验环节还采用了负采样及循环投影层等经典的优化技术,在包含近十亿个英文单词的通用数据集(one billion word benchmark)下测试了模型的性能,分别训练了单层模型和三层模型,以观察网络深度对性能的影响.结果显示,在四个 GPU 的单机环境下,单层模型经过4天的训练,将模型混淆度(perplexity)降低至42.1;三层模型经过6天的训练后将混淆度降低至33.1;与多个典型的基准模型相比,综合硬件、时间复杂度以及混淆度三个指标,Gated CLSTM获得了明显的改进. 【总页数】12页(P194-205) 【作 者】王毅;谢娟;成颖

【作者单位】南京大学信息管理学院,南京 210023;南京大学信息管理学院,南京 210023;南京大学信息管理学院,南京 210023 【正文语种】中 文 【相关文献】

1.基于CNN-LSTMs混合模型的人体行为识别方法 [J], 陈飞;程合彬;王伟光 2.基于CNN-LSTM架构神经网络的桥梁损伤位置识别 [J], 皇鹏飞; 高士武; 杨晓林

3.基于剪枝优化CNN-LSTM混合模型在边坡位移预测中的应用 [J], 郑海青;赵越磊;孙晓云;靳强

4.CNN-LSTM深度神经网络在滚动轴承故障诊断中的应用 [J], 陈保家;陈学力;沈保明;陈法法;李公法;肖文荣;肖能齐

5.基于LSTM-Attention与CNN混合模型的文本分类方法 [J], 滕金保;孔韦韦;田乔鑫;王照乾

因版权原因，仅展示原文概要，查看原文内容请购买