神经机器翻译前沿进展.ppt

神经机器翻译前沿进展 刘洋 第十二届全国机器翻译研讨会 1 2016年8月，乌鲁木齐 机器翻译 目标：利用计算机实现自然语言的自动翻译 2 布什 与 沙龙 举行 了 会谈 Bush held a talk with Sharon 发展历史 趋势：让机器更“自主”地学习如何翻译 3 规则 机器翻译 统计 机器翻译 神经 机器翻译 1980 1990 2013 数据驱动 机器翻译 1990 数据驱动的机器翻译 核心问题：如何为翻译过程建立概率模型？ 4 布什 与 沙龙 举行 了 会谈 Bush held a talk with Sharon 统计机器翻译 隐变量对数线性模型：在隐式语言结构上设计特征 5 布什 与 沙龙 举行 了 会谈 Bush held a talk with Sharon (Och and Ney, 2002) 基于短语的统计机器翻译 短语翻译模型：以隐结构短语为基本翻译单元 6 布什 与 沙龙 举行 了 会谈 (Koehn et al., 2003) 统计机器翻译的优缺点 优点 隐结构可解释性高 利用局部特征和动态规划处理指数级结构空间 缺点 线性模型难以处理高维空间中线性不可分的情况 需要人类专家设计隐式结构及相应的翻译过程 需要人类专家设计特征 离散表示带来严重的数据稀疏问题 难以处理长距离依赖 7 难点：长距离调序 8 Bush President held a talk with Israeli Prime Minister Sharon at the White House 如何用上述词语拼成合理的译文？ 统计机器翻译示例 9 深度学习带来新思路 10 Yann LeCun Yoshua Bengio Geoffrey Hinton (LeCun et al, 2015) 机器翻译方法对比 11 英国爱丁堡大学在WMT英德评测数据上的BLEU值。NMT 2015年结果来自蒙特利尔大学。来源：Rico Sennrich报告和斯坦福ACL 2016 Tutorial。 神经机器翻译 利用神经网络实现自然语言的映射 12 布什 与 沙龙 举行 了 会谈 Bush held a talk with Sharon (Sutskever et al, 2014) 编码器-解码器框架 利用递归神经网络实现源语言的编码和目标语言的解码 13 布什 与 沙龙 举行 了 会谈 /s (Sutskever et al., 2014) 递归神经网络的优缺点 优点 适合处理变长线性序列 理论上能够利用无限长的历史信息 缺点 “梯度消失”或“梯度爆炸” 14 (Pascanu et al., 2013) 长短时记忆 15 通过门阀技术缓解“梯度消失”和“梯度爆炸” (Hochreiter and Schmidhuber, 1997) 神经网络学到了什么？ 16 (Sutskever et al., 2014) 编码器-解码器架构的优缺点 17 (Sutskever et al., 2014) 优点：利用长短时记忆处理长距离依赖 缺点：任意长度的句子都编码为固定维度的向量 基于注意力的神经机器翻译 利用注意力机制动态计算源语言端相关上下文 18 (Bahdanau et al., 2015) 布什 与 沙龙 举行 了 会谈 /s 注意力 思想：集中关注影响当前词的上下文 19 (Cheng et al., 2016a) 神经机器翻译中的注意力 源语言词语目标语言词的关联强度 20 (Bahdanau et al., 2015; Cheng et al., 2016b) 注意力机制提升长句翻译效果 21 (Bahdanau et al., 2015) RNNenc: 固定源语言上下文，RNNsearch: 动态源语言上下文 注意力机制的其他应用 22 (Xu et al., 2015) 注意力机制已成为深度学习的主流技术 “看图说话”：为图片自动生成文本描述 近期研究进展 23 神经机器翻译在近两年取得飞速发展 受限词汇量 (Luong et al., 2015a ; Jean et al., 2015) 细粒度意义单元 (Chung et al., 2016; Sennrich et al., 2016a) 先验约束 (Tu et al., 2016; Cohn et al., 2016) 记忆机制 (Wang et al., 2016; Tang et al., 2016) 训练准则 (Shen et al., 2016; Ranzato et al., 2016) 单语数据利用 (Cheng et al., 2016c; Sennrich et al., 2016b) 多语言 (Dong et al., 2015; Zoph