888.3net新浦京游戏机器人与信息自动化研究所 天津市智能机器人技术重点实验室 888.3net新浦京游戏机器智能研究所

Institute of Robotics and Automatic Information System

Tianjin Key Laboratory of Intelligent Robotics

Institute of Machine Intelligence

2019年秋季先进机器人与人工智能系列学术讲座（第147-148期）

Seminar Series：Advanced Robotics & Artificial Intelligence

主讲人：段楠、刘树杰（微软亚洲研究院）

时  间：2019年11月15日 12:00 - 14:00

地  点：888.3net新浦京游戏北楼(软件楼)212会议室

题目：Pre-training in NLP and CV

主讲人：段楠

摘要：本报告首先简要回顾预训练模型中 的核心概念和关键技术，然后，重点介绍 三种典型的预训练方法（基于语言模型的 预训练模型、跨语言预训练模型和跨模态 预训练模型）。接下来，举例说明预训练 模型如何能够帮助不同场景的NLP和CV任 务。最后，和大家讨论未来的研究方向。

简介：段楠是MSRA的高级研究经理，从事NLP基础研究，包括自动问答、自然语言理解、生成和推理、多模态自然语言处理等，在ACL、EMNLP、COLING、AAAI、IJCAI、CVPR、KDD、NIPS等国际会议中发表论文40余篇。其多项研究成果已成功应用到微软核心人工智能产品中，包括必应搜索、Cortana语音助手和微软小冰等。

题目：低资源神经机器翻译

主讲人：刘树杰

摘要：随着深度学习的发展，神经机器翻译 在近几年也取得了巨大的进步。对于某些资 源丰富的翻译任务，比如新闻领域的中英翻 译，神经机器翻译甚至达到了能与人类媲美 的水平。但是对于一些低资源的翻译任务， 比如小语种翻译，或者某些特定的领域，大 规模的双语句对并不是特别容易获得，从而 导致翻译质量不尽如人意。为解决训练数据 不足的问题，数据增强技术越来越受到重视。在本报告中，我们在 介绍神经机器翻译的基本方法的基础上，介绍几种具体的数据增强 技术，包括基于双向一致性的数据增强技术、联合训练的方法以及 三角语言的训练框架。 最后介绍无监督机器翻译的最新进展。

简介：刘树杰，微软亚洲研究院自然语言计算组高级研究员。其研究兴趣 包括自然语言处理，语音处理和深度学习在自然语言处理中的应用。其研 究工作被应用于微软的多个产品中，包括微软翻译、Skype Translator、 微软输入法、微软小冰、微软语音处理在线服务等。