本文转自哈工大讯飞联合实验室微信公众号
据此前报道，哈工大讯飞联合实验室(HFL)在国际语义评测SemEval 2018机器阅读理解任务中夺冠。本期将详细介绍夺冠系统的具体技术细节。
机器阅读理解(Machine Reading Comprehension, MRC)是认知智能中的代表任务，受到了国内外研究机构的广泛关注。本届国际语义评测SemEval 2018中发布了“任务11: 基于常识的机器阅读理解”。我们接下来从任务介绍、评测系统、评测结果和未来展望四个部分来详细介绍哈工大讯飞联合实验室的夺冠系统细节。
任务介绍
第十二届国际语义评测（International Workshop on Semantic Evaluation, SemEval 2018）中的任务11发布了基于常识的机器阅读理解（Task 11: Machine Comprehension using Commonsense Knowledge）。组织者希望参赛选手能够让计算机通过引入背景知识，然后建立相关模型来完成对文本和问题的阅读，并且从两个候选答案中选出一个作为正确答案。机器需要综合考虑文本、问题以及选项之间的关系才能将正确的选项选出来。下图是本次评测数据中的一个样例。
Hybrid Multi-Aspects Model
针对这类选择型的阅读理解题目，我们一般的做法是先阅读文本、问题和选项，然后带着问题阅读文本，找到文本中与问题相关的片段，然后找到更加匹配的选项作为正确答案。 根据上述思想，我们提出了Hybrid Multi-Aspects Model，该模型首先学习文本、问题以及选项的深层次的语义信息，充分挖掘文本、问题及选项之间的内部关联关系，通过语义级别的匹配来计算各个选项成为答案的概率，最终综合考虑各个因素，从而给出更加精准的答案。
模型的主要计算流程如下： 1. 首先通过使用预训练的词向量，以及双向循环神经网络LSTM对文本、问题以及选项进行建模，得到它们的分布式表示。 2. 通过注意力机制，计算文本与选项，问题与选项的匹配程度得到被选项过滤的文本表示HCT（Choice-aware Text Representation）以及问题表示HCQ（Choice-aware Question Representation）。这一步骤主要利用选项信息去过滤文本和问题，从而将解题无关的部分筛选掉，降低答案搜索的难度。 3. 同时，我们利用self-attention机制进一步抽取出问题中的关键部分，得到过滤后的问题表示HQT。 4. 下一步，我们对（HCT，HQT）以及（HCQ，HQT）计算Attention结果，并且对二维Attention结果进行加权求和得到该选项的综合得分，从文本和问题的角度分别考虑该选项成为答案的概率。 5. 综上，我们可以对两个选项分别进行上述的计算。 6. 最后我们对两个方面得到的结果进行相加，得到最终的概率分布，从而推断两个选项中哪一个是正确答案。
▲ HFL提出的Hybrid Multi-Aspects Model
评测结果
最终经过官方的评测与校验，哈工大讯飞联合实验室提交的系统在24个参评队伍中脱颖而出，获得了该评测的冠军，进一步体现出哈工大讯飞联合实验室的机器阅读理解技术走在世界最前沿。此前，我们曾报道过哈工大讯飞联合实验室三次登顶机器阅读理解世界权威评测——斯坦福SQuAD，将相关技术指标提升到了新的台阶，其中EM指标（精准准确率）超过人类平均水平，F1指标（模糊准确率）首次超过89%的门槛。 本次SemEval 2018评测夺冠，正是将斯坦福SQuAD评测中的若干技术进行融会贯通的结果。同时，相关技术也在其他的机器阅读理解数据集以及自然语言处理任务中得到显著性能提升，并且应用到相关的工程项目中。通过不断挑战和钻研各种各样的阅读理解任务，哈工大讯飞联合实验室积累了大量阅读理解核心技术，为后续的基础研究以及产品转化打下坚实的基础。
▲ SemEval 2018 Task 11的最终排名（前10名）
未来展望
虽然我们在本次评测中拿到了冠军，但针对该任务的模型仍然存在很多可优化提升的地方。其中比较重要的一点是，尽管我们进行了大量实验尝试将外部常识和知识融合到我们的评测模型中，但均未能获得显著的性能提升。这个现象说明，如何能够有效的融合外部知识，从而提升机器阅读理解的水平是未来研究中不可缺少并且值得深入研究的一个方面。机器阅读理解的研究还存在着诸多挑战，但我们相信在不远的将来通过各界的努力，机器阅读理解技术一定能够迈上一个新的台阶，同时发挥更大的应用价值。
报告下载：链接
Nothing special
