哈工大讯飞联合实验室摘取SemEval2018评测大赛桂冠

HFL-RC Got the First Place on SemEval 2018 Evaluation (Task 11)

Posted by HFL-RC on February 10, 2018

哈工大讯飞联合实验室阅读理解研究组(HFL-RC)在国际语义评测阅读理解任务中获得第一名!

第十二届国际语义评测比赛(International Workshop on Semantic Evaluation, SemEval 2018) 刚刚落下帷幕,在机器阅读理解评测任务(Task 11: Machine Reading Comprehension using Commonsense Knowledge)中,哈工大讯飞联合实验室(HFL)从参赛的24个队伍中脱颖而出,获得第一名,再一次凸显科大讯飞在机器阅读理解领域的世界领先地位。

SemEval-2018 Task 11

SemEval 2018评测由国际计算语言学协会(Association for Computational Linguistics, ACL)下属的SIGLEX主办,ACL作为世界上影响力最大、最具活力的国际学术组织,其举办的计算语言学年会(Annual Meeting of the Association for Computational Linguistics)是国际自然语言处理的顶级会议。本次评测聚焦的任务是基于常识的机器阅读理解。任务给定一个日常生活场景的描述文本及相关问题,参赛队伍需要利用常识和知识让机器从候选答案中挑选出正确答案。相比SQuAD评测,SemEval 2018 评测中更深入挖掘文本信息及其背景知识,进一步考察了机器的阅读理解能力。继SQuAD评测多次夺冠后此次科大讯飞在基于常识的阅读理解评测SemEval2018中再获第一,进一步证明了科大讯飞在机器阅读理解核心技术的世界领先地位,也是在实现机器“能理解会思考”道路上不断拓新的最好体现。

SemEval-2018 Task 11 最终排名

除了本次SemEval2018评测夺冠之外,科大讯飞在业界权威的斯坦福SQuAD评测中屡获佳绩。2018年1月,科大讯飞提交的融合式层叠注意力系统(Hybrid Attention-over-Attention Reader)在SQuAD评测中第三次获得世界第一,也是首个F1(模糊准确率)超过89%的系统。这个系统中的一些分拆技术应用到了其他的自然语言处理任务,并且获得了显著的性能提升;本次在SemEval2018评测夺冠即是应用成果之一。未来,科大讯飞将利用机器阅读理解技术展示更多可能。

中文机器阅读理解评测(CMRC 2018)

科大讯飞不仅在核心技术上持续领跑,同时也积极关注和推动中文信息处理的研究发展。去年科大讯飞承办了首届“讯飞杯”中文机器阅读理解评测(CMRC 2017)受到了广泛关注和各界研究人员的积极参加。今年将继续携手中国中文信息学会计算语言学专业委员会(CIPS-CL)共同举办第二届“讯飞杯”中文机器阅读理解评测(CMRC 2018),进一步促进中文机器阅读理解研究与发展。

2018年度国际语义评测(SemEval 2018)刚刚给出了最终排名结果。哈工大讯飞联合实验室阅读理解研究组(HFL-RC)参加了任务11:基于常识的阅读理解(Task 11: Machine Comprehension using Commonsense Knowledge),在最终的24个队伍中脱颖而出,以84.13%的准确率获得评测的第一名,充分展示了HFL-RC的核心技术继续保持世界领先地位。在本次评测任务中,参赛选手需要根据给定的篇章和问题从两个候选答案中挑选出正确答案,在此过程中可能涉及到常识推理等技术。

哈工大讯飞联合实验室(HFL)

哈工大讯飞联合实验室(HFL)是科大讯飞针对“讯飞超脑”项目计划,重点引进和布局的核心研发团队之一,由科大讯飞AI研究院与哈尔滨工业大学社会计算与信息检索研究中心(HIT-SCIR)共同创办。根据联合实验室建设规划,双方将在语言认知计算领域进行长期、深入合作,具体开展阅读理解、自动阅卷、类人答题、人机对话、语音识别后处理、社会舆情计算等前瞻课题的研究。重点突破深层语义理解、逻辑推理决策、自主学习进化等认知智能关键技术,支撑科大讯飞实现从“能听会说”到“能理解会思考”的技术跨越,并围绕教育、司法、金融、人机交互等领域实现科研成果的规模化应用。哈工大讯飞联合实验室阅读理解研究组(HFL-RC)是国内最早一批启动机器阅读理解研究的团队。2017年7月、10月以及2018年1月,在业内公认的机器阅读理解顶级赛事斯坦福SQuAD挑战赛中先后夺得三次第一名。2018年2月获得国际语义评测阅读理解任务的第一名。

Nothing special