第三届“讯飞杯”中文机器阅读理解评测

Open Challenge

Please visit our new leaderboard at https://ymcui.github.io/cmrc2019/

会后通知

CMRC 2019评测委员会再次感谢各参赛单位对本次评测的大力支持。现发布评测相关的资源，供参考。

• CMRC 2019最终评测结果：评测排名
• CMRC 2019评测总结报告PPT：下载地址
  
• CMRC 2019评测系统描述报告（冠军、亚军、季军）：下载地址
  
• CMRC 2019评测数据（训练集、开发集）：下载地址
  
• 如果您在学术研究中使用CMRC 2019评测数据，请引用下列文章

@inproceedings{cui-etal-2020-sentence,
    title = "A Sentence Cloze Dataset for {C}hinese Machine Reading Comprehension",
    author = "Cui, Yiming  and
      Liu, Ting  and
      Yang, Ziqing  and
      Chen, Zhipeng  and
      Ma, Wentao  and
      Che, Wanxiang  and
      Wang, Shijin  and
      Hu, Guoping",
    booktitle = "Proceedings of the 28th International Conference on Computational Linguistics",
    month = dec,
    year = "2020",
    address = "Barcelona, Spain (Online)",
    publisher = "International Committee on Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.coling-main.589",
    pages = "6717--6723",
}

最新新闻 (更多)

2019/10/14. 研讨会将于2019年10月19日下午13:30举行，请查看评测研讨会议程，同时欢迎CCL2019的与会来宾参加。

2019/08/01. 资格集已发布，总限制提交次数为10次，请通过 »GitHub«下载。同时我们创建了”CMRC 2019官方QQ交流群（479525933）”，欢迎参赛选手加入。

2019/07/15. 提交平台发生变动，请查看最新提交网址：CodaLab Competition平台

第三届“讯飞杯”中文机器阅读理解评测（CMRC 2019）

从2017年开始，全国计算语言学学术会议（CCL）计划举办评测活动。 作为全国计算语言学学术会议（CCL）的系列评测，今年将继续举办第三届“讯飞杯”中文机器阅读理解评测 (The Third Evaluation Workshop on Chinese Machine Reading Comprehension, CMRC 2019)，并将于2019年10月与第十八届全国计算语言学学术会议（CCL 2019，2019年10月18日~20日，云南昆明）共同召开。 本届中文机器阅读理解评测由中国中文信息学会计算语言学专业委员会（CIPS-CL）主办，哈工大讯飞联合实验室（HFL）承办，科大讯飞股份有限公司、河北省讯飞人工智能研究院冠名赞助，旨在进一步促进中文机器阅读理解研究及发展并且为相关领域学者提供一个良好的沟通平台。在此，CMRC 2019评测委员会诚邀各界人士参加本次评测活动！

哈工大讯飞联合实验室（HFL）长期致力于机器阅读理解的研究和发展。在中文阅读理解方面，哈工大讯飞联合实验室在2016年7月提出首个中文填空型阅读理解数据集PD&CFT。 在2017年、2018年先后承办了两届“讯飞杯”中文机器阅读理解评测（CMRC 2017，CMRC 2018），进一步促进了中文机器阅读理解研究。我们希望通过持续的中文机器阅读理解评测，与相关领域学者共同推进中文机器阅读理解的技术水平。

评测简介

第三届“讯飞杯”中文机器阅读理解（CMRC 2019）的任务是句子级填空型阅读理解（Sentence Cloze-Style Machine Reading Comprehension, SC-MRC）。 根据给定的一个叙事篇章以及若干个从篇章中抽取出的句子，参赛者需要建立模型将候选句子精准的填回原篇章中，使之成为完整的一篇文章。本任务需要机器能够根据上下文的逻辑关系判断空缺部分的内容，进一步提升了机器阅读理解的难度。

同时，本届评测的赛制也发生了一些变化，比赛分为资格赛（5月23日~8月7日）和决赛（8月14日~8月21日）两个阶段：

• 资格赛：不要求提交系统源代码，在赛末提交资格集的结果（仅公开题面），排名最高的10支队伍将入围决赛

• 决赛：和往届评测相同，获得决赛入围资格的队伍将提交系统代码，在隐藏的测试集上得出最终评测结果（80%比重），专家评审（20%比重）

更多比赛流程介绍，请查看：比赛流程

奖项设置

本届评测将评选出如下奖项，颁发荣誉证书和奖金。
由中国中文信息学会计算语言学专委会（CIPS-CL）为获奖队伍提供荣誉证书。
由科大讯飞股份有限公司和河北省讯飞人工智能研究院为获奖队伍提供奖金。

奖项	数量	奖励
冠军	一名	￥20,000 + 荣誉证书
亚军	一名	￥10,000 + 荣誉证书
季军	三名	￥ 5,000 + 荣誉证书

重要时间

注：所有截止时间点为北京时间（UTC+8）23:59。

评测报名（已结束）

拟报名参加的单位或个人，请填写报名表 »报名链接«
或者扫描下方二维码进行报名（推荐使用微信或QQ，自动验证）。

评测组织

主办方： 中国中文信息学会计算语言学专业委员会 (CIPS-CL)
承办方： 哈工大讯飞联合实验室 (HFL)
赞助商： 科大讯飞股份有限公司，河北省讯飞人工智能研究院

评测主席

刘    挺（哈尔滨工业大学）
崔一鸣（科大讯飞股份有限公司）

官方交流群

欢迎扫码加入官方QQ交流群（需提供CodaLab账号以便验证）。

微信公众号

欢迎关注哈工大讯飞联合实验室（HFL）微信公众号。

联系我们

如果有任何与本次评测相关的问题，请随时联系会务组。
评测会务组邮箱： cmrc2019 [at] 126 [dot] com