Open Challenge

Please visit our new leaderboard at https://ymcui.github.io/cmrc2018/

会后通知

CMRC 2018评测委员会再次感谢各参赛单位对本次评测的大力支持。现发布评测相关的资源，供参考。

@inproceedings{cui-etal-2019-span,
    title = "A Span-Extraction Dataset for {C}hinese Machine Reading Comprehension",
    author = "Cui, Yiming  and
      Liu, Ting  and
      Che, Wanxiang  and
      Xiao, Li  and
      Chen, Zhipeng  and
      Ma, Wentao  and
      Wang, Shijin  and
      Hu, Guoping",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/D19-1600",
    pages = "5886--5891",
}

最新新闻 (更多)

2018/10/19. CMRC 2018最佳单系统获奖单位：北京信息科技大学智能信息处理实验室，详见最终排名

2018/10/15. CMRC 2018评测研讨会议程已发布，将在10月19日下午2点举行。期待与大家在长沙相见！

2018/09/17. 第二届“讯飞杯”中文机器阅读理解评测（CMRC 2018）最终排名公布：最终排名

第二届“讯飞杯”中文机器阅读理解评测

image-center

从2017年开始，全国计算语言学学术会议（CCL）计划举办评测活动。作为全国计算语言学学术会议（CCL）的系列评测，今年我们继续举办第二届“讯飞杯”中文机器阅读理解评测 (The Second Evaluation Workshop on Chinese Machine Reading Comprehension, CMRC2018)，并将于2018年下半年与第十七届全国计算语言学学术会议（CCL2018，2018年10月19日~21日，湖南长沙）共同召开。本届中文机器阅读理解评测由中国中文信息学会计算语言学专业委员会（CIPS-CL）主办，哈工大讯飞联合实验室（HFL）承办，科大讯飞股份有限公司冠名赞助，旨在进一步促进中文机器阅读理解研究及发展并且为相关领域学者提供一个良好的沟通平台。在此，CMRC2018评测委员会诚邀各界人士参加本次评测活动！

哈工大讯飞联合实验室（HFL）长期致力于机器阅读理解的研究和发展。在中文阅读理解方面，哈工大讯飞联合实验室在2016年7月提出首个中文填空型阅读理解数据集PD&CFT。在2017年承办了第一届“讯飞杯”中文机器阅读理解评测（CMRC2017）并且发布了相关中文阅读理解数据集，进一步促进了中文机器阅读理解研究。我们希望通过持续的中文机器阅读理解评测，与相关领域学者共同推进中文机器阅读理解的技术水平。

任务描述

今年我们将聚焦基于篇章片段抽取的阅读理解（Span-Extraction Machine Reading Comprehension），作为填空型阅读理解任务的进一步延伸。虽然在英文阅读理解研究上有例如斯坦福SQuAD、NewsQA等篇章片段抽取型阅读理解数据集，但目前相关中文资源仍然处于空白状态。本届中文机器阅读理解评测将开放首个人工标注的中文篇章片段抽取型阅读理解数据集，参赛选手需要对篇章、问题进行建模，并从篇章中抽取出连续片段作为答案。 本次评测依然采取训练集、开发集公开，测试集隐藏的形式以保证评测的公平性。

奖项设置

本届评测将评选出如下奖项，颁发奖金和荣誉证书。
由中国中文信息学会计算语言学专委会（CIPS-CL）为获奖队伍提供荣誉证书。

奖项 奖励
gold 冠军 ￥20,000 + 荣誉证书
gold 亚军 ￥10,000 + 荣誉证书
gold 季军 ￥ 5,000 + 荣誉证书
最佳单系统奖 ￥10,000 + 荣誉证书

此外，对于最终排名前50%的应届毕业生参赛选手将提供2019年科大讯飞校园招聘免笔试资格。

重要时间点

所有截止时间点为北京时间（GMT+8）23:59。
以下时间节点仅供参考，请注册参加者密切关注本网站以及邮件通知。

事件 状态 时间
参赛报名 已结束 即日起 ~ 2018年4月22日（报名截止）
发布试验集(Trial Data) 已结束 2018年3月5日
报名信息确认 已结束 2018年4月23日 ~ 2018年4月27日
发布训练集和开发集 已结束 2018年5月7日
系统搭建及调整 已结束 2018年5月7日 ~ 2018年8月7日 8月10日
提交系统验证开发集&预测试集 已结束 2018年6月7日 ~ 2018年8月7日 8月10日
提交最终评测系统 已结束 2018年8月13日 ~ 2018年8月17日
撰写系统描述摘要 已结束 2018年9月中旬
召开CMRC2018大会 已结束 2018年10月19日 14:00-17:00

注册报名（已结束）

拟报名参加的单位，请填写预报名表 »报名链接（已失效）«

评测组织方

主办方： 中国中文信息学会计算语言学专业委员会 (CIPS-CL)
承办方： 哈工大讯飞联合实验室 (HFL)
冠名商： 科大讯飞股份有限公司

评测主席

刘    挺（哈尔滨工业大学）
崔一鸣（科大讯飞股份有限公司）

联系我们

如果有任何与本次评测相关的问题，请随时联系会务组。
评测会务组邮箱： cmrc2018 [at] 126 [dot] com