CMRC 2018 | 中文机器阅读理解评测报名

Posted by HFL-RC on April 16, 2018

本文转自哈工大讯飞联合实验室微信公众号

评测报名截止时间:2018年4月22日23:59 (GMT+8)

前言

第二届“讯飞杯”中文机器阅读理解评测 (The Second Evaluation Workshop on Chinese Machine Reading Comprehension, CMRC 2018) 自发布以来受到高校、研究机构、企业等社会各界人士的广泛关注和积极参加。我们欢迎更多对中文机器阅读理解评测感兴趣的团队报名参加本次评测。请还未报名的参赛队伍请尽快通过文章末尾的报名方式进行报名,本次评测的报名截止时间为北京时间2018年4月22日23:59(GMT+8)。

CMRC 2018官方网站:http://www.hfl-tek.com/cmrc2018/

第一届“讯飞杯”中文机器阅读理解评测(The First Evaluation Workshop on Chinese Machine Reading Comprehension,CMRC2017)在2017年10月与第十六届全国计算语言学学术会议(CCL2017)在南京圆满落幕,得到了相关同行的积极参与和大力支持。从2017年开始,全国计算语言学学术会议(CCL)计划举办评测活动。

作为CCL的系列评测,今年我们继续举办第二届“讯飞杯”中文机器阅读理解评测 (The Second Evaluation Workshop on Chinese Machine Reading Comprehension, CMRC2018),并将于2018年下半年与第十七届全国计算语言学学术会议(CCL2018,2018年10月19日~21日,湖南长沙)共同召开。本届中文机器阅读理解评测由中国中文信息学会计算语言学专业委员会(CIPS-CL)主办,哈工大讯飞联合实验室(HFL)承办,科大讯飞股份有限公司冠名赞助,旨在进一步促进中文机器阅读理解研究及发展并且为相关领域学者提供一个良好的沟通平台。在此,CMRC2018评测委员会诚邀各家单位参加本次评测活动!

哈工大讯飞联合实验室(HFL)长期致力于机器阅读理解的研究和发展。在中文阅读理解方面,哈工大讯飞联合实验室在2016年7月提出首个中文填空型阅读理解数据集PD&CFT。在2017年承办了第一届“讯飞杯”中文机器阅读理解评测(CMRC2017)并且发布了相关中文阅读理解数据集,进一步促进了中文机器阅读理解研究。我们希望通过每年的中文机器阅读理解评测,与相关领域学者共同推进中文机器阅读理解的技术水平。

任务描述

在去年的CMRC2017评测中,我们的任务焦点是填空型阅读理解任务(Cloze-style Machine Reading Comprehension),吸引了数十家单位报名参加,并且最终有十余家单位提交了系统结果。今年我们将聚焦基于篇章片段抽取的阅读理解(Span-Extraction Machine Reading Comprehension),作为填空型阅读理解任务的进一步延伸。虽然在英文阅读理解研究上有例如斯坦福SQuAD、NewsQA等篇章片段抽取型阅读理解数据集,但目前相关中文资源仍然处于空白状态。本届中文机器阅读理解评测将开放首个人工标注的中文篇章片段抽取型阅读理解数据集,参赛选手需要对篇章、问题进行建模,并从篇章中抽取出连续片段作为答案。本次评测依然采取训练集、开发集公开,测试集隐藏的形式以保证评测的公平性。

更详细的评测任务描述及流程请密切关注本网站后续更新。

奖项设置

本届评测将评选出如下奖项,颁发奖金和荣誉证书。 由中国中文信息学会计算语言学专委会(CIPS-CL)为获奖队伍提供荣誉证书。

金奖 ¥20,000 + 荣誉证书
银奖 ¥10,000 + 荣誉证书
铜奖 ¥ 5,000 + 荣誉证书
最佳单系统奖 ¥10,000 + 荣誉证书

重要时间点

以下所有截止时间点为北京时间(GMT+8)23:59。

以下时间节点仅供参考,请注册参加者密切关注本网站以及邮件通知。

事件 状态 时间
预报名 »已开始« 即日起
正式报名确认 未开始 2018年4月23日 ~ 2018年4月27日
发布训练集和开发集 未开始 2018年5月7日
系统搭建及调整 未开始 2018年5月7日 ~ 2018年8月7日
提交系统验证开发集 未开始 2018年6月7日 ~ 2018年8月7日
提交系统验证测试集 未开始 2018年8月13日 ~ 2018年8月17日
撰写系统描述摘要 未开始 2018年9月中旬
召开CMRC2018大会 未开始 TBD, 与CCL2018同步召开(2018年10月20日或21日)

注册报名

拟报名参加的单位,请参考如下链接: https://wj.qq.com/s/1822356/e14c

评测组织

主办方中国中文信息学会计算语言学专业委员会

承办方哈工大讯飞联合实验室

冠名商科大讯飞股份有限公司

评测主席

刘   挺 (哈尔滨工业大学)
崔一鸣(科大讯飞股份有限公司)

联系我们

如果有任何与本次评测相关的问题,请随时联系会务组。 评测会务组邮箱: cmrc2018@126.com

Nothing special