会后通知

感谢各参赛单位的大力支持,本届评测大会已圆满落幕。
以下是评测大会相关的资源,请大家查收。
- 评测数据
- 会议PPT(有效期至2017-11-15) 访问密码:Nsah
- 会议照片(有效期至2017-11-15) 访问密码:Y0Vv

最新新闻 (更多)

2017/10/14 评测大会圆满落幕,感谢各单位的大力支持!

2017/09/04 拟参加本次评测会议的人员请进行注册:注册链接

2017/08/31 初步的大会议程已放出,请查看大会议程

参会信息

以下是本次评测大会的参会信息,供参考。
会议地点:江苏辰茂新世纪大酒店,南京市(具体信息请参考,CCL2017主站
会议时间: 2017年10月14日下午
会议议程: https://hfl-rc.github.io/cmrc2017/program/
评测会议注册: https://wj.qq.com/s/1531980/5f69
CCL主会注册: http://123.57.230.127/ccl/
请注意:参加评测会议完全免费,但应CCL2017主办方要求,需注册CCL2017主会,具体请参考上述链接。

欢迎!

image-center

欢迎来到第一届“讯飞杯”中文机器阅读理解评测 (The 1st Evaluation Workshop on Chinese Machine Reading Comprehension)!

“第十六届全国计算语言学学术会议”(The Sixteenth China National Conference on Computational Linguistics, CCL 2017)将于2017年10月13日—15日在南京师范大学举行。作为国内最大的自然语言处理专家学者的社团组织——中国中文信息学会(CIPS)的旗舰会议,全国计算语言学会议从1991年开始每两年举办一次,从2013年开始每年举办一次,经过20余年的发展历程,已形成了十分广泛的学术影响,成为国内自然语言处理领域权威性最高、口碑最好、规模最大(2016年注册参会人数超过600人)的学术会议。CCL着重于中国境内各类语言的计算处理,为研讨和传播计算语言学最新的学术和技术成果提供了高水平的深入交流平台。

从今年的CCL会议开始,我们计划同步举办评测活动。本次我们聚焦的任务是机器阅读理解(Machine Reading Comprehension)。让机器能听会说,能理解会思考是人工智能的长远目标。机器阅读理解作为目前自然语言处理领域中的热门研究内容受到了广泛关注。与传统的问答系统不同的是阅读理解任务更注重于对于篇章的理解,而不是利用世界知识、常识来回答问题,所以更具有挑战性。因此阅读理解受到了各大研究机构的高度重视,并且纷纷投入到相关研究当中,其中包括Google DeepMind, Facebook AI Lab, IBM Watson, 斯坦福大学(Stanford), 卡内基梅隆大学(CMU)等。

本届阅读理解评测以填空型阅读理解问题为主。填空型问题是阅读理解任务中的较为基础的问题。目前竞争较为激烈的Facebook CBT数据集上,人们的平均答题准确率是81.6%。目前基于神经网络的方法已普遍可以达到75%以上的效果,可见差距已非常小。另外,除了填空型问题外,我们同时又设立了用户提问型问题的评测方向。参赛者需要考虑填空型问题到用户提问型问题的迁移,相比填空型问题要略微困难(具体请参考评测方向的描述)。

本届中文机器阅读理解评测由中国中文信息学会计算语言学专委会主办,哈工大讯飞联合实验室(HFL)承办,旨在促进中文阅读理解研究及发展并且为相关领域学者提供一个良好的沟通平台。在此,评测会务组诚邀各个单位参加本次评测活动!

奖项设置

本届评测将评选出如下奖项,颁发奖金和荣誉证书。
中国中文信息学会计算语言学专委会(CIPS-CL)为获奖队伍提供荣誉证书。

gold 金奖 ¥10,000 + 荣誉证书
gold 银奖 ¥ 5,000 + 荣誉证书
gold 铜奖 ¥ 3,000 + 荣誉证书

感谢科大讯飞全国计算语言学学术会议(CCL)为本次评测的前三名提供奖金奖励。

重要时间点

所有截止时间点为北京时间(GMT+8)23:59。
以下时间节点仅供参考,请注册参加者密切关注本网站以及邮件通知。

事件 状态 时间
预报名 已结束 2017年4月5日 ~ 2017年4月17日
正式报名确认 已结束 2017年4月18日 ~ 2017年4月25日
发布训练集和开发集 已结束 2017年5月3日
系统搭建及调整 已结束 2017年5月3日 ~ 2017年8月13日
提交系统验证开发集 已结束 2017年7月13日 ~ 2017年8月13日
提交系统验证测试集 已结束 2017年8月14日 ~ 2017年8月18日
撰写系统描述摘要 已结束 2017年8月31日
召开CMRC2018大会 已结束 2017年10月14日

注册报名(已关闭)

有意向参加的单位机构请直接填写报名表后发给评测会务组。
报名表下载:cmrc2017_application_forms
评测会务组邮箱: cmrc2017@126.com

评测组织

主办方: 中国中文信息学会计算语言学专业委员会
承办方: 哈工大讯飞联合实验室
冠名商: 科大讯飞股份有限公司

评测委员会:
主席:
刘    挺(哈尔滨工业大学)
王士进(科大讯飞股份有限公司)

委员:
崔一鸣(科大讯飞股份有限公司)
刘    铭(哈尔滨工业大学)

联系我们

如果有任何与本次评测相关的问题,请随时联系会务组。
评测会务组邮箱: cmrc2017 [at] 126 [dot] com