获奖名单
填空类问题（Cloze-style Question）
| 最终排名 | 参赛单位 | 单/多系统 | 开发集准确率 | 测试集准确率↓ |
|---|---|---|---|---|
 1 |
6ESTATES PTE LTD | 多系统 | 81.85% | 81.90% |
 2 |
上海交通大学仿脑计算与机器智能研究中心自然语言组 Shanghai Jiao Tong University (SJTU BCMI-NLP) |
多系统 | 78.35% | 80.67% |
 3 |
南京云思创智信息科技有限公司 | 多系统 | 79.20% | 80.27% |
用户提问类问题（User-Query Question）
| 最终排名 | 参赛单位 | 单/多系统 | 开发集准确率 | 测试集准确率↓ |
|---|---|---|---|---|
| 1 |
华东师范大学 East China Normal University (ECNU) |
多系统 | 90.45% | 69.53% |
| 2 |
山西大学三队 Shanxi University (SXU-3) |
单系统 | 47.80% | 49.07% |
| 3 |
郑州大学 Zhengzhou University (ZZU) |
单系统 | 31.10% | 32.53% |
最佳单系统（Best Single System）
| 最终排名 | 参赛单位 | 单/多系统 | 开发集准确率 | 测试集准确率↓ |
|---|---|---|---|---|
| 1 |
上海交通大学仿脑计算与机器智能研究中心自然语言组 Shanghai Jiao Tong University (SJTU BCMI-NLP) |
单系统 | 76.15% | 77.73% |
最终系统排名
填空类问题（Cloze-style Question）
| 最终排名 | 参赛单位 | 单/多系统 | 开发集准确率 | 测试集准确率↓ |
|---|---|---|---|---|
| 1 | 6ESTATES PTE LTD | 多系统 | 81.85% | 81.90% |
| 单系统 | 75.85% | 74.73% | ||
| 2 | 上海交通大学仿脑计算与机器智能研究中心自然语言组 Shanghai Jiao Tong University (SJTU BCMI-NLP) |
多系统 | 78.35% | 80.67% |
| 单系统 | 76.15% | 77.73% | ||
| 3 | 南京云思创智信息科技有限公司 | 多系统 | 79.20% | 80.27% |
| 单系统 | 77.15% | 77.53% | ||
| 4 | 华东师范大学 East China Normal University (ECNU) |
多系统 | 79.45% | 79.70% |
| 单系统 | 77.95% | 77.40% | ||
| 5 | 鲁东大学 Ludong University |
多系统 | 77.05% | 77.07% |
| 单系统 | 74.75% | 75.07% | ||
| 6 | 武汉大学计算机学院语言与信息研究中心 Wuhan University (WHU) |
单系统 | 78.20% | 76.53% |
| 7 | 哈尔滨工业大学（深圳） Harbin Institute of Technology at Shenzhen (HITSZ) |
单系统 | 76.05% | 75.93% |
| 8 | 广州火焰信息科技有限公司 | 单系统 | 73.55% | 75.77% |
| 9 | 武汉科技大学 Wuhan University of Science and Technology (WUST) |
单系统 | 73.80% | 74.53% |
| 10 | 北京信息科技大学 Beijing Information Science and Technology University (BISTU) |
单系统 | 70.05% | 70.20% |
| 11 | 山西大学二队 Shanxi University (SXU-2) |
多系统 | 66.65% | 68.47% |
| 单系统 | 62.60% | 64.70% | ||
| 12 | 沈阳航空航天大学 Shenyang Aerospace University (SAU) |
单系统 | 63.15% | 65.80% |
| 13 | 山西大学一队 Shanxi University (SXU-1) |
单系统 | 64.85% | 64.67% |
| 14 | 郑州大学 Zhengzhou University (ZZU) |
单系统 | 52.80% | 54.53% |
| - | Baseline - AS Reader CMRC2017 Official |
单系统 | 69.75% | 71.23% |
| - | Baseline - Top Frequency CMRC2017 Official |
单系统 | 14.85% | 14.07% |
| - | Baseline - Random Guess CMRC2017 Official |
单系统 | 1.65% | 1.67% |
说明：开发集效果不计入排名参考，排名以测试集准确率降序排列
用户提问类问题（User-Query Question）
| 最终排名 | 参赛单位 | 单/多系统 | 开发集准确率 | 测试集准确率↓ |
|---|---|---|---|---|
| 1 | 华东师范大学 East China Normal University (ECNU) |
多系统 | 90.45% | 69.53% |
| 单系统 | 85.55% | 65.77% | ||
| 2 | 山西大学三队 Shanxi University (SXU-3) |
单系统 | 47.80% | 49.07% |
| 3 | 郑州大学 Zhengzhou University (ZZU) |
单系统 | 31.10% | 32.53% |
| - | Baseline - AS Reader CMRC2017 Official |
单系统 | TBA | 47.77% |
| - | Baseline - Top Frequency CMRC2017 Official |
单系统 | 10.65% | 8.73% |
开发集验证系统排名（已结束）
开发集排行榜仅供系统验证使用，并不作为最终评测排名的依据。 参赛单位不应以开发集验证结果识别自己单位目前的排名情况（并非所有参赛队伍都是提交了最好的系统）。
填空类问题 (最后更新：2017/08/13 23:00)
| 排名 | 更新时间 | 系统名称 | 参赛单位 | 单/多系统 | 开发集准确率↓ | 测试集准确率* |
|---|---|---|---|---|---|---|
| 1 | 08/11 13:30 | Anonymous Cloze System - 9 | - | 单系统 | 76.15% | 77.73% |
| 2 | 08/13 23:00 | Anonymous Cloze System - 13 | - | 单系统 | 75.25% | 74.57% |
| 3 | 08/10 11:30 | Anonymous Cloze System - 5 | - | 单系统 | 73.55% | 75.77% |
| 4 | 08/10 16:00 | Anonymous Cloze System - 6 | - | 多系统(3) | 73.25% | 75.03% |
| 5 | 08/10 16:00 | Anonymous Cloze System - 6 | - | 单系统 | 71.40% | 73.40% |
| 6 | 08/11 13:30 | Anonymous Cloze System - 10 | - | 单系统 | 70.30% | 70.70% |
| 7 | - | Baseline - AS Reader1 | CMRC2017 | 单系统 | 69.75% | 71.23% |
| 8 | 08/09 17:00 | Anonymous Cloze System - 4 | - | 单系统 | 69.25% | 69.77% |
| 9 | 08/09 08:00 | Anonymous Cloze System - 3 | - | 单系统 | 68.70% | 69.73% |
| 10 | 08/13 23:00 | Anonymous Cloze System - 15 | - | 单系统 | 67.65% | TBA |
| 11 | 08/13 23:00 | Anonymous Cloze System - 12 | - | 单系统 | 64.40% | TBA |
| 12 | 08/11 11:00 | Anonymous Cloze System - 7 | - | 单系统 | 63.50% | 63.67% |
| 13 | 08/11 20:00 | Anonymous Cloze System - 11 | - | 单系统 | 63.15% | 63.43% |
| 14 | 08/13 23:00 | Anonymous Cloze System - 14 | - | 单系统 | 62.60% | TBA |
| 15 | 07/24 00:00 | Anonymous Cloze System - 1 | - | 单系统 | 58.50% | TBA |
| 16 | 08/11 13:30 | Anonymous Cloze System - 8 | - | 单系统 | 52.80% | TBA |
| 17 | 08/08 08:00 | Anonymous Cloze System - 2 | - | 单系统 | 42.00% | 46.03% |
| 18 | - | Baseline - Top Frequency | CMRC2017 | 单系统 | 14.85% | 14.07% |
| 19 | - | Baseline - Random Guess | CMRC2017 | 单系统 | 1.65% | 1.67% |
*测试集目前非公开，仅对评测委员会可见
**所有Baseline系统均未进行调参
用户提问类问题 (最后更新：2017/08/13 23:00)
| 排名 | 更新 | 系统名称 | 参赛单位 | 单/多系统 | 开发集准确率↓ | 测试集准确率* |
|---|---|---|---|---|---|---|
| 1 | 08/13 23:00 | Anonymous UserQuery Sys - 1 | - | 单系统 | 90.45% | 69.53% |
| 2 | 08/13 23:00 | Anonymous UserQuery Sys - 3 | - | 单系统 | 47.80% | 49.07% |
| 3 | - | Baseline - AS Reader | CMRC2017 | 单系统 | TBA | 47.77% |
| 4 | 08/13 23:00 | Anonymous UserQuery Sys - 2 | - | 单系统 | 30.90% | TBA |
| 5 | - | Baseline - Top Frequency | CMRC2017 | 单系统 | 10.65% | 8.73% |
-
(Kadlec et al., 2016) Text Understanding with the Attention Sum Reader Network. http://arxiv.org/abs/1603.01547 ↩