CMRC 2018 Leaderboard

获奖单位

恭喜以下单位分别获得第二届”讯飞杯“中文机器阅读理解评测冠军、亚军和季军。

排名	时间	系统名称	Pre-Test	Test
			Average	EM	F1	Average↓
1	2018/9/17	Z-Reader (single) ZhuiYi	81.608	74.178	88.145	81.161
2	2018/9/17	MCA-Reader (ensemble) 北京信息科技大学智能信息处理实验室	79.147	71.175	88.090	79.632
3	2018/9/17	RCEN (ensemble) 6ESTATES PTE LTD	77.978	68.662	85.743	77.203

最佳单系统奖

经过评测委员会的评审，我们很荣幸的宣布以下单位获得最佳单系统奖项。

完整系统排名

排名	时间	系统名称	Pre-Test	Test
			Average	EM	F1	Average↓
1	2018/9/17	Z-Reader (single) ZhuiYi	81.608	74.178	88.145	81.161
2	2018/9/17	MCA-Reader (ensemble) 北京信息科技大学智能信息处理实验室	79.147	71.175	88.090	79.632
3	2018/9/17	RCEN (ensemble) 6ESTATES PTE LTD	77.978	68.662	85.743	77.203
4	2018/9/17	MCA-Reader (single) 北京信息科技大学智能信息处理实验室	76.696	68.335	85.707	77.021
5	2018/9/17	OmegaOne (ensemble) 复旦大学	74.232	66.272	82.788	74.530
6	2018/9/17	RCEN (single) 6ESTATES PTE LTD	75.228	64.576	83.136	73.856
7	2018/9/17	GM-Reader (ensemble) CIST - 北京邮电大学	73.720	64.045	83.046	73.546
8	2018/9/17	OmegaOne (single) 复旦大学	72.475	64.188	81.539	72.864
9	2018/9/17	GM-Reader (single) CIST - 北京邮电大学	70.615	60.470	80.035	70.252
10	2018/9/17	R-NET (single) SXU - 山西大学	62.976	50.112	73.353	61.733
11	2018/9/17	SXU-Reader (ensemble) 山西大学	59.409	46.210	70.482	58.346
12	2018/9/17	SXU-Reader (single) 山西大学	58.856	44.270	70.673	57.472
13	2018/9/17	T-Reader (single) 清华大学信息检索组 & 阿姆斯特丹大学ILPS	54.983	44.883	66.859	55.871
14	2018/9/17	Unnamed System (single) 上海理工大学自然语言实验室	52.774	37.916	63.502	50.709
15	2018/9/17	Unnamed System (single) 武汉大学计算机学院语言与信息研究中心	34.422	22.288	46.774	34.531
16	2018/9/17	Unnamed System (single) LittleBai - 开智学堂	25.420	10.848	37.231	24.040
17	2018/9/17	江苏警官学院机器阅读理解_v1 (single) 江苏警官学院舆情实验室	17.779	0.449	34.224	17.336
Human Performance CMRC 2018 Officials			94.216	92.400	97.914	95.157

注意

1. Pre-Test是预测试集结果，Test为最终评测结果。预测试集为最终评测测试集的子集，相关结果仅供参考，不作为最终评测排名的依据。

2. 冠军、亚军和季军将根据测试集平均结果进行降序排列，每个队伍的单模型/多系统融合系统不同时参与评奖（取效果高的一个系统）。

3. 最佳单模型系统的评选由评测委员会综合模型效果、创新性等方面综合考量进行评选。

4. 开发集系统验证阶段的结果请查看：开发集Leaderboard

重要时间点