常见问题

（以下问题不定期持续更新，最新更新：2022年8月1日）

常规问题

ExpMRC（Cui et al., 2022）是哈工大讯飞联合实验室推出的可解释性阅读理解数据集，包含了中文和英文的抽取型和选择型阅读理解的4个子集。本届CMRC 2022评测使用的是其中的两个中文子集。

不是，ExpMRC榜单是独立榜单，与本届评测无关。CMRC 2022评测结束后，我们会邀请并征求参赛队伍意见，将符合ExpMRC榜单条件的结果同步至ExpMRC。

可以。

不可以，一经发现将取消比赛资格，并通报相关单位。

不可以，必须先通过大会注册渠道注册，然后才可以在codalab提交结果。

不是，我们建议参赛选手专注于线下调整自己的模型。并将自己最好的结果提交到codalab。有了更好的结果也可以再次提交。因此没有必要在codalab平台上持续刷榜（请选手自行把握）。

可以，但要注意资格赛结束前必须将其中一个结果显示在排行榜中，否则将无法参与排名。

不可以，资格赛结束后榜单将被冻结。

不会，最终评测排名只取决于决赛阶段结果（即测试集结果）。但参赛选手首先应通过资格赛获取决赛资格才有机会参与最终角逐。

可以，但我们强烈建议选手不要在资格赛最后一刻显示自己的结果，以免因各种原因导致结果没能上榜。除平台本身出现故障之外，如因选手自身原因导致排行榜上没有显示自己的结果，后果由选手自行承担。

是的，必须完全一样。届时将比对线上提交的json和线下运行程序得出的json文件是否一致。

影响。资格审查阶段提交的模型会作为决赛阶段的模型之一，即选手只能在决赛阶段额外提交一组模型。至于选手想拿出最好的模型参与资格赛还是一般的模型，由参赛选手自行决定。总而言之，决赛阶段的两组模型中，其中一组来自于资格审查提交的模型，另一组来自于决赛阶段提交的一组模型，两者取测试集效果高者参与最终排名。

如果资格审查提交截止时间之后仍未收到选手提交的模型，则认为选手自动放弃本届评测。

选手将失去决赛资格。所以请参赛选手一定要仔细阅读资格审查阶段的说明，并且要提交符合大赛规则的有效模型。

为了进一步维护比赛公平性，资格审查阶段提交的源程序压缩包（含所有模型、代码、资源等）大小限制为10GB。

在符合提交条件的前提下，组委会将积极与参赛队伍沟通处理bug。同时也请参赛队伍在提交前充分测试所提交的系统，避免因为运行不畅耽误比赛进程。

不可以，详见Q4-1。如果有更好结果，请在决赛阶段提交。

不需要。选手可自行把握提交什么模型。

需要。同样要检查代码、模型、数据是否符合大赛要求。

如果决赛阶段提交的模型不符合要求，则只能将资格赛榜单对应的模型参与最终排名。即选手只能有这一组模型参与最终排名。而通过资格审查的选手将有两组模型参与最终排名。

如有任何问题请与CMRC 2022评测委员会联系 cmrc2022 [at] 126 [dot] com