评测流程

报名阶段(即日起 ~ 7月31日)

  1. (已注册可略过)注册CodaLab Competition账号:注册地址
  2. (已填写可略过)注册CMRC 2022评测,此处填写的是上一步注册好的“账号”,非“email”:注册地址

资格赛阶段(即日起 ~ 7月31日)

  1. 进一步熟悉任务:任务介绍
  2. 选手可以在报名之后就开始搭建并优化比赛系统,待榜单开启后提交结果。
  3. 参赛队伍将通过CodaLab平台自助提交开发集结果,取前10名进入到资格审查环节(不足10名时,所有队伍均可进入资格审查环节)。
  4. 重要)获取提交资格:用报名登记过的账号登陆CodaLab后,进入到比赛页面,点击Participate,获取提交资格。审核完毕后会有邮件发送到CodaLab绑定的邮箱,之后就可以开始提交结果了。
  5. 请注意最终提交结果所对应的源程序压缩包(含模型、代码、资源等)应小于10G。
  6. 更加详细的资格赛流程请参考:资格赛提交流程

资格赛审查阶段(提交:8月1日 ~ 8月7日,公布结果:8月15日)

  1. 入围队伍需要提交代码以完成资格审查。
  2. 需要提供训练数据来源的详细说明,不符合参赛规则的队伍将失去决赛资格。
  3. (重要)资格赛排名对应的模型将作为决赛提交的两组系统之一(决赛阶段再提交一组模型,取两者测试集结果更优的为最终结果)。
  4. 资格审查结果仅公布是否通过,即是否进入最终决赛,不会告知测试集结果。
  5. 资格审查阶段提交的源程序压缩包(含模型、代码、资源等)应小于10G。
  6. 更加详细的资格审查流程请参考:资格审查流程

决赛阶段(8月16日 ~ 8月31日)

  1. 每支队伍将有两组系统参与最终的决赛,其中一组系统是资格审查阶段提交的模型,另一组在决赛阶段另行提交。
  2. 组委会对两组系统进行评测,给出测试集结果。
  3. 取两组系统测试集“综合F1”指标高的结果作为该队伍的最终评测结果,参与最终的排名。
  4. 提交流程参考:决赛提交流程