资格审查流程

资格审查概述

参赛队伍需要将“资格赛最终提交结果”对应的模型和源代码提交至组委会。“资格赛最终提交结果”指代的是每支队伍最终参与资格赛排名所对应的结果。

重要提醒：资格审查提交的模型将作为决赛阶段的其中一个模型。另外一个模型在决赛阶段提交，两者取测试集效果高者作为决赛成绩。

举例

  • 参赛队伍：A队伍最终在资格赛榜单上的结果为74.2%，其对应的prediction文件为a.json。则A队伍需要将生成a.json对应的程序进行打包，发送给组委会进行审查。
  • 组委会：通过运行参赛队伍提交的程序生成prediction文件b.json。比对b.json是否和线上的a.json文件内容一致。同时根据系统描述文档审查系统是否符合大赛各项要求。

主要审查内容

  1. 开发集与测试集结果是否存在较大差异。
  2. 源代码和模型能否准确地复现资格赛提交结果。
  3. 训练数据是否符合大赛要求。再次强调：不能将开发集放入训练集进行训练。 见：数据要求
  4. 队伍是否存在违反比赛规则的行为（例如注册多个账号等）。
  5. 源程序zip压缩包应小于10G限制。

重要时间

提交代码时间：2022年8月1日-2022年8月7日 23:59（北京时间，UTC+8）

资格审查结果通知时间：2022年8月15日

注： 1、资格审查结果仅公布是否通过，即是否进入最终决赛，不会告知测试集结果。 2、超时未提交则视为放弃比赛。

提交流程

所有队伍将采用线下评测的方式提交代码，参赛队伍需要将打包好的zip文件发送给组委会。

zip文件应按以下规范进行整理：

  1. 必须包含运行程序必要的源代码和模型文件。
  2. 程序主入口为单个shell脚本，即run.cmrc.sh（抽取型）或run.c3.sh（选择型）。运行格式为run.sh input_file output_file，其中input_file为数据集JSON文件、output_file为模型输出文件JSON文件。如程序包含多个步骤，请放在run.sh内处理。
  3. 系统描述文档，简要填写系统的主要情况，包括训练数据来源和大小、程序运行环境说明（包括依赖的库及其版本）等。描述文档请使用模板填写：模板下载地址
  4. 系统描述文档和zip压缩包请分别命名为cmrc2022_system_NAME（.docx/.zip），其中NAME为codalab账号名。
  5. 准备好上述压缩包后，请队伍联络人使用注册邮箱将zip压缩包发至组委会邮箱cmrc2022@126.com。推荐使用百度网盘或阿里网盘等，请勿使用小众且限速的网盘。 
    邮件主题：CMRC2022资格审查代码提交（codalab名：）
邮件内容：（自拟）
（附源程序zip压缩包）

注意：

  1. 由于有一周的时间准备代码，提交之前请务必线下测试好再发送。
  2. 因参赛队伍自身问题导致程序无法运行等情况，其后果由参赛队伍自行承担。
  3. 参赛队伍应预留一定时间，提早提交代码（而不是在最后一刻提交），以免程序出现bug导致拖慢进度，甚至失去决赛资格。
  4. 请勿尝试访问开发集或测试集的标签（label），此部分已做相应处理。

隐私声明

参赛选手所提交的代码和模型将保存至本届评测结束，以便CMRC 2022以及CCL 2022委员会备查。 除以上用途外，相关资源不会透露给第三方，并将在评测结束后在服务器上彻底删除。