资格赛提交流程

资格赛提交网址

https://codalab.lisn.upsaclay.fr/competitions/4827

注意：请使用评测注册时填报的codalab账号进行结果提交，非注册人员无资格提交结果。

提交基本原则（重要）

所有参赛队伍只需在资格赛结束前 至少提交一次 并将结果 公开显示 在排行榜。这里的“提交”指的是将submission在后台提交到codalab并获得相应结果，而“公开显示”指的是从后台提交的多个结果中选取其中一个公开显示在排行榜上（即公开榜单里要显示出你的账号名和成绩）。
资格赛以截止时间在榜单上公开显示的结果做为判定依据，届时未在公开排行榜中显示的结果（即选手没有将任一结果显示在排行榜）被视为主动放弃资格赛排名。
参赛队伍可自主决定在排行榜中显示的是哪一次的提交结果，资格赛截止后不允许对榜单做任何修改。
需要提醒的是，如果选手最后保留在公开榜单上的结果进入了该赛道的前10位，其结果对应的模型和代码需要提交给组委会进行资格审查。资格审查具体流程请查看：资格审查流程

准备工作

在提交结果之前，请完成下述准备工作（仅需一次）。

打开CodaLab Competition，登陆后点击右上角菜单中的“Settings”。

image-center

在Team name里填写队伍名

image-center

下方的复选框请按需自行选择，建议按照下图进行设置。

image-center

提交流程（试验集、开发集、资格集均一致）

请参赛队伍按照如下步骤提交结果。

准备预测文件

预测文件格式（json格式）：

{
  "key_name": {
  "answer": "YOUR_ANSWER", 
  "evidence": "YOUR_EVIDENCE"},
  "key_name2": {
  "answer": "YOUR_ANSWER", 
  "evidence": "YOUR_EVIDENCE"},
  ...
}

提示：

key_name：

在抽取式阅读理解（CMRC 2018）中为qid
在选择型阅读理解（C3）中是id和问题排列顺序（从0开始）之间加-连接起来的，例如id是00052cc8的第1个问题，则key_name为00052cc8-0。因此不要对问题顺序进行shuffle，否则会导致id错乱~。

answer：

在抽取式阅读理解（CMRC 2018）中为抽取出来的篇章片段
在选择型阅读理解（C3）中为正确选项编号，即”A/B/C/D”

evidence：从篇章中抽取出的某个连续的片段（即通过start和end指针抽取出的文本片段）作为证据文本。

提交文件样例可参考：https://github.com/ymcui/expmrc/tree/main/sample_submission

线下测试

由于线上线下测试脚本均为官方评测脚本eval_expmrc.py，请务必先在线下测试无误后再提交到线上。

> python eval_expmrc.py 开发集.json 待提交结果.json

结果示例：

{
  "ALL_F1": "56.937", 
  "ANS_F1": "82.848", 
  "EVI_F1": "67.507", 
  "TOTAL": 515, 
  "SKIP": 0, 
  "VERSION": "expmrc-cmrc2018-1.0", 
  "FILE": "dev_predictions.json"
}