常见问题

1. 怎么提交?

提交需要账号

(1)已有账号,可以直接点击 右上角 【登陆】按钮、之后进到首页、点击【立即评测】按钮

(2)没有账号,需要点击可以直接点击 右上角 【注册】按钮、然后进行【登陆】,之后进到首页、点击【立即评测】按钮

2. 提交的文件有啥格式要求吗?

提交样例地址:提交样例下载

所有提交文件命名规范

(1)必须包含任务集的小写字母,如提交afqmc的数据集预测结果文件命名需满足:afqmc_predict.json

(2)把9个任务的预测结果打包成zip压缩(文件名称为submit.zip, 注意不要放到一个文件夹下面,选择各个任务的预测文件,压缩即可)提交

(3)用户也可以不提交某个任务的数据集,只需提交已经做了的任务预测文件即可,如只提交分类任务。

分类数据集AFQMC、TNEWS'、IFLYTEK'、CMNLI、WSC、CSL

(1)这几个数据集提交的格式,每一行为一个json string, 需要带上 label值,(原则上需要提供id,但由于是逐行对比,不提供也行)

(2)严格按照 预测的输入文件 test.json 对应的行顺序进行输出(打分过程中只会读取label里面的属性值,与真实值逐个比较)

阅读理解数据集CMRC2018、DRCD、CHID、C3

(1)CMRC2018、DRCD(废弃中)、CHID、整个文件为 一个json,可以直接使用 json.loads(open(file_path).read())

(2)C3 数据集,添加了id,预测结果参考分类任务,使用acc准确率进行衡量,每一行为一个json string,需要带上id,label字段,因为数据打乱了

3. 为什么提交后各任务的成绩都为0?

有两种可能

(1)提交文件命名不规范,即预测结果文件不符合命名规范

(2)提交文件压缩格式不对,不要带有文件夹哦(即不要把预测的json文件放到一个文件夹下面,选择所有json文件,压缩即可)

出现成绩都为0的问题,可参考问题2的提交格式规范,按要求提交即可,还望支持、理解。若还是有问题,可以在CLUE提交issue,我们会尽快为你修复。有好的建议也可以在那里提哦

鉴于大家多数还是以文件夹打包压缩的居多,现在也支持该格式!

4. 小模型排行榜

【定义】:模型参数低于1/4的bert-base参数量

【目的】:衡量小模型的效果(与大模型对比,对小模型不公平)

【提交要求】:模型名称需要带有 "small" 、 "tiny" 、"little" 、 "petty" 进行标识

5. 如何认证?

【目的】通过认证服务,推进模型开源和可复现,以便造福整个中文社区

【要求】

1、若要获得认证,需要提交的时候带上github或论文链接;并准备一个用于复现模型结果的项目

2、请发送认证请求到ChineseGLUE@163.com,在满足#1的条件下,我们会在7天内完成认证。

【结果】认证结果为:已认证,未认证

6. 为什么我已经登陆,还是无法提交?

还请刷新下页面哦!

7. 是否有最后期限?

否。CLUE是一项无期限的竞赛,没有截止日期或设定结束日期。

8. 在哪里可以获得任务的数据?

训练数据集可以在https://github.com/CLUEbenchmark/CLUE 里面进行下载(可以单个数据集下个,整体下载也可以)

提交测试样例也可以在https://github.com/CLUEbenchmark/CLUE 里面进行下载(可以搜索 提交样例 找到下载链接)

9. CLUE数据以什么许可证分发?

主要的CLUE任务建立在现有数据集中并从现有数据集派生。我们建议用户参考每个数据集随附的原始许可证。

10. 数据集来自哪里?

参考任务介绍页面 https://www.cluebenchmarks.com/introduce.html

11. 单个任务文件提交的问题?

单个文件的提交,需要放到文件夹下进行压缩(潜在bug,会存在文件压缩格式问题,排查中。。。)

多个文件的提交可以不用放到文件夹下

12. 怎么提交到NER排行榜上来?

参考问题2,预测文件命名需要带有cluener字符(小写),放到文件夹(命名最好不要有中文、空格等)下压缩即可

Copyright @2019