提交需要账号

（1）已有账号，可以直接点击 右上角 【登陆】按钮、之后进到首页、点击【立即评测】按钮

（2）没有账号，需要点击可以直接点击 右上角 【注册】按钮、然后进行【登陆】，之后进到首页、点击【立即评测】按钮

提交样例地址：提交样例下载

所有提交文件命名规范

（1）必须包含任务集的小写字母，如提交afqmc的数据集预测结果文件命名需满足：afqmc_predict.json

（2）把9个任务的预测结果打包成zip压缩（文件名称为submit.zip, 注意不要放到一个文件夹下面，选择各个任务的预测文件，压缩即可）提交

（3）用户也可以不提交某个任务的数据集，只需提交已经做了的任务预测文件即可，如只提交分类任务。

分类数据集AFQMC、TNEWS'、IFLYTEK'、CMNLI、WSC、CSL

（1）这几个数据集提交的格式，每一行为一个json string, 需要带上 label值,（原则上需要提供id，但由于是逐行对比，不提供也行）

（2）严格按照 预测的输入文件 test.json 对应的行顺序进行输出（打分过程中只会读取label里面的属性值，与真实值逐个比较）

阅读理解数据集CMRC2018、DRCD、CHID、C3

（1）CMRC2018、DRCD(废弃中)、CHID、整个文件为 一个json，可以直接使用 json.loads(open(file_path).read())

（2）C3 数据集，添加了id，预测结果参考分类任务，使用acc准确率进行衡量，每一行为一个json string，需要带上id，label字段，因为数据打乱了

有两种可能

（1）提交文件命名不规范，即预测结果文件不符合命名规范

（2）提交文件压缩格式不对，不要带有文件夹哦（即不要把预测的json文件放到一个文件夹下面，选择所有json文件，压缩即可）

出现成绩都为0的问题，可参考问题2的提交格式规范，按要求提交即可，还望支持、理解。若还是有问题，可以在CLUE提交issue，我们会尽快为你修复。有好的建议也可以在那里提哦

鉴于大家多数还是以文件夹打包压缩的居多，现在也支持该格式！

【定义】：模型参数低于1/4的bert-base参数量

【目的】：衡量小模型的效果（与大模型对比，对小模型不公平）

【提交要求】：模型名称需要带有 "small" 、 "tiny" 、"little" 、 "petty" 进行标识

【目的】通过认证服务，推进模型开源和可复现，以便造福整个中文社区

【要求】

1、若要获得认证，需要提交的时候带上github或论文链接；并准备一个用于复现模型结果的项目

2、请发送认证请求到ChineseGLUE@163.com，在满足#1的条件下，我们会在7天内完成认证。

【结果】认证结果为：已认证，未认证

还请刷新下页面哦！

否。CLUE是一项无期限的竞赛，没有截止日期或设定结束日期。

训练数据集可以在https://github.com/CLUEbenchmark/CLUE 里面进行下载（可以单个数据集下个，整体下载也可以）

提交测试样例也可以在https://github.com/CLUEbenchmark/CLUE 里面进行下载（可以搜索 提交样例 找到下载链接）

主要的CLUE任务建立在现有数据集中并从现有数据集派生。我们建议用户参考每个数据集随附的原始许可证。

参考任务介绍页面 https://www.cluebenchmarks.com/introduce.html

单个文件的提交，需要放到文件夹下进行压缩（潜在bug，会存在文件压缩格式问题，排查中。。。）

多个文件的提交可以不用放到文件夹下

参考问题2，预测文件命名需要带有cluener字符（小写），放到文件夹（命名最好不要有中文、空格等）下压缩即可