选项

成为Chinese GLUE组织的创始成员

你将可以 Benefits:

1、成功中国第一个中文任务基准测评的创始会员

2、能与其他专业人士共同贡献力量,促进中文自然语言处理事业的发展

3、参与部分工作后,获得已经清洗并预训练的后的、与英文wiki & bookCorpus同等量级、大规模的预训练语料,用于研究目的。

4、优先使用state of the art的中文预训练模型,包括各种体验版或未公开版本

如何参与 How to join with us:

发送邮件 chineseGLUE#163.com,简要介绍你自己、背景、工作或研究方向、你的组织、在哪方面可以为社区贡献力量,我们评估后会与你取得联系你。

任务清单

1、搜集、挖掘1个有代表性的数据集,一般为分类或句子对任务 (需要额外5个数据集)

2、阅读理解任务转化成句子对任务(如线索与问题或答案),并做测评,数据应拆分成训练、验证和测试集。

3、基线模型baselises在特定任务模型的训练、预测的方法和脚本(支持PyTorch、Keras);

4、对当前主流模型(如bert/bert_wwm_ext/roberta/albert/ernie/ernie2.0等),结合ChineseGLUE的数据集,做准确率测试。

如: XLNet-mid在LCQMC数据集上做测试

5、是否还有没有参与测评的模型?

其他

6、排行榜landing页

7、介绍中文语言理解测评基准(ChineseGLUE)

8、测评系统主要功能开发

贡献你的力量,从今天开始

与社区共享您的数据集或立即做出贡献!只需发送电子邮件至chineseGLUE#163.com,

或加入QQ群:836811304

Copyright @2019