选项

成为Chinese GLUE组织的创始成员

你将可以 Benefits:

1、成功中国第一个中文任务基准测评的创始会员

2、能与其他专业人士共同贡献力量,促进中文自然语言处理事业的发展

3、参与部分工作后,获得已经清洗并预训练的后的、与英文wiki & bookCorpus同等量级、大规模的预训练语料,用于研究目的。

4、优先使用state of the art的中文预训练模型,包括各种体验版或未公开版本

如何参与 How to join with us:

发送邮件 CLUEbenchmark#163.com,简要介绍你自己、背景、工作或研究方向、你的组织、在哪方面可以为社区贡献力量,我们评估后会与你取得联系你。

中文基准测评成员

顾问:

张俊林,顾问。中国中文信息学会理事,中科院软件所博士,新浪微博机器学习团队AI Lab负责人。技术书籍《这就是搜索引擎:核心技术详解》(该书荣获全国第十二届优秀图书奖),《大数据日知录:架构与算法》的作者。

徐国强,顾问。MIT博士,平安集团上海Gammalab负责人。

陈哲乾,顾问。浙江大学计算机学院博士,一知智能联合创始人,2017年代表一知智能参加斯坦福大学的举办SQuAD机器阅读理解比赛,获得单模型组世界第二、多模型组世界第三的优异成绩。主导设计一知智能大脑项目。

创始会员

001 徐亮,会长,总负责人。昵称brightmart,中文任务基准测评发起人。多个预训练模型中文版、文本分类和数据集开源项目作者。

002 Danny Lan,首席学术指导、副会长。CMU博士,google AI 研究员,SOTA语言理解模型ALBERT第一作者。

003 张轩玮,Github项目负责人、北京负责人。硕士毕业于北京大学,目前在爱奇艺从事nlp有关的工作,之前做过热点聚合,文本分类,标签生成,机器翻译方面的工作。

004 李露,分类任务与测评负责人。华中师范大学在读研究生,获得2020年腾讯上半年新代码文化银奖。在平安科技实习时,主要负责利用序列标注和情感分类任务。在腾讯实习时,主要参与2D虚拟真人评测标准的构建。

005 董倩倩,文本生成与NER负责人。中科院自动化所博士在读,2017年度 AI Challenger 英中机器同声传译赛道冠军团队成员。主要研究语音翻译,曾参与多个中文NLP项目。

006 曹辰捷,阅读理解小组负责人。平安金融壹账通算法工程师,负责阅读理解和预训练相关业务,CMRC 2019阅读理解冠军团队成员。

007 喻聪,测评系统负责人。阿里健康算法工程师。主要研究多轮对话、意图识别、实体抽取、知识问答相关任务。

008 刘伟棠,CLUE主项目完善&pytorch负责人。浙江大华从事算法相关工作,主要负责警务、司法等文本建模、知识图谱构建工作。

009 胡海,新数据集负责人。美国印第安纳大学语言学系、计算语言学方向的博士生。主要的研究方向是自然语言推理、自然语言理解数据集收集和标注,以及句法树库标注。

管理执行委员会

覃立波 (忆臻),宣传负责人。哈尔滨工业大学社会计算与信息检索研究中心(SCIR)博士生,师从车万翔教授,中国中文信息学会学生委员,CCF-NLP走进高校战略合作媒体负责人之一。创办机器学习算法与自然语言处理社区突破50w+订阅人数, 阅读超过2千万。并且,他倡导创立的ACL/EMNLP/AAAI/IJCAI等万人国际顶会交流群极大的方便了国内同学们的交流讨论,受到国内同行一致好评。曾获字节跳动奖学金(中国10人),百度奖学金(全球10人)。

李俊毅,对外联络负责人。硕士毕业于爱丁堡大学人工智能方向。目前在电子科学研究院,负责自然语言平台与对话系统的设计研发工作,研究方向目前为对话系统,兴趣方向为对话、阅读理解与机器翻译。之前在美团点评负责 NLP 平台。

会员

011 李鹏,会员。2013年博士毕业于上海交通大学计算机系,研究方向是自然语言处理。后在美国得克萨斯大学做博士后,研究方向是深度学习在NLP中的应用。2016年归国后加入腾讯优图实验室从事深度学习在NLP和图像中的应用。2019年加入阿里巴巴(阿里云)进行自然语言处理方面的研究工作

012 杨振宇,博士,广东省领军人才计划入选者,现为OPPO语音助手算法负责人。于2005年本科毕业于中国科学技术大学,并继而留本校硕博连读,并于2010年获中国科学技术大学博士学位,主要研究方向为AI算法与应用,发表论文20余篇,第一作者代表作最高单篇他引700余次(谷歌学术:https://scholar.google.com/citations?user=rZ15gC4AAAAJ&hl=zh-CN)。博士毕业后曾在国防科学技术大学任教,2015年后加入工业界,曾任深圳追一科技有限公司首席科学家(机器之心专访:https://www.geekpark.net/news/227912),2018年加入OPPO后,专注与OPPO语音助手核心算法技术研发。

013 廖益玄,会员。在NLP领域从业多年,尤其在对话系统方面有丰富的行业经验,2012年曾作为聚熵智能的早期创始人之一,牵头完成了语音助手智能360、小智音箱等智能交互系统的研发。目前在vivo深圳AI研究院担任NLP算法组负责人一职,目前主要研究方向为智能对话系统和文本内容理解,我们提供的技术支撑了包括Jovi语音助手在内的多个AI产品,影响了上亿的用户。

014 李煜东,会员。中国地质大学(北京)在读硕士,中南大学本科毕业。研究方向为自然语言处理(文本生成)、服务计算。

015 赵其鹏,会员。现在在北京一家公司任技术部门负责人,主要负责公司技术项目的研发和管理。本人2014年硕士毕业于合肥工业大学,方向为计算机视觉。最近几年因工作需要和个人兴趣等原因,开始逐渐关注NLP,并以此作为长期的兴趣方向。

016 史博,会员。本科和硕士研究生均毕业于北京大学信息科学技术学院智能科学技术系,毕业后就职于北京出门问问有限科技公司,从事NLP相关的研发工作,曾在微软小冰和百度实习,日后希望能在NLP领域继续学习和工作。

017 徐叶琛 ,会员。浙江大学研究生,一知智能算法实习生。目前在做模型预训练 & 蒸馏、阅读理解方面工作。

019 刘少韦华,会员。本科毕业于哈尔滨工业大学,硕士毕业于东南大学。曾在滴滴出行城市交通事业部实习,方向为交通网络建模、城市大脑;目前在杭州一知智能科技有限公司担任NLP算法工程师一职,主要研究方向为对话系统中的意图识别、关系实体识别,参与知识图谱相关调研工作;常用框架是Keras/Tensorflow。

020 田垠,会员。硕士毕业于浙江大学,网易算法工程师,方向主要为基于知识图谱的推理引擎、文字检测。

021 刘才权,会员。目前在VIVO AI研究院从事NLP算法研发工作,热爱开源和分享,希望能加入社区,参与社区建设。

022 岳聪,会员。北京大学硕士,已毕业工作3年。在AI独角兽出门问问NLP组,负责问答系统。

023 谢炜坚,会员。百度大数据部,算法工程师,从事NLP相关工作,包括任务驱动型对话、检索式问答、语义匹配、文本分类、情感分析等工作。

024 王荣钊,会员。北京大学数学科学学院读研究生,目前在微软NLP Group参与实习。做过一些NLU的相关任务,熟悉常见的模型,训练过一些LU的任务以及一些机器翻译的任务,对pytorch比较熟悉。

025 刘智静,会员。毕业于北大应用统计专业(本科中山大学数计院),目前在腾讯的应用研究岗工作两年。平时的工作主要是做文本分类任务,使用业务数据集在Bert/ALBert等新模型上finetune,择优上线。框架用的是TensorFlow;对数据清洗、筛选等也比较感兴趣。

026 张鑫睿,会员。华南农业大学硕士研究生(已毕业),目前在顺丰科技有限公司任人工智能与机器学习副工程师,研究方向为任务型对话系统、FAQ问答、阅读理解(CMRC2019亚军团队成员)等,可以结合ChineseGLUE数据集对当前主流模型进行准确率预测。

027 陆晓静,会员。来自云知声智能科技公司,目前在云知声AI labs认知医疗团队任NLP算法研究员一职。我们团队目前在做医疗领域的一些NLP的研究及工程项目。

028 杨正良,会员。华中师范大学毕业。2019中国‘法研杯’司法人工智能挑战赛-阅读理解任务 第四名。 现任泰康在线,互联网金融实验室担任NLP算法工程师,专注于NLP相关项目落地,主要研究方向包含文本分类、语义相似度匹配、阅读理解、问题生成等。

029 许皓天,会员。清华电子系毕业,目前在阿里cro线,负责模型蒸馏、领域自适应、相似检索、多语言迁移、弱监督学习等相关工作。

志愿者 Volunteers

胡锦毅,志愿者。清华大学计算机系,大三,在清华大学自然语言处理与社会人文计算实验室研究学习,导师是孙茂松教授;“九歌”人工智能诗歌创作系统2.0,获CCL2019最佳系统展示奖。

盛泳潘,志愿者。电子科技大学博士,后续将尝试用中文领域的data做知识图谱构建以及语义依存分析等问题。

谢恩宁,志愿者。大搜车,围绕汽车领域语对话机器人,负责NLU部分。

郑少棉,志愿者。来自于招行人工智能实验室,取得过2019人工智能几个比赛top3,主要研究阅读理解和事件抽取。

谢恩宁,志愿者。大搜车,围绕汽车领域语对话机器人,负责NLU部分。

杜则尧,GPT2-Chinese作者。

更多会员和志愿者,陆续添加中。。。

任务清单

1、搜集、挖掘1个有代表性的数据集,一般为分类或句子对任务 (需要额外5个数据集)

2、阅读理解任务转化成句子对任务(如线索与问题或答案),并做测评,数据应拆分成训练、验证和测试集。

3、基线模型baselises在特定任务模型的训练、预测的方法和脚本(支持PyTorch、Keras);

4、对当前主流模型(如bert/bert_wwm_ext/roberta/albert/ernie/ernie2.0等),结合ChineseGLUE的数据集,做准确率测试。

如: XLNet-mid在LCQMC数据集上做测试

5、是否还有没有参与测评的模型?

其他

6、排行榜landing页

7、介绍中文语言理解测评基准(ChineseGLUE)

8、测评系统主要功能开发

贡献你的力量,从今天开始

与社区共享您的数据集或立即做出贡献!只需发送电子邮件至chineseGLUE#163.com,

或加入QQ群:836811304

Copyright @2019