扫码关注
公众号二维码

中文语言理解测评基准(CLUE)

内容体系:代表性的数据集、基线(预训练)模型、语料库、论文、工具包、排行榜。

SuperCLUE使命:精准量化AGI进展,定义人类迈向AGI路线图

CLUE定位:为更好的服务中文语言理解、任务和产业界,做为通用语言模型测评的补充,通过搜集整理发布中文任务及标准化测评等方式完善基础设施,最终促进中文NLP的发展。


                                       更新24年5月24日:
★ LangYB领先国产大模型匿名对战(预览版)
                                       更新24年6月04日: ★ 新增Hard模式!SuperCLUE通用基准6月发布时间、测评升级
                                       24年5月30日: SuperCLUE-Long:中文原生长文本测评基准
                                       24年4月30日: 《中文大模型基准测评2024年4月报告》 阅读报告全文
                                       24年5月16日: SuperCLUE-V: 中文原生多模态理解测评基准
                                       24年5月14日: GPT-4o登顶中文推理基准,总分81.73,刷新数学和代码最好成绩
                                       24年5月11日: 通义千问2.5全面赶超GPT-4 Turbo?定量分析  |   深度求索DeepSeek-V2中文推理任务表现强劲!开源MOE
                                       24年5月7日: SuperCLUE-Image: 中文原生文生图测评基准(视觉盛宴)
                                       24年4月25日: SuperCLUE-ICabin:汽车智能座舱大模型测评基准
                                       24年4月24日: 金融大模型基准测评:覆盖六大类二十五项任务,首批2个国内模型获A
                                       24年4月22日: Llama3中文基准测评出炉!性能惊艳,数学推理、代码生成能力解决GPT-4
                                       24年4月15日: SuperCLUE-RAG: 中文原生检索增强生成测评基准-首批结果公布
                                       24年4月1日: SuperCLUE-200K: 超长文本无损能力压测!中文大模型“大海捞针”首批结果公布
                                       24年4月2日: SuperCLUE-Role: 重新定义中文角色大模型测评基准
                                       24年2月28日: 中文大模型基准测评2024年2月报告
                                       24年3月4日: SuperCLUE-Industry: 中文原生工业大模型测评基准
                                       24年2月26日: SuperCLUE-Video: 中文原生多层次文生视频测评基准
                                       24年2月21日: SuperCLUE-Code3: 中文原生端到端等级化代码能力测试基准
                                       24年1月15日: SuperCLUE-Math6: 新一代中文原生多轮多步数学推理数据集
                                       23年12月25日: SuperCLUE-Auto即首个汽车行业中文大模型测评基准发布
                                       23年11月28日: 《中文大模型测评报告,2023》发布
                                       23年11月30日: 11月中文大模型测评基准榜单发布
                                       23年11月14日: SuperCLUE2行业测评基准即将发布,正在征集行业大模型!
                                       23年11月09日: GPT-4 Turbo中文基准评测出炉!总分98.4,八项满分,领先31分|SuperCLUE
                                       23年10月18日: SuperCLUE-Agent发布!中文原生场景Agent能力测评基准
                                       23年09月12日: 为大模型安全护航!中文大模型多轮对抗安全基准SC-Safety发布                                        

Copyright @2019 - 2023