https://github.com/NetEase-FuXi/EET

网易伏羲文本预训练模型，百亿参数

10B

https://github.com/CLUEbenchmark/CLUE

人类测评的得分

-

http://ex.chinadaily.com.cn/exchange/partners/82/rss/channel/cn/columns/snl9a7/stories/WS628df605a3101c3ee7ad730e.html

混元AI大模型团队依托公司领先的太极机器学习平台，推出了HunYuan-NLP 1T大模型。先后在热启动和课程学习、MOE路由算法、模型结构、训练加速等方面研究优化，大幅降低了万亿大模型的训练成本，用千亿模型热启动，最快仅用256卡在一天内即可完成万亿参数大模型HunYuan-NLP 1T的训练。

1T

https://github.com/alibaba/AliceMind

通义-AliceMind

480M

https://ailab.oppoer.me/ServiceDetail/asr

中文预训练模型CHAOS(Chinese Hierarchical Language Model Systems for Knowledge Transforming)，基于Encoder-Decoder的框架，使用了490GB高质量语料，范围包含百科、社区问答、新闻、娱乐、历史等。

3 Billions

github.com/meituan

文津预训练模型，encoder-decoder结构，百亿参数

10B

https://m.ofweek.com/ai/2022-07/ART-201700-8210-30566522.html

OBERT百亿模型，多任务预训练。

10b

https://github.com/Tencent

HunYuan_nlp，是混元AI大模型中的NLP 10b参数量级模型，由腾讯TEG主导，通过开源协同腾讯广告技术力量所研发的超大规模预训练模型。使用TB级高质量多领域文本数据，配合模型结构及训练策略的相关优化训练得到。

10b

https://github.com/xyznlp/XuanYuan

轩辕(XuanYuan)预训练模型

度小满AI-Lab自研的NLP预训练模型；涵盖金融、新闻、百科、网页等多领域大规模数据；基于Transformer架构的预训练语言模型。

https://mp.weixin.qq.com/s/CavGiy1Rz0MJVtcxXdSn0A

联合团队致力于将知识融入预训练模型，进而充分发挥已有参数下的模型潜力。模型结构方面，“神农”基于 Transformer 架构，仅包含十亿级的参数量。从数据量来看，“神农”以数百 GB 级的平文本做基石，涵盖百科、论坛博客、新闻、财经等众多领域的高质量文本。

基于知识的预训练模型

https://github.com/KuaiSearchPERKS/PERKS/

PERKS 预训练模型；快手社区、互联网网页、新闻、文化、娱乐、金融、游戏等诸多领域高质量大规模数据；Token-Level 和 Sentence-Level 预训练任务。

1B级别

distill-contrast

https://github.com/distill-contrast

330M

https://github.com/dbiir/UER-py

tiger

自研TI-NLP预训练大模型；百亿级别参数，6T高质量语料

https://mp.weixin.qq.com/s/PODShmOo0tg9cmchNhzvtw

自研神舟预训练大模型；百亿级别参数量，2TB 高价值数据（ensemble）

10B

https://github.com/MooreThreads

摩尔线程自研PTM，千G语料，多种上下游任务优化

340M

https://www.cluebenchmarks.com/github.com/tmp

Roberta

0.3B

https://github.com/CLUEbenchmark/CLUE

bert

1B

https://github.com/CLUEbenchmark/CLUE

CL-BERT

2B

https://github.com/CLUEbenchmark/CLUE

clbert

2B

https://github.com/autoliuweijie/K-BERT

roberta-xxlarge

1M