图表内容
图4：大模型参数量和训练数据规模增长
大模型参数量、训川练数据规模快速增长
盘古
GPT-3
T5
GPT-2
悟道2.0
BERT
Switch Transformer
GPT
2018.062018.102019.022019.102020.062021.012021.042021.06
·一参数规模
·一数据规模
资料来源：中国信通院，HT
大模型参数量和训练数据规模增长
研究报告节选:
大模型，即超大规模预训练模型，其对运算速度与算法的要求极高，因而需要充足的芯片资源支持与复杂的机器学习算法支撑。自 OpenAI 于 2020 年推出 GPT-3以来，谷歌、华为、智源研究院、中科院、阿里巴巴等企业和研究机构相继推出超大规模预训练模型，包括 Switch Transformer、DALL*E、MT-NLG、盘古、悟道 2.0、紫东太初和 M6，不断刷新各榜单纪录。百度 ERNIE3.0 模型在自然语言理解任务上的综合评分（GLUE）已达 90%以上，智源悟道文澜模型在多源图文数据集评分（RUC-CAS-wenlan）相比 OpenAI 的 CLIP 模型大幅提升 37%。根据中国信通院的预计，当前，预训练模型参数数量、训练数据规模正按照 300 倍/年的趋势增长，大模型算法和增加训练数据仍是短期内的演进方向；另外，跨模态预训练大模型日益普遍，已经从早期只学习文本数据，到联合学习文本和图像，再到如今可以处理文本、图像、语音三种模态数据，未来使用更多种图像编码、更多种语言、以及更多类型数据的预训练模型将会继续涌现，是实现人工智能通用化的有益探索。最后更新: 2022-05-27
相关行业研究图表
未来5年毛利率测算
公司盈亏平衡点测算
公司历年收入和增长率（百万人民币）
公司中长期收入规模预测
A1典型厂商对比表
中国人工智能市场规模（亿美元）
图4：大模型参数量和训练数据规模增长
大模型参数量、训川练数据规模快速增长
盘古
GPT-3
T5
GPT-2
悟道2.0
BERT
Switch Transformer
GPT
2018.062018.102019.022019.102020.062021.012021.042021.06
·一参数规模
·一数据规模
资料来源：中国信通院，HT
