图表内容
表3:主流A1GC预训练模型一览表
公司
预训练模型
应用
参数量
BERT
语言理解与生成
4810亿
NLP
谷歌
LaMDA
对话系统
NLP
研究报告节选:
预训练模型进一步打开了 AIGC 的技术和商业化可能。以往的生成模型存在使用门槛高、训练成本高、内容生成简单和质量偏低等劣势,而真实内容消费场景具备灵活多变、高精度、高质量等痛点要求。预训练模型的出现通过提高 AIGC 技术能力解决了上述问题。AI 预训练模型。即大模型、基础模型 (Foundation Model),其基于大量数据与巨量参数的模型,可适应下游广泛任务并显著提高各种下游任务的性能。AIGC 进入预训练模型时代以 2018 年谷歌发布基于 Transformer 机器学习方法的自然语言处理预训练模型 BERT 为标志。当前按照基本类型分类,预训练模型包括:(1)自然语言处理(NLP) 预训练模型,如谷歌的 LaMDA 和 PaLM、OpenAl 的 GPT 系列;(2)计算机视觉(CV)预训练模型,如微软的 Florence:(3)多模态预训练模型,即融合文字、图片、音视频等多种内容形式。