主流A1GC预训练模型一览表-小牛行研(hangyan.co)-AI驱动的行业研究数据服务

主流A1GC预训练模型一览表

研究报告节选:

预训练模型进一步打开了 AIGC 的技术和商业化可能。以往的生成模型存在使用门槛高、训练成本高、内容生成简单和质量偏低等劣势,而真实内容消费场景具备灵活多变、高精度、高质量等痛点要求。预训练模型的出现通过提高 AIGC 技术能力解决了上述问题。AI 预训练模型。即大模型、基础模型 (Foundation Model),其基于大量数据与巨量参数的模型,可适应下游广泛任务并显著提高各种下游任务的性能。AIGC 进入预训练模型时代以 2018 年谷歌发布基于 Transformer 机器学习方法的自然语言处理预训练模型 BERT 为标志。当前按照基本类型分类,预训练模型包括:(1)自然语言处理(NLP) 预训练模型,如谷歌的 LaMDA 和 PaLM、OpenAl 的 GPT 系列;(2)计算机视觉(CV)预训练模型,如微软的 Florence:(3)多模态预训练模型,即融合文字、图片、音视频等多种内容形式。
最后更新: 2023-03-07

相关行业研究图表


ChatGPT百度搜索指数大幅提升
ChatGPT百度搜索指数大幅提升-小牛行研(hangyan.co)-AI驱动的行业研究数据服务
OpenAl宣布开放ChatGPT和Whisper的API
OpenAl宣布开放ChatGPT和Whisper的API-小牛行研(hangyan.co)-AI驱动的行业研究数据服务
ChatGPT及Whisper API调用部署简便
ChatGPT及Whisper API调用部署简便-小牛行研(hangyan.co)-AI驱动的行业研究数据服务
ChatGPT训练模型
ChatGPT训练模型-小牛行研(hangyan.co)-AI驱动的行业研究数据服务
国企主要集中于传统媒体
国企主要集中于传统媒体-小牛行研(hangyan.co)-AI驱动的行业研究数据服务
训练大模型“预训练+精调”模式
训练大模型“预训练+精调”模式-小牛行研(hangyan.co)-AI驱动的行业研究数据服务

图表内容


表3:主流A1GC预训练模型一览表
公司
预训练模型
应用
参数量
BERT
语言理解与生成
4810亿
NLP
谷歌
LaMDA
对话系统
NLP