GPT-3在不同参数数量下的平均性能-小牛行研(hangyan.co)-AI驱动的行业研究数据服务

GPT-3在不同参数数量下的平均性能

研究报告节选:

NPL 性能随参数数量上升持续提高。2020 年 7 月,OpenAI 发布了大密集语言模型GPT-3,GPT-3 有 1750 亿个参数,并基于 570Gb 的文本完成训练,相比只有 15 亿个参数的 GPT-2,规模增加产生了令人惊讶的效果:可以在未经训练或少量训练的情况下完成任务。通过实验发现,在零样本、单样本和少样本学习模式下,大模型参数数量都对任务完成准确度有正面影响。随着模型规模的增大,所有任务区域的平均准确度也相应提高。与零样本学习相比,少样本学习的准确度随着模型规模增大而提高的速度更快,说明给定较小的文本时大模型表现最佳。
《全球人工智能AI行业专题研究报告:大模型驱动AI全面提速,产业黄金十年投资周期开启》
阅读研究报告
最后更新: 2022-06-23

相关行业研究图表


AWS底层算力升级使得上层负载运行效率、性价比持续提升(min)
AWS底层算力升级使得上层负载运行效率、性价比持续提升(min)-小牛行研(hangyan.co)-AI驱动的行业研究数据服务
专家系统的本质是一个智能推荐系统,底层逻辑仍然需要工程师不断手动维护
专家系统的本质是一个智能推荐系统,底层逻辑仍然需要工程师不断手动维护-小牛行研(hangyan.co)-AI驱动的行业研究数据服务
自然语言处理过程
自然语言处理过程-小牛行研(hangyan.co)-AI驱动的行业研究数据服务
预计2030年人工智能算力需求(EFlops)
预计2030年人工智能算力需求(EFlops)-小牛行研(hangyan.co)-AI驱动的行业研究数据服务
Hopper架构通过追加一层layer处理transformer算法
Hopper架构通过追加一层layer处理transformer算法-小牛行研(hangyan.co)-AI驱动的行业研究数据服务
全球商用人工智能框架市场份额结构(2021)
全球商用人工智能框架市场份额结构(2021)-小牛行研(hangyan.co)-AI驱动的行业研究数据服务

图表内容


图84:GPT-3在不同参数数量下的平均性能
一少量样本
一单样本
一零样本
57.4%
60.0%
510%
50.0%
42.6%
40.0%
30.0%
20.0%
10.0%
参数数量
资料来源:斯坦福大学A!年度报告,中信证券研究部