GPT-3在不同参数数量下的平均性能-小牛行研(hangyan.co)-AI驱动的行业研究数据服务

GPT-3在不同参数数量下的平均性能

研究报告节选:

NPL 性能随参数数量上升持续提高。2020 年 7 月,OpenAI 发布了大密集语言模型GPT-3,GPT-3 有 1750 亿个参数,并基于 570Gb 的文本完成训练,相比只有 15 亿个参数的 GPT-2,规模增加产生了令人惊讶的效果:可以在未经训练或少量训练的情况下完成任务。通过实验发现,在零样本、单样本和少样本学习模式下,大模型参数数量都对任务完成准确度有正面影响。随着模型规模的增大,所有任务区域的平均准确度也相应提高。与零样本学习相比,少样本学习的准确度随着模型规模增大而提高的速度更快,说明给定较小的文本时大模型表现最佳。
最后更新: 2022-06-23

相关行业研究图表


厂商积极构建流程洞察到自动化的逻辑闭环
厂商积极构建流程洞察到自动化的逻辑闭环-小牛行研(hangyan.co)-AI驱动的行业研究数据服务
Hopper架构通过追加一层layer处理transformer算法
Hopper架构通过追加一层layer处理transformer算法-小牛行研(hangyan.co)-AI驱动的行业研究数据服务
GPT-3在不同参数数量下的平均性能
GPT-3在不同参数数量下的平均性能-小牛行研(hangyan.co)-AI驱动的行业研究数据服务
美股两大A|相关企业股价走势(美元)
美股两大A|相关企业股价走势(美元)-小牛行研(hangyan.co)-AI驱动的行业研究数据服务
2021上半年中国A1服务器市场结构
2021上半年中国A1服务器市场结构-小牛行研(hangyan.co)-AI驱动的行业研究数据服务
中国公有云市场规模及结构(亿元)
中国公有云市场规模及结构(亿元)-小牛行研(hangyan.co)-AI驱动的行业研究数据服务

图表内容


图84:GPT-3在不同参数数量下的平均性能
一少量样本
一单样本
一零样本
57.4%
60.0%
510%
50.0%
42.6%
40.0%
30.0%
20.0%
10.0%
参数数量
资料来源:斯坦福大学A!年度报告,中信证券研究部