图表内容
图84:GPT-3在不同参数数量下的平均性能
一少量样本
一单样本
一零样本
57.4%
60.0%
510%
50.0%
42.6%
40.0%
30.0%
20.0%
10.0%
参数数量
资料来源:斯坦福大学A!年度报告,中信证券研究部
研究报告节选:
NPL 性能随参数数量上升持续提高。2020 年 7 月,OpenAI 发布了大密集语言模型GPT-3,GPT-3 有 1750 亿个参数,并基于 570Gb 的文本完成训练,相比只有 15 亿个参数的 GPT-2,规模增加产生了令人惊讶的效果:可以在未经训练或少量训练的情况下完成任务。通过实验发现,在零样本、单样本和少样本学习模式下,大模型参数数量都对任务完成准确度有正面影响。随着模型规模的增大,所有任务区域的平均准确度也相应提高。与零样本学习相比,少样本学习的准确度随着模型规模增大而提高的速度更快,说明给定较小的文本时大模型表现最佳。