图表内容
图表16:预训练模型的不断扩大对A!芯片市场产生需求
使用单块V100
时间
机构
模型名称
模型规模
数据规模
的训练时间
2018.6
GPT-1
110M
4GB
3天
2018.1
BERT
330M
16GB
50天
2019.2
GPT-2
1.5B
40GB
200天
2019.7
RoBERTa
330M
160GB
3年
2019.1
TS
11B
800GB
66年
2020.6
GPT-3
175B
2TB
355年
2018-2023中国A1芯片市场规模及预测