图表内容
图表3:AI模型算力需求
Vision
Megatron-
.Games
BERT
Doubling every
e/ResNets
Doubling every
Deep belief networks
Doubling every 24 months-
TD-Gammom v2.1
LeNet-5
MLP-based
BiLSTM
for speech
GPU
NETtak
RNN for speech
computing
Pre-GPU computing
研究报告节选:
3.1 算力:AI 时代最具确定性的环节之一 AI 时代,算力就是生产力。AI 大模型的训练和推理都离不开强大算力支持,否则 AI 发展将受到生产力瓶颈的制约。据中国信通院数据,2021 年全球计算设备算力规模达到615 EFLOPS,同比增长 44%;华为 GIV 预测,2030 年人类有望迎来 YB 数据时代,全球算力规模达到 56 ZFLOPS,CAGR 达到 65%。而近年诞生的大模型都宛如“参数怪兽”,在算力资源的高度支持下,才能跑出理想表现,微软 New Bing 已经消耗了 Azure 近一半的算力资源,微软不得不在内部建立 Waitlist 制度以合理调度算力资源。