图表内容
图5:1970-2020年处理器中晶体管数量的增长趋势(纵坐标为指数增长)
Transistor count
o83:8818
1000.00
1.000
研究报告节选:
第二重飞跃:芯片发展遵循摩尔定律,算力得到质的提升。摩尔定律指出芯片上可容纳的晶体管数目,约每隔 18 个月便会增加一倍,性能也将提升一倍。1945 年世界上第一台计算机ENIAC 的速度是能在一秒内完成 5000 次定点的加减法运算,到 2007 年采用英特尔酷睿芯片的个人电脑计算速度为每秒 500 亿次浮点运算,是 ENIAC 的 1000 万倍,体积和耗电量却小了很多;到 2012 年全球最快的计算机 IBM 的红杉的计算速度为 1.6 亿亿次,比 19 个月前竟提高了将近 6 倍。(数据来源:吴军《浪潮之巅》)通过以上几组数据可以发现,自 2006年 Geoffrey Hinton 发布有关深度学习的文章后,计算机的算力得到了质的提升,可以有效的支撑大规模的模型训练。 图 5:1970-2020 年处理器中晶体管数量的增长趋势(纵坐标为指数增长)