GPU计算崛起

计算瓶颈

早期AI的计算困境

在GPU之前，AI训练面临严重的计算瓶颈：

• 神经网络需要大量矩阵运算
• CPU擅长串行计算，处理矩阵效率低
• 训练一个中等规模网络需要数周甚至数月
• 研究者无法快速迭代实验

神经网络为什么需要GPU

神经网络的计算特点：

• 大量并行：同一层神经元计算独立
• 矩阵运算：前向传播和反向传播都是矩阵乘法
• 访存密集：需要频繁读写大量数据
• 精度要求适中：不需要CPU的高精度

CPU的局限

CPU的设计目标不同：

• 少量强大的核心（8-64核）
• 擅长处理复杂逻辑和分支
• 高主频但并行能力有限
• 浮点运算单元少

CUDA革命

NVIDIA的前瞻性

2007年，NVIDIA推出CUDA（Compute Unified Device Architecture）：

• 让GPU可用于通用计算
• 提供C语言编程接口
• 开发者可以编写在GPU上运行的程序
• 最初的动机是科学计算和图形处理

CUDA的意义

CUDA改变了GPU的角色：

• 从专用图形处理器变成通用并行处理器
• 大幅降低并行编程门槛
• 建立了GPU计算的软件生态
• 为深度学习时代埋下伏笔

早期应用

CUDA最初在以下领域获得成功：

• 科学模拟（物理、化学、生物）
• 金融计算（期权定价、风险分析）
• 视频编码和解码
• 密码学

深度学习时代

AlexNet的GPU使用

2012年，AlexNet的成功证明了GPU的价值：

• 使用2块GTX 580 GPU
• 每块3GB显存
• 训练时间5-6天
• 同样的模型用CPU需要数周

深度学习框架的GPU支持

深度学习框架纷纷支持GPU：

• Caffe (2013)：早期主流框架，GPU支持良好
• Theano：自动生成GPU代码
• TensorFlow (2015)：Google开源，广泛支持
• PyTorch (2016)：动态图，易用性强

训练加速效果

NVIDIA崛起

从游戏公司到AI霸主

NVIDIA的转型之路：

• 1993年成立：专注图形处理器
• 2007年CUDA：开启GPU计算时代
• 2012年后：深度学习推动需求爆发
• 现在：市值超万亿美元，AI算力霸主

股价与AI发展

NVIDIA股价反映了AI的发展：

• 2012年：约$3（AlexNet前）
• 2016年：约$50（深度学习热潮）
• 2020年：约$150（疫情和数据中心）
• 2024年：超$800（生成式AI爆发）

产品演进

现代GPU架构

Tensor Core

NVIDIA为AI引入的专用计算单元：

• 专门针对矩阵乘法优化
• 支持混合精度计算
• 一个时钟周期完成4×4矩阵乘加
• 训练速度提升数倍

显存演进

模型规模增长推动显存需求：

• 早期：3-6GB
• 中期：12-24GB
• 现在：40-80GB（H100 80GB）
• 大模型：需要多卡并行

互联技术

多GPU训练需要高速互联：

• NVLink：GPU间高速互联，900GB/s
• NVSwitch：多GPU全互联
• PCIe：传统接口，约64GB/s

未来趋势

专用AI芯片

GPU之外的新选择：

• Google TPU：专为TensorFlow优化
• Apple M系列：统一内存架构
• Intel Habana：专用AI加速器
• 创业公司：Graphcore、SambaNova等

算力需求增长

模型规模持续扩大：

• GPT-3训练消耗约355 GPU年
• GPT-4训练消耗更多
• 下一代模型需要万卡集群
• 算力需求年增长超过10倍

挑战与机遇

• 能耗问题：AI训练消耗大量电力
• 成本问题：高端GPU昂贵且稀缺
• 供应链：地缘政治影响
• 创新空间：更高效的架构