cuDNN加速

cuDNN核心价值

cuDNN核心价值：
├── 高性能实现
│   ├── 针对NVIDIA GPU深度优化
│   ├── 利用Tensor Core加速
│   └── 自动选择最优算法
│
├── 功能完备
│   ├── 卷积运算 (前向/反向)
│   ├── 池化运算
│   ├── 激活函数
│   ├── 归一化层
│   └── RNN/LSTM
│
├── 易于集成
│   ├── PyTorch内置
│   ├── TensorFlow内置
│   └── 其他框架支持
│
└── 持续更新
    ├── 支持新GPU架构
    ├── 支持新算子
    └── 性能持续提升

cuDNN主要功能模块

cuDNN卷积算法

cuDNN支持的卷积算法：
├── IMPLICIT_GEMM
│   ├── 通用实现
│   ├── 无额外显存
│   └── 适合小batch
│
├── IMPLICIT_PRECOMP_GEMM
│   ├── 预计算优化
│   ├── 需要额外显存
│   └── 性能较好
│
├── GEMM
│   ├── 矩阵乘法展开
│   ├── 需要im2col
│   └── 大矩阵高效
│
├── DIRECT
│   ├── 直接卷积
│   └── 特定场景优化
│
├── FFT
│   ├── 傅里叶变换
│   ├── 适合大卷积核
│   └── 高内存开销
│
├── WINOGRAD
│   ├── Winograd算法
│   ├── 3x3卷积高效
│   └── 中等内存开销
│
└── WINOGRAD_NONFUSED
    ├── 非融合Winograd
    └── 更大灵活性

算法选择策略：
├── cuDNN自动选择最优算法
├── 可手动指定算法
├── 考虑显存限制
└── 考虑输入尺寸

cuDNN算法选择机制

cuDNN算法选择API：
┌──────────────────────────────────────────┐
│ cudnnFindConvolutionForwardAlgorithm    │
│ ├── 自动寻找最优算法                     │
│ ├── 考虑性能和显存                       │
│ └── 可能较耗时                           │
│                                          │
│ cudnnGetConvolutionForwardAlgorithmMaxCount │
│ └── 获取可用算法数量                     │
│                                          │
│ cudnnGetConvolutionForwardAlgorithm_v7  │
│ ├── 获取算法推荐列表                     │
│ └── 更高效的查询方式                     │
└──────────────────────────────────────────┘

算法选择示例：
cudnnConvolutionFwdAlgoPerf_t perfResults[4];
int returnedAlgoCount;
cudnnFindConvolutionForwardAlgorithm(
    handle,
    srcTensorDesc,
    filterDesc,
    convDesc,
    dstTensorDesc,
    4,                    // 请求算法数
    &returnedAlgoCount,
    perfResults
);

// 选择最优算法
cudnnConvolutionFwdAlgo_t algo = perfResults[0].algo;

性能调优建议：
├── 预先find算法并缓存
├── 考虑显存限制
├── 不同输入尺寸可能不同算法
└── Tensor Core优化算法优先

cuDNN Tensor操作

cuDNN Tensor描述：
├── cudnnTensorDescriptor_t
│   ├── 数据类型
│   ├── 维度信息
│   └── 步长信息
│
├── 支持数据类型
│   ├── CUDNN_DATA_FLOAT (FP32)
│   ├── CUDNN_DATA_HALF (FP16)
│   ├── CUDNN_DATA_BFLOAT16 (BF16)
│   ├── CUDNN_DATA_INT8 (INT8)
│   └── CUDNN_DATA_INT32 (INT32)
│
└── Tensor格式
    ├── NCHW (批-通道-高-宽)
    ├── NHWC (批-高-宽-通道)
    └── NC/1HW (压缩格式)

常用Tensor操作：
├── cudnnTransformTensor
│   └── 张量变换和缩放
│
├── cudnnAddTensor
│   └── 张量加法
│
├── cudnnSetTensor
│   └── 设置张量值
│
└── cudnnScaleTensor
    └── 张量缩放

Tensor Core优化：
├── 使用NHWC格式
├── 确保通道数对齐
├── 使用FP16/BF16/INT8
└── 使用融合操作

cuDNN性能优化技巧

cuDNN性能优化策略：
├── 算法选择优化
│   ├── 预find并缓存算法
│   ├── 使用确定性算法 (可复现)
│   ├── 考虑显存-性能权衡
│   └── 针对特定尺寸优化
│
├── 数据布局优化
│   ├── NHWC格式更优
│   ├── 通道对齐 (8/32)
│   └── 避免频繁转换
│
├── 精度优化
│   ├── 使用Tensor Core精度
│   ├── FP16/BF16训练
│   └── INT8推理
│
├── 融合优化
│   ├── 卷积+激活融合
│   ├── 卷积+BN融合
│   └── 卷积+ReLU融合
│
└── 内存优化
    ├── 复用工作空间
    ├── 预分配内存池
    └── 避免频繁分配

Tensor Core使用条件：
├── GPU支持Tensor Core
├── 数据类型: FP16/BF16/INT8
├── 维度对齐: 通道8或32倍数
├── 算法: 选择Tensor Core算法
└── 数据布局: NHWC更优

主流框架中的cuDNN配置

# PyTorch cuDNN配置

import torch

# 启用cuDNN
torch.backends.cudnn.enabled = True

# 启用benchmark模式 (自动寻找最优算法)
torch.backends.cudnn.benchmark = True

# 启用确定性模式 (可复现)
torch.backends.cudnn.deterministic = True

# 查看cuDNN版本
print(torch.backends.cudnn.version())

# TensorFlow cuDNN配置
import tensorflow as tf

# 自动调优
tf.config.optimizer.set_jit(True)  # XLA
tf.config.optimizer.set_experimental_options({'auto_mixed_precision': True})

# cuDNN自动卷积算法选择
os.environ['TF_CUDNN_DETERMINISTIC'] = '0'  # 非确定性,更快
os.environ['TF_CUDNN_DETERMINISTIC'] = '1'  # 确定性,较慢

# 性能提示
# 1. benchmark=True适合固定输入尺寸
# 2. 输入尺寸变化频繁时关闭benchmark
# 3. 需要可复现结果时使用deterministic
# 4. 混合精度训练自动使用Tensor Core