音频处理
音频处理技术是AI音频应用的基础，涵盖信号处理、降噪、增强等多个领域。
处理概述
音频处理是对音频信号进行分析、变换和优化的技术集合。
处理类型
- 预处理：降噪、归一化、重采样
- 特征提取：MFCC、梅尔频谱等
- 增强处理：音质提升、失真修复
- 效果处理：混响、压缩、均衡
- 变换处理：变速、变调、时间拉伸
处理目标
质量提升
改善音频的清晰度、自然度和听感。
特征提取
为AI模型提供有效的输入特征。
格式转换
转换采样率、格式、声道等参数。
信号处理基础
数字信号处理（DSP）是音频处理的核心技术。
时域处理
延迟与混响
通过延迟信号并叠加，创建回声和混响效果。延迟时间是关键参数。
卷积运算
两个信号卷积实现滤波，如房间脉冲响应卷积产生空间感。
频域处理
FFT处理
在频域操作比时域更直观，如频谱均衡、频谱门限。
相位处理
相位失真会影响音质，相位对齐对多信号混合很重要。
滤波技术
滤波是音频处理最基本的操作之一。
滤波器类型
| 类型 | 功能 | 应用 |
|---|---|---|
| 低通滤波 | 去除高频 | 去除嘶嘶声 |
| 高通滤波 | 去除低频 | 去除嗡嗡声 |
| 带通滤波 | 保留特定频段 | 提取人声频段 |
| 带阻滤波 | 去除特定频段 | 去除啸叫 |
| 陷波滤波 | 去除窄带噪声 | 去除电源噪声 |
滤波器设计
FIR滤波器
有限脉冲响应，线性相位，稳定但阶数高。
IIR滤波器
无限脉冲响应，效率高但可能有相位失真。
均衡器
均衡器类型
- • 图示均衡器：固定频段，如10段、31段
- • 参量均衡器：可调频率、增益、Q值
- • 动态均衡器：根据信号动态调整
降噪处理
降噪是音频处理中最常见的需求之一，AI技术带来了革命性提升。
噪声类型
| 类型 | 特点 | 处理难度 |
|---|---|---|
| 稳态噪声 | 频率特性固定 | 较低 |
| 非稳态噪声 | 时变特性 | 中等 |
| 脉冲噪声 | 突发短时 | 中等 |
| 混响 | 房间反射 | 较高 |
| 背景噪声 | 复杂环境声 | 高 |
传统降噪方法
谱减法
估计噪声频谱并从信号频谱中减去，简单但可能引入音乐噪声。
维纳滤波
最小均方误差准则下的最优滤波，需要已知噪声统计特性。
谱门限
低于阈值的频谱成分被抑制，简单有效但可能损失细节。
AI降噪方法
DCCRN
深度复数卷积循环网络，处理复数频谱，效果优异。
DTLN
双信号变换LSTM网络，轻量实时，适合边缘部署。
RNNoise
基于GRU的轻量降噪，开源可用，实时性能好。
音频增强
音频增强旨在提升音频的整体质量和听感。
增强技术
响度均衡
使音频整体响度一致，符合广播标准（如EBU R128）。
动态范围压缩
压缩大动态范围，使音量更稳定，广播必备。
高频修复
通过AI恢复丢失的高频成分，提升清晰度。
失真修复
修复削波失真、压缩伪影等问题。
AI增强工具
- • Adobe Podcast：在线语音增强，效果出众
- • Auphonic：自动音频后处理
- • iZotope RX：专业音频修复套件
- • Descript：语音编辑与增强
变换处理
音频变换处理包括变速、变调、时间拉伸等操作。
变速变调
| 操作 | 效果 | 实现 |
|---|---|---|
| 变速不变调 | 改变时长 | WSOLA、Phase Vocoder |
| 变调不变速 | 改变音高 | 重采样+时间拉伸 |
| 变速变调 | 简单快进 | 改变采样率 |
时间拉伸算法
WSOLA
波形相似叠加，速度快，质量中等。
Phase Vocoder
相位连续处理，质量高，适合音乐。
AI时间拉伸
深度学习方法，质量最高，计算量大。
音频效果
音频效果处理用于创造丰富的声音体验。
常见效果
混响（Reverb）
模拟空间声学特性，增加空间感。参数包括房间大小、衰减时间、预延迟等。
延迟（Delay）
延迟信号回放，创建回声效果。可调延迟时间、反馈、混合比。
合唱（Chorus）
多个延迟声叠加，创造厚度感。适合人声和合成器。
压缩（Compressor）
控制动态范围，使音量更一致。参数包括阈值、比率、攻击、释放。
限制器（Limiter）
极端的压缩，防止信号超过阈值。母带处理必备。
压缩器参数
- • 阈值（Threshold）：开始压缩的电平
- • 比率（Ratio）：压缩程度，如4:1
- • 攻击（Attack）：开始压缩的速度
- • 释放（Release）：停止压缩的速度
- • 增益补偿（Makeup Gain）：补偿压缩后的电平损失
处理流程
典型的音频处理流程包括多个步骤。
预处理流程
- 1. 格式转换：统一采样率、位深度、声道
- 2. 直流偏移消除：去除直流分量
- 3. 高通滤波：去除低频噪声
- 4. 降噪：去除背景噪声
- 5. 归一化：调整到标准电平
后处理流程
- 1. 均衡：调整频响曲线
- 2. 动态处理：压缩、限制
- 3. 效果处理：混响、延迟等
- 4. 响度标准化：符合发布标准
- 5. 格式编码：输出最终格式
工具推荐
| 工具 | 类型 | 特点 |
|---|---|---|
| Audacity | 免费开源 | 功能全面 |
| Adobe Audition | 专业付费 | 与Adobe生态集成 |
| iZotope RX | 专业付费 | 音频修复最强 |
| Reaper | 高性价比 | 轻量DAW |
| FFmpeg | 命令行 | 批量处理 |
| SoX | 命令行 | 音频瑞士军刀 |