← 全部课程
语音论文可视化
语音 AI 论文精读 · 130 篇
把 130 篇语音 AI 论文逐篇拆成可视化动画（TTS 方向另见「TTS论文可视化」）：每篇按「问题 → 核心思想 → 整体架构 → 关键设计 → 训练 → 推理 → 实验结果 → 小测」同一条叙事线展开，配统一的模态配色，再附一篇原理解读。覆盖音频理解与语音对话大模型、全双工实时交互、评测与质量评估、自监督表征与神经编解码器、语音识别、歌声与音乐生成、声音转换与安全、语音前端与方言，以及流匹配、DPO、GRPO 等基础方法。全栏目分五篇、共 15 章；在「论文谱系」里搜索「目录」「索引」或「入门」，可打开总目录、论文索引、术语索引和入门路线。
论文动画
130 篇论文，每篇一段 20 步左右的动画：按「问题 → 核心思想 → 架构 → 关键设计 → 训练 → 推理 → 结果 → 小测」逐步讲透。
观看动画 →论文谱系
论文之间的继承与对比关系图：从 wav2vec 2.0、Whisper、AudioLM 一路连到最新的语音大模型，点开任一篇看原理解读；搜索「目录」可打开总目录与各类索引。
探索图谱 →问论文
基于 130 篇原理解读答疑，回答附出处：问某篇的机制、两篇的区别、某条技术路线的来龙去脉。
开始提问 →课程章节
- 1自监督语音表征 — 第一篇 · 基础｜wav2vec 2.0、HuBERT、W2v-BERT、WavLM 等自监督表征，情感表征 emotion2vec，以及统一评测它们的 SUPERB
- 2神经编解码器与语音分词 — 第一篇 · 基础｜SoundStream、EnCodec、DAC 等 RVQ 编解码器，到 SpeechTokenizer、X-Codec、WavTokenizer 等面向语言模型的语音分词器，也是 TTS 栏目的共同地基
- 3生成建模与后训练基础 — 第一篇 · 基础｜Rectified Flow、Flow Matching 两篇流匹配理论，DPO、GRPO 两篇偏好对齐与强化学习方法，是 TTS 栏目流匹配与后训练各章的前置
- 4语音识别 — 第二篇 · 识别与理解｜四个小节：经典端到端 / 大规模多语种 / LLM-ASR / 说话人与会议
- 5语音前端：说话人、分离与增强 — 第二篇 · 识别与理解｜ECAPA-TDNN 声纹嵌入、pyannote 说话人分割、HT Demucs 音源分离、Codec 潜空间语音增强
- 6方言、多语种与数据 — 第二篇 · 识别与理解｜众包语料 Common Voice，粤语、台语、波斯语与企业语码转换的识别与数据集
- 7音频理解大模型 — 第二篇 · 识别与理解｜让大模型「听懂」音频：SALMONN、Qwen-Audio 系列、Audio Flamingo 3/Next、Voxtral、Step-Audio-R1、MiMo-Audio 等
- 8音频语言模型与通用生成 — 第三篇 · 生成（语音合成见 TTS 栏目）｜AudioLM 开创的音频语言模型，到 UniAudio、Llama-Mimi、UniAudio 2.0 的统一生成
- 9歌声与音乐生成 — 第三篇 · 生成（语音合成见 TTS 栏目）｜DiffSinger、VISinger 等歌声合成，Seed-Music、YuE、DiffRhythm 2、ACE-Step 等整歌生成，以及 SongBench 评测
- 10语音转换 — 第三篇 · 生成（语音合成见 TTS 栏目）｜kNN-VC、Takin-VC、Seed-VC 三种零样本声音转换思路
- 11端到端语音对话 — 第四篇 · 对话与交互｜SpeechGPT、GLM-4-Voice、Kimi-Audio、Step-Audio 系列、Qwen2.5/3/3.5-Omni 等端到端语音对话与全模态模型
- 12全双工与实时交互 — 第四篇 · 对话与交互｜边听边说：Moshi、OmniFlatten、Freeze-Omni、MiniCPM-o 4.5 等全双工模型，以及语义 VAD、端点检测与 KV 压缩
- 13语音智能体与工具调用 — 第四篇 · 对话与交互｜语音 Agent 如何在对话中调用工具、委派后台任务：全双工工具调用、Qwen-Audio-Agent、SALMONN-duo 等
- 14评测基准与质量评估 — 第五篇 · 评测与安全｜三个小节：质量预测 / 理解与对话基准 / 全双工交互基准
- 15安全：水印、伪造检测与攻击 — 第五篇 · 评测与安全｜AudioSeal 语音水印，AffectDF、SPADE、Spooftral 伪造检测，以及对 UTMOS 质量模型的对抗攻击