← 全部课程
TTS论文可视化
语音合成论文精读 · 79 篇
把 79 篇语音合成（TTS）论文逐篇拆成可视化动画：每篇都按「问题 → 核心思想 → 整体架构 → 关键设计 → 训练 → 推理 → 实验结果 → 小测」的同一条叙事线展开，配统一的模态配色（文本、语义 token、声学 token、连续特征、波形、说话人提示），再附一篇原理解读。覆盖零样本生成范式、工业界基座模型、跨语种与口音、情感与指令控制、对话与长音频、后训练对齐与加速，以及声码器、数据集和评测。全栏目分预备篇 + 四篇、共 12 章；在「论文谱系」里搜索「目录」「索引」或「入门」，可打开总目录、论文索引、术语索引和入门路线。
论文动画
79 篇论文，每篇一段 20 步左右的动画：按「问题 → 核心思想 → 架构 → 关键设计 → 训练 → 推理 → 结果 → 小测」逐步讲透。
观看动画 →论文谱系
论文之间的继承与对比关系图：从 VALL-E、Voicebox 一路连到最新的基座模型，点开任一篇看原理解读；搜索「目录」可打开总目录与各类索引。
探索图谱 →问论文
基于 79 篇原理解读答疑，回答附出处：问某篇的机制、两篇的区别、某条技术路线的来龙去脉。
开始提问 →课程章节
- 1声码器 — 预备篇 · 基础组件｜从 mel 频谱到波形：HiFi-GAN 的多周期判别器、BigVGAN 的周期激活、Vocos 的傅里叶域生成；编解码器与流匹配见语音栏目
- 2编解码语言模型 — 第一篇 · 零样本合成的技术路线｜把语音离散成 codec token、用语言模型逐个生成：VALL-E 系列、VoiceCraft、Fish-Speech、Llasa、Spark-TTS
- 3流匹配与扩散 — 第一篇 · 零样本合成的技术路线｜非自回归地生成连续声学特征：NaturalSpeech 2/3 的潜在扩散，Voicebox、E2 TTS、F5-TTS、ZipVoice 的流匹配
- 4掩码生成与连续自回归 — 第一篇 · 零样本合成的技术路线｜MaskGCT 的迭代掩码并行解码，以及 DiTAR、CLEAR、MELA-TTS、VoxCPM 的「自回归 + 连续特征」路线
- 5语言模型加流匹配的两阶段基座 — 第二篇 · 工业级基座模型｜先用语言模型生成语义 token、再用流匹配还原声学细节的工业主流：Seed-TTS、CosyVoice 1/2/3、FireRedTTS、MiniMax-Speech、IndexTTS 等
- 6端到端编解码语言模型基座 — 第二篇 · 工业级基座模型｜直接用语言模型预测 codec token 的单阶段基座：XTTS、Takin、VoiceCraft-X、Qwen3-TTS、Fish Audio S2、MOSS-TTS、T5Gemma-TTS
- 7非自回归与连续潜变量基座 — 第二篇 · 工业级基座模型｜掩码扩散、流匹配与连续 latent 的基座：OmniVoice、UniVoice、VoxCPM2、dots.tts、Luna-TTS
- 8跨语种、口音与方言 — 第三篇 · 可控与场景｜跨语种声音克隆、口音表示与控制、口音评测，以及台湾腔中英混说等场景
- 9情感、风格与指令控制 — 第三篇 · 可控与场景｜用自然语言描述控制情感、风格与音色：InstructTTS、PromptTTS 2、EmoVoice、Step-Audio-EditX 等
- 10对话与长音频 — 第三篇 · 可控与场景｜多说话人对话与播客级长音频生成：ZipVoice-Dialog、VibeVoice、SoulX-Podcast、MOSS-TTSD
- 11后训练与推理加速 — 第四篇 · 训练与评测｜DPO/GRPO 偏好对齐、主观奖励与自我精修，蒸馏与流式加速；DPO、GRPO 原论文见语音栏目
- 12数据集与评测基准 — 第四篇 · 训练与评测｜LibriTTS、WenetSpeech4TTS、Emilia、WenetSpeech-Yue 等语料，EmergentTTS-Eval、MINT-Bench、VoiceMOS 2026 等评测