交sjtuagent
← 返回课程

语音论文可视化 · 原理可视化

每篇论文一段动画，共 130 篇 —— 点击放大，逐步看懂整篇论文。

自监督语音表征wav2vec 2.0 · 掩码对比自监督表征
点击放大 ⤢
自监督语音表征SUPERB · 冻结上游十任务表征基准
点击放大 ⤢
自监督语音表征HuBERT · 离线聚类伪标签掩码预测
点击放大 ⤢
自监督语音表征W2v-BERT · 对比学习 + 掩码语言模型
点击放大 ⤢
自监督语音表征WavLM · 混音去噪的全栈自监督表征
点击放大 ⤢
自监督语音表征emotion2vec · 通用语音情感表征
点击放大 ⤢
神经编解码器与语音分词SoundStream · 端到端 RVQ 神经编解码器
点击放大 ⤢
神经编解码器与语音分词EnCodec · 流式 RVQ 神经音频编解码器
点击放大 ⤢
神经编解码器与语音分词DAC · 用满比特的 44.1 kHz 通用编解码器
点击放大 ⤢
神经编解码器与语音分词SpeechTokenizer · 语义蒸馏的统一分词器
点击放大 ⤢
神经编解码器与语音分词WavTokenizer · 单码本每秒 75 token
点击放大 ⤢
神经编解码器与语音分词X-Codec · 语义增强的音频编解码器
点击放大 ⤢
神经编解码器与语音分词SNAC · 多尺度 RVQ 神经音频编解码器
点击放大 ⤢
神经编解码器与语音分词TaDiCodec · 文本感知扩散语音分词器
点击放大 ⤢
神经编解码器与语音分词LongCat-Audio-Codec · 语义声学解耦的流式编解码器
点击放大 ⤢
神经编解码器与语音分词UniAudio-Token · 通用分词器
点击放大 ⤢
神经编解码器与语音分词LILAC · 码幂等的可逆语音 codec
点击放大 ⤢
神经编解码器与语音分词ReLMCodec · 易预测的单码本编解码
点击放大 ⤢
神经编解码器与语音分词ARDDS · 为自回归而训的 codec
点击放大 ⤢
神经编解码器与语音分词Q-SPT · 可学习查询压缩
点击放大 ⤢
生成建模与后训练基础Rectified Flow · 直线 ODE 与 reflow
点击放大 ⤢
生成建模与后训练基础Flow Matching · 免模拟训练 CNF
点击放大 ⤢
生成建模与后训练基础DPO · 不用强化学习的偏好对齐
点击放大 ⤢
生成建模与后训练基础GRPO（DeepSeekMath） · 组内相对优势替代价值网络
点击放大 ⤢
语音识别Conformer · 卷积增强编码器
点击放大 ⤢
语音识别Paraformer · 单步并行解码 ASR
点击放大 ⤢
语音识别Whisper · 68 万小时弱监督 ASR
点击放大 ⤢
语音识别Zipformer · 多帧率高效 ASR 编码器
点击放大 ⤢
语音识别OWSM v3.1 · 开源 Whisper 式模型
点击放大 ⤢
语音识别SLAM-ASR · 只训投影层的 LLM-ASR
点击放大 ⤢
语音识别FunAudioLLM · 听懂与说好的基础模型
点击放大 ⤢
语音识别Seed-ASR · 会看语境的 LLM 语音识别
点击放大 ⤢
语音识别FireRedASR · 开源工业级普通话 ASR
点击放大 ⤢
语音识别Dolphin · 东方语言多语种 ASR
点击放大 ⤢
语音识别Fun-ASR · 面向上线打磨的 LLM-ASR
点击放大 ⤢
语音识别Canary-v2 & Parakeet-v3 · 高效多语种识别翻译
点击放大 ⤢
语音识别Qwen3-ASR · 一体化识别与 LLM 强制对齐
点击放大 ⤢
语音识别SoulX-Transcriber · 端到端多人会议转写
点击放大 ⤢
语音识别MM-ContextASR · 保留历史语音的上下文 ASR
点击放大 ⤢
语音识别MLC-SLM 第二届 · 多语种对话挑战赛
点击放大 ⤢
语音前端：说话人、分离与增强ECAPA-TDNN · 通道注意力声纹嵌入
点击放大 ⤢
语音前端：说话人、分离与增强pyannote · 端到端重叠感知分割
点击放大 ⤢
语音前端：说话人、分离与增强HT Demucs · 跨域注意力音乐分离
点击放大 ⤢
语音前端：说话人、分离与增强Codec 潜空间 SE（Fu 2026） · 六范式对比
点击放大 ⤢
方言、多语种与数据Common Voice · 众包多语种语料
点击放大 ⤢
方言、多语种与数据CantoASR · 韵律感知粤语纠错
点击放大 ⤢
方言、多语种与数据Breeze Taigi · 台语识别与合成基准
点击放大 ⤢
方言、多语种与数据T-SANDHI · 台语变调解耦 ASR
点击放大 ⤢
方言、多语种与数据PersianVox · 波斯语野外语料
点击放大 ⤢
方言、多语种与数据CoSE-E · 企业语码转换 ASR 基准
点击放大 ⤢
音频理解大模型SALMONN · 双耳通用音频 LLM
点击放大 ⤢
音频理解大模型Qwen-Audio · 层级标签多任务
点击放大 ⤢
音频理解大模型Qwen2-Audio · 聊天分析双模式
点击放大 ⤢
音频理解大模型Audio Flamingo 3 · 全开源音频推理大模型
点击放大 ⤢
音频理解大模型Voxtral · 开源长音频对话模型
点击放大 ⤢
音频理解大模型Step-Audio-R1 · 让音频推理越想越准
点击放大 ⤢
音频理解大模型MiMo-Audio · 语音的 GPT-3 时刻
点击放大 ⤢
音频理解大模型Audio Flamingo Next · 30 分钟长音频推理
点击放大 ⤢
音频理解大模型Symbiotic · 写 KV 缓存听音频
点击放大 ⤢
音频语言模型与通用生成AudioLM · 三段式音频语言模型
点击放大 ⤢
音频语言模型与通用生成UniAudio · 多尺度 Transformer 通用音频生成
点击放大 ⤢
音频语言模型与通用生成Llama-Mimi · 拉平 RVQ 的单 Transformer 语音 LM
点击放大 ⤢
音频语言模型与通用生成UniAudio 2.0 · 双 token 统一听说基座
点击放大 ⤢
歌声与音乐生成DiffSinger · 浅扩散歌声合成
点击放大 ⤢
歌声与音乐生成VISinger · 端到端 VAE 歌声合成
点击放大 ⤢
歌声与音乐生成Seed-Music · 统一歌曲生成与编辑
点击放大 ⤢
歌声与音乐生成YuE · 开源歌词到整首歌基础模型
点击放大 ⤢
歌声与音乐生成Vevo2 · 色度图统一说与唱的可控生成
点击放大 ⤢
歌声与音乐生成DiffRhythm 2 · 块流匹配整歌
点击放大 ⤢
歌声与音乐生成ACE-Step 1.5 · 规划加扩散渲染
点击放大 ⤢
歌声与音乐生成SoulX-Singer · 双控零样本歌声
点击放大 ⤢
歌声与音乐生成YingMusic-Singer · 改歌词
点击放大 ⤢
歌声与音乐生成SongBench · 七维专家标注的歌曲评测
点击放大 ⤢
歌声与音乐生成StepAudio 3 Music · 先谱后声
点击放大 ⤢
歌声与音乐生成YuE2 · 先写谱再唱的整歌生成
点击放大 ⤢
语音转换kNN-VC · 最近邻语音转换
点击放大 ⤢
语音转换Takin-VC · 表现力零样本声音转换
点击放大 ⤢
语音转换Seed-VC · 先换嗓再学音色的 VC
点击放大 ⤢
端到端语音对话SpeechGPT · 语音单元进词表
点击放大 ⤢
端到端语音对话GLM-4-Voice · 单码本语音聊天
点击放大 ⤢
端到端语音对话Step-Audio · 130B 语音交互
点击放大 ⤢
端到端语音对话Baichuan-Audio · 多码本语音
点击放大 ⤢
端到端语音对话Qwen2.5-Omni · 想说分离全模态
点击放大 ⤢
端到端语音对话Kimi-Audio · 开源通用音频基座
点击放大 ⤢
端到端语音对话LLaMA-Omni2 · 模块化流式语音
点击放大 ⤢
端到端语音对话Voila · 分层多尺度语音-语言基础模型
点击放大 ⤢
端到端语音对话VITA-Audio · 一次前向即出首包
点击放大 ⤢
端到端语音对话OpenS2S · 全开源共情端到端语音模型
点击放大 ⤢
端到端语音对话Step-Audio 2 · 会推理会查工具
点击放大 ⤢
端到端语音对话Qwen3-Omni · 不掉点的全模态模型
点击放大 ⤢
端到端语音对话MOSS-Speech · 不经文字直接说话
点击放大 ⤢
端到端语音对话Qwen3.5-Omni · ARIA全模态
点击放大 ⤢
端到端语音对话StepAudio 2.5 · 一底座三模式
点击放大 ⤢
全双工与实时交互Moshi · 内心独白全双工语音模型
点击放大 ⤢
全双工与实时交互OmniFlatten · 展平式全双工
点击放大 ⤢
全双工与实时交互Freeze-Omni · 冻结LLM对话
点击放大 ⤢
全双工与实时交互Voxtral Realtime · 亚秒流式 ASR
点击放大 ⤢
全双工与实时交互SoulX-Duplug · 可插拔语义 VAD
点击放大 ⤢
全双工与实时交互MiniCPM-o 4.5 · 全双工全模态交互
点击放大 ⤢
全双工与实时交互StepAudio 3 Realtime · 边想边说
点击放大 ⤢
全双工与实时交互Voice-Light · 级联全双工语音 Agent
点击放大 ⤢
全双工与实时交互Qwen-Audio-3.1-Realtime · 智能体化实时语音
点击放大 ⤢
全双工与实时交互全双工 KV 压缩（Lee 2026） · 声学转文字记忆
点击放大 ⤢
全双工与实时交互FD-VAD · 流式语义端点检测
点击放大 ⤢
全双工与实时交互MultiTalk · 长时多人双语全双工
点击放大 ⤢
语音智能体与工具调用Realtime-Venus · 全双工 + 异步委派
点击放大 ⤢
语音智能体与工具调用全双工工具调用（Hu 2026） · 前端委派后端执行
点击放大 ⤢
语音智能体与工具调用NemotronLabs VoiceChat · 边说边调工具
点击放大 ⤢
语音智能体与工具调用Qwen-Audio-Agent · 前台后台语音 Harness
点击放大 ⤢
语音智能体与工具调用SALMONN-duo · 双系统自适应委派
点击放大 ⤢
评测基准与质量评估DNSMOS · 无参考降噪质量评分
点击放大 ⤢
评测基准与质量评估NISQA · 多维通话质量预测
点击放大 ⤢
评测基准与质量评估UTMOS · SSL 堆叠 MOS 预测
点击放大 ⤢
评测基准与质量评估AIR-Bench · 音频大模型生成式基准
点击放大 ⤢
评测基准与质量评估VoiceBench · 语音助手多维基准
点击放大 ⤢
评测基准与质量评估MMAU · 专家级音频理解与推理基准
点击放大 ⤢
评测基准与质量评估Audiobox Aesthetics · 四轴音频审美打分器
点击放大 ⤢
评测基准与质量评估URO-Bench · 端到端语音对话全面评测
点击放大 ⤢
评测基准与质量评估Full-Duplex-Bench · 全双工轮转评测
点击放大 ⤢
评测基准与质量评估NVMOS · 非语言发声质量评分
点击放大 ⤢
评测基准与质量评估AudioICL-Bench · 音频上下文学习诊断
点击放大 ⤢
评测基准与质量评估CAL-MOS · 逐层校准的 MOS 预测
点击放大 ⤢
评测基准与质量评估VoiceNet · 细粒度情绪与说话风格基准
点击放大 ⤢
评测基准与质量评估VGBench · 语音 Agent 听了再动手
点击放大 ⤢
评测基准与质量评估DuplexAct-Bench · 全双工六种行为评测
点击放大 ⤢
安全：水印、伪造检测与攻击AudioSeal · 逐样本定位的语音水印
点击放大 ⤢
安全：水印、伪造检测与攻击Attacking UTMOS · 质量模型对抗攻击
点击放大 ⤢
安全：水印、伪造检测与攻击AffectDF · 情感伪造语音检测基准
点击放大 ⤢
安全：水印、伪造检测与攻击SPADE · 多语种部分伪造定位数据集
点击放大 ⤢
安全：水印、伪造检测与攻击Spooftral · 音频大模型反欺骗
点击放大 ⤢