要解决的问题
- 时间同步：音频是连续信号，需要与文本、视频在时间上对齐。
- 跨模态语义关联：学习语音内容、非语言声音与文本之间的关系；共享嵌入空间是其中一种实现方式。
- 流式推理延迟：语音对话要求边听边想、边想边说，首包延迟直接决定体验。
- 鲁棒性：多说话人、背景噪声、口音等真实环境下的稳定性。
发展主线
语音识别（ASR）→ 声音事件理解 → 语音对话 → 端到端的流式语音生成。
代表工作
- Qwen2-Audio（2024）：支持音频分析与语音聊天两种输入交互模式，输出是文本；这里的语音聊天指可以直接听懂语音指令，不能据此理解成模型原生生成语音。报告还使用 DPO 改善回答与人类偏好的对齐。
- Qwen2.5-Omni（2025）：接收文本、图像、音频和视频，生成文本与语音。Thinker-Talker 架构中，Thinker 负责理解与文本生成，Talker 根据其隐藏表示和文本等信息生成语音 token；模型通过分块编码和流式语音解码降低延迟。TMRoPE 用时间信息对齐音视频位置。模型的流式设计不等同于任一部署接口都支持实时双向语音通话。
实践建议
先分清「音频理解」和「语音生成」是两个不同的问题。资源紧张时，可以先用「语音识别 + 语言模型」的级联方案，再考虑端到端模型。