要解决的问题
大多数大语言模型的多模态工作只覆盖「理解」这一侧：输入图片，输出文字。图像、视频的「生成」是另一条技术路线，而把理解与生成放进同一个模型的「统一建模」又是一个新的分叉。
核心方法
- 扩散模型：从噪声出发逐步去噪得到图像或视频，是目前图像与视频生成的主流方法。
- 自回归图像 token 生成：先把图像离散化成 token，再像生成文字一样逐个预测。
- 理解与生成统一：
- 早融合、纯 token 路线：图像与文本都离散成 token，放进同一个 Transformer 从头训练。
- 混合路线：文本部分用下一 token 预测，图像部分用扩散目标，共用一个模型。
代表工作
- Chameleon（2024）：Meta 的早融合混合模态模型，把图像、文本都表示为离散 token，可以按任意顺序理解和生成图文交错内容。
- Transfusion（2024）：在同一个 Transformer 里对文本做下一 token 预测、对图像做扩散，把两种训练目标结合起来。
开放问题
- 统一模型相对专精模型的真实优劣。
- 图像用离散 token 表示还是连续表示。
- 可控生成与图像编辑。