视觉与文档理解

要解决的问题

让语言模型「看懂」图片与文档，需要处理几个难点：

• 视觉 token 数量爆炸：一张高分辨率图片切块后可能产生上千个 token，文档和多图输入更多。
• 依赖 OCR 与版面：文档里的文字、表格、版式结构都承载信息，丢了版面就丢了语义。
• 细粒度定位：回答「左上角那个按钮写了什么」需要精确的空间对应。
• 跨页推理：长文档的答案可能分散在不同页面。

核心技术

• 视觉编码器：通常是经过跨模态对齐预训练的 ViT，输出的特征经过投影层接入语言模型。
• 动态分辨率：按原图长宽比与分辨率切成多个子图（AnyRes），或者让编码器直接接受可变分辨率输入，避免一律缩放到固定尺寸造成细节丢失。
• 文档版面建模：显式或隐式地利用文字位置与版面结构。
• 视频帧采样与压缩：长视频按需抽帧并压缩视觉 token，详见视频理解专题。

代表工作

• LLaVA-NeXT（2024）与 LLaVA-OneVision（2024）：LLaVA 系列的后续版本，引入 AnyRes 动态高分辨率，并把单图、多图、视频统一到一个模型中。
• Qwen2-VL（2024）与 Qwen2.5-VL（2025）：支持原生动态分辨率；Qwen2.5-VL 在视觉编码器中引入窗口注意力降低计算量，并加强了文档解析、目标定位与长视频理解。

参考资料

• Qwen2.5-VL Technical Report

相关专题

• 跨模态表示对齐：视觉编码器的来源。
• 视频理解：在图像理解之上再加时间维度。
• 表格与结构化数据：文档中的表格需要专门处理。
• 长上下文：大量视觉 token 本质上是长上下文问题。