本质
视频理解可以看作「长上下文 + 视觉 + 时间对齐」三个难题的组合：每一帧都是一张图，几分钟的视频就是成百上千张图，而且帧与帧之间的先后顺序本身就携带信息。
挑战
- 帧采样策略：均匀抽帧会漏掉短暂的关键事件，抽得太密又会让 token 数量失控。
- 时间位置编码：模型需要知道每一帧对应的真实时间，才能回答「什么时候发生」的问题。
- 跨镜头记忆：跨越多个镜头、场景追踪同一个人物或物体。
- 计算成本：在固定采样帧率与每帧 token 数时，视觉 token 数随时长线性增长；自适应抽帧和压缩会改变这一关系，注意力计算量也不一定线性增长。
代表工作
- Video-LLaVA（2023）：先把图像与视频的表示对齐到统一的视觉特征空间，再投影进语言模型（先对齐、后投影），让图像与视频数据在训练中互相促进。
- Qwen2.5-VL（2025）：引入与绝对时间对齐的时间编码，支持小时级长视频理解与事件定位。
- Qwen2.5-Omni（2025）：把视频与音频按时间交错排列，统一处理并支持流式输入。
开放问题
- 分钟级、小时级的事件追踪。
- 因果与时序推理，而不只是识别单帧内容。
- 视频问答的事实性评测。