核心矛盾

语言模型处理文本序列,而表格任务依赖行列关系、层级表头与数据类型。序列化不必然丢失结构:Markdown、HTML、JSON 等可以显式保留行列与表头关系;但粗糙转换、截断和缺少布局信息会增加理解难度,模型也未必能稳定完成精确计算。

核心方法

  • 序列化 + 指令微调:把表格转成文本格式,再用大量表格任务数据微调。
  • 把表格当作独立模态:像处理图像一样,为表格配一个专门的结构编码器,把编码得到的结构特征与序列化文本一起输入语言模型。

代表工作

  • TableLlama(2023):构建了涵盖多种真实表格任务的指令数据集 TableInstruct,在 Llama 2 上微调,得到面向各类表格任务的开源通用模型。
  • TAMO(2025,论文《Table as a Modality for Large Language Models》):把表格视为独立模态,用超图神经网络作为全局表格编码器,捕捉单元格之间的层级结构,再与语言模型结合。

现状

对可由 SQL 或表格运算表达的任务,可以让模型生成查询、交给工具执行并核对结果;复杂版面、合并单元格和语义歧义仍需要专门处理。模型、工具组合与结构编码器应在同一任务上比较,不能笼统断言表格方向落后于其他模态。

参考资料

相关专题