大模型理解复杂表格，字节&中科大出手了

打工人最头疼的场景之一是什么？面对一堆表格，要么识别不准，要么格式混乱，还得在不同模型之间来回切换——光是找到合适的工具就已经够让人心烦了。

字节跳动与中科大联手，给出了一个统一的解决方案：TabPedia。这款基于多模态大模型的表格理解工具，直接把多种表格任务整合到了一起，覆盖检测、结构识别、查询和问答等常见需求。简单说，以前需要搞定好几个专用模型的事，现在一个就够了。

不止于此，研究团队还同步开源了一套复杂的测试基准ComTQA，用来更真实地评估模型在实际场景中的表现。

那么，TabPedia到底能做什么？效果如何？

跳过裁剪，直接识别多表格结构

先从表格检测说起。

在测试数据集上，TabPedia不需要任何后处理算法辅助，就能精准定位表格位置，并直接生成没有重叠的检测框。这一点，相比依赖繁琐后处理流程的传统方式，已经是质的飞跃。

更关键的是，在识别出表格位置之后，模型还能继续生成结构元素的序列和对应的检测框。这种结构识别的输出方式，绕开了HTML或Markdown标记语言在处理空间坐标时的先天不足，同时也避免了非法语法可能引发的解析错误。

还有一点值得一提：研究者借助大模型的理解能力，让TabPedia直接在原始文档图像中完成多表格实例的结构识别——不再需要提前把表格从图片里手动裁剪出来。事实上，这个任务是由TabPedia团队首次提出的。

当然，识别只是第一步。在表格问答上，TabPedia不仅能够给出正确答案，还会基于表格内容提供相应的理由。对于需要溯源的场景来说，这个能力很实用。

在开放场景的实测中，TabPedia表现同样可圈可点。试想一下，论文里那些排版密集、文字拥挤的表格——TabPedia依然能预测出准确的结构信息。而在问答任务上，它同样可以结合表格内容和结构信息，给出合理且正确的回答。

高低分辨率图像，分别训练各自编码器

那么，TabPedia的技术方案又是怎样的？

它的整体架构包含两个视觉编码器及其映射层、一个分词器，以及一个大语言模型。简单说：先用预训练阶段学习对齐视觉表征与语言模型的输入空间，再在微调阶段专门深耕视觉表格理解任务。

这里的关键设计在于视觉编码器的分工：

• 高分辨率编码器处理2560x1920的高清文档图像，负责捕捉丰富的细粒度视觉信息；

• 低分辨率编码器处理224x224的低分辨率图像，负责维持整张图的整体结构信息。

为了让语言模型更好地理解视觉信息，研究团队沿用了主流多模态大模型的对齐策略，设计了两套简单的映射层。特别值得关注的是高分辨率分支的映射层——它采用2D卷积层来聚合相邻的视觉特征，同时有效控制视觉token的数量，避免冗余。

对于输入的视觉token和文本指令嵌入，TabPedia选择了Vicuna-7B作为语言模型来生成最终回答。

这里面还有一个颇具巧思的设计：Meditative Tokens，用于实现概念协同机制。它能根据不同任务的意图，自适应地激活不同区域的视觉token——这就像给模型配了一把“可调节的放大镜”，哪里需要重点看，就自动把焦点移过去。

整体的输入序列形式与主流LLM一致，采用next token预测模式，训练目标就是简单的交叉熵损失函数。

经过预训练后，TabPedia已经能够较好地理解各种文档图像中的文本和结构，但此时还无法根据具体指令执行不同的表格理解任务。为了强化指令跟随能力，研究团队构建了一个大规模视觉表格理解数据集，并引入四个表格相关任务（检测、结构识别、查询、问答）同步进行感知与理解训练。在这个阶段，大语言模型也参与微调，进一步提升指令跟随和视觉信息抓取能力。

开源数据集与合成数据，双线并行训练

数据方面，TabPedia的素材来源主要来自五个公开表格数据集：PubTab1M、FinTabNet、PubTabNet、WikiTableQuestions (WTQ) 和 TabFact。

不同任务还设计了对应的指令示例，帮助模型更精准地理解用户意图。

需要特别强调的是，在表格检测和结构识别任务中，TabPedia彻底跳过了过去繁琐的后处理环节，直接输出无重叠的检测框，高效地给出答案。这也意味着，研究者首次实现了直接在原始文档图像中进行多表格实例的结构识别，为更复杂的大模型表格理解任务奠定了坚实基础。

表格问答方面，现有数据集大多基于纯文本表格生成，仅在背景颜色、字体大小上有细微变化，导致在真实场景中的泛化能力较弱。此外，TQA数据量级也远远落后于其他任务。因此，研究团队利用开源的视觉语言模型，基于FinTabNet和PubTab1M中的部分图像数据，生成了大量的TQA数据，补上了这个短板。

话说回来，TabPedia虽然已经展现出强大的视觉表格理解能力，但作者也很坦诚地指出了当前仍存在的挑战：

• 扭曲表格的理解和识别依然是个问题。一方面因为训练数据不足，另一方面表格结构表示方式依赖规则矩形框，灵活性受限。

• 目前的表格问答仍然需要以表格为中心的图像，如何迁移到原始文档中直接问答，是下一步的难点。

• 增加表格单元格内容的识别能力，有助于提升模型对细粒度信息的抓取。

坦白讲，视觉表格理解领域仍有许多技术难题有待攻克。TabPedia作为多模态大模型在表格理解方向上的初步探索，无论是从技术思路还是开源贡献来看，都值得关注。

—