HeLM: 一种两阶段的Table-to-text解决方案

在Table-to-Text任务里，一个常见做法是将表格逐行转成超长文本塞给语言模型，结果模型很容易在那些冗长、非结构化的文字中迷失方向，难以精准定位到与问题相关的数据单元。针对这个问题，研究人员提出了一套两阶段方案——HeLM。先定位到与查询相关的行信息，把这些信息注入原表格，再生成回复。实验效果相当亮眼，明显优于各类微调或few-shot方案。

1 简介

Table-to-Text任务的核心输入是一个结构化表格（包含行和列）加上一个自然语言问题，期望输出是针对问题的回答。系统需要从表格中提取信息并生成对应结果。说白了，就是让模型看懂表格，然后回答你的问题。

2 问题描述

HeLM包含两个核心模块。第一个是

，负责找出表格中与问题相关的数据所在的行索引，即 E = M_H(Prompt_H(T, Q))。然后将这些行打上特殊标记，得到新表格 T* = HL(T, E)，从而明确告诉语言模型哪些数据与问题更相关。第二个是，利用前一模块的信息生成更合适的回复，即 Y = M_S(Prompt_S(T*, Q))。相关Prompt设计可参考下图。

图1: HeLM中不同prompt

训练table highlighter需要高质量的

，即标注哪些行与问题相关。为此，研究者设计了一个来自动打标：y* = M_F(Prompt_S(HL(T, E), Q))，然后通过比较预测与真实结果评估M_F的性能。训练M_F需要构建数据集，数据来源主要有三个：人工标注的E_manul、利用GPT等大模型蒸馏得到的E_distill、以及通过检索算法获得的E_search。三部分合并得到最终的evidence数据E_merge。

3 HeLM

3.1 HeLM训练框架

图2: HeLM训练与推理流程

整个训练分为三步：

。利用其他LLM构建数据E_distill，基于此训练一个基础的table feedbacker/summarizer M_F。简单说，就是用外部大模型的能力造一个feedback数据集，然后训练一个基础模型，该模型会融合E_distill和表格T的信息，生成对问题Q的回复。即 {HL(E_distill, T), Q, Y} → M_F。

。完成M_F训练后，通过以下算法构建更全面的evidence数据E_merge。

图3: HeLM搜索流程

。利用E_merge数据集分别训练table highlighter M_H和table summarizer M_S：{T*, Q, Y} → M_S，{T, Q, E_merge} → M_H。

推理时流程很直观：给定表格T和问题Q，highlighter先找出相关行（evidence），将这些行数据打上标记得到新表格T*，然后summarizer根据T*生成回复。

4 实验结果

a) 从实验结果来看，HeLM这种两阶段方法在table-to-text任务上收益明显。相比其他微调方案和few-shot LLM，它都有显著领先。更值得注意的是，基于LoRA训练的HeLM-13B效果甚至超过了全参数微调的LLaMA2-13B。

图4: HeLM效果对比

b) 进一步的消融实验确认了方案中各个设计的有效性。

图5: 消融实验

5 讨论

先道个歉：这篇解读可能有点绕，写的时候自己也觉得挺纠结。原文读起来就不太容易，建议感兴趣的朋友多读几遍论文，体会会更深。

相比TableGPT那种一步到位的微调方案，HeLM的两阶段方式显得更聪明——在生成回复时，显式地告诉模型“表格里哪些数据更关键”。这相当于给模型提供了额外信息，降低了推理难度。只要前置的highlighter足够强大，效果提升几乎是必然的。

这种方案也暴露出当前大语言模型在具体场景应用中的一个尴尬：端到端效果不理想，大家又开始拆模块、打补丁、专门微调，最后得到一堆针对特定场景的模型。这种做法其实不利于LLM的广泛推广。要解决这个问题，恐怕只能等下一代模型能力再上一个台阶了。