图文理解技术原理：AI如何同时"看懂图"和"读懂文"？

先分享几个核心观察：当AI模型能同时“看懂”图片和“读懂”文字，很多复杂任务就变得顺理成章了。比如内容审核、广告素材检测、多图文档分析——这些场景最头疼的就是图文信息之间的比对和校验。而图文理解技术，正是解决这类问题的关键一环。

一、图文理解的任务定义与技术背景

简单来说，图文理解就是让模型同时接收图像和文本，先分别完成各自模态的编码，再对两类信息进行联合推理，最终输出一个综合性的理解结果。这事在人类认知里再自然不过了——看一篇图文混排的文档，你自然会一边看图一边读文字，把两者结合起来理解。而让AI具备类似能力，正是多模态理解研究要攻克的核心命题。

这类任务覆盖的场景相当广泛，几个常见类型值得关注：

• 图文相关性判断
  ：判断一段文字和一张（或多张）图片是否在描述同一件事，是相互印证、互为补充，还是存在矛盾。

• 图文问答
  ：把图片和文本一起作为上下文，回答用户提出的问题。模型必须同时“看懂”图片细节和“读懂”文字信息，才能给出准确答案。

• 多图综合理解
  ：同时传入多张图片和一段文本，模型要理解多张图片之间的关联，以及图片与文本之间的关系，最后输出综合性分析。

二、图文理解的技术原理

2.1 图像编码：从像素到向量

模型没办法直接理解像素，得先通过图像编码器把图像转换成向量表示——也就是图像特征。目前主流的编码器包括基于视觉Transformer（ViT）的和基于CNN的。以ViT为例，做法是把输入图像切成若干个固定大小的图像块（patch），每个块通过一个线性投影层映射成向量，再叠上位置编码后送入Transformer编码器，最终输出整张图像的向量表示。

在VITA多模态理解模型中，视觉输入统一缩放到448×448分辨率，编码成256个Token进入模型。这个设计保证了模型能在固定的Token预算内完成图像理解，算力开销可控。

2.2 文本编码：把文字转成语义向量

文本编码的目标，是把输入的文字序列转换成向量表示。主流做法是用预训练语言模型（比如BERT、T5等）作为文本编码器，每个词或子词对应一个向量。在图文理解的推理过程中，文本编码器和图像编码器可以各自独立工作，分别输出本模态的向量表示，再一起进入跨模态融合环节。

2.3 跨模态融合：让图像和文本“对话”

跨模态融合是图文理解的核心。这一环节的关键，是把图像特征和文本特征映射到同一个语义空间里，让两者能够交互和计算。常见的融合方式有几种：

• 投影层（Projection Layer）
  ：用一个线性层，把图像特征的维度对齐到文本特征的维度，这样就能在同个向量空间里进行计算。

• 交叉注意力机制（Cross-Attention）
  ：让一个模态的特征作为Query，去关注另一个模态的特征（Key和Value），实现模态间的信息交互。比如回答图片相关问题时，文本Query会主动去关注图像中与问题相关的区域。

• 统一编码器
  ：把图像特征和文本特征拼接起来，送入同一个Transformer编码器进行联合建模。这种方式让图像和文本在每一层注意力计算中都能相互影响，融合得更深更透。

三、原生多模态与级联方案的架构差异

3.1 “视觉编码器+LLM拼接”方案

这类方案通常先用预训练的图像编码器提取图像特征，再通过一层投影网络把图像特征映射到语言模型的输入空间，最后接入大语言模型完成后续的理解和生成。架构上确实比较常见，但多模态融合只发生在视觉编码器输出之后、语言模型输入之前，图像和文本的深度交互受到一定限制。另外，这类方案通常不直接支持音频输入，处理带声音的视频时，还得依赖外部ASR工具先做语音转写。

3.2 原生多模态大模型方案

原生多模态大模型则是在训练阶段就把图像、视频、音频、文本等多种模态的数据放在统一训练流程中完成融合，而不是在推理阶段通过“拼凑”方式组合多个单模态模型。VITA多模态理解模型采用的就是这种原生范式——图片、视频、音频、文本在统一训练流程中完成多模态融合，输出在同一模型内完成跨模态的联合推理。音频按12.5Hz采样进入模型，与视觉信号一同参与统一的多模态训练流程，真正实现了“听、看、读”在同一模型内的端到端理解。

处理图文理解任务时，VITA能直接判断图文是否一致、相互补充还是相互矛盾，并基于联合信息给出结论，而不是分别处理图像和文本后再拼接结果。

四、VITA在图文理解中的能力说明

4.1 支持的图文理解任务

根据产品文档，VITA在图文理解方向的支持范围包括：

• 图文关联性判断
  ：在同时包含图像和文字的内容中，判断图文是否一致、相互补充还是相互矛盾。

• 多图与文本的综合理解
  ：同时输入多张图片和文本，对多张图片之间、图片与文本之间的关系进行联合推理。

• 自定义Prompt引导的理解任务
  ：通过自定义Prompt，指定模型完成特定的图文理解任务（比如“请判断这段文字描述的场景是否与图片内容一致”）。

4.2 图片输入规格

VITA对图片输入的要求如下：封装格式支持JPG、JPEG、PNG、WebP；文件大小方面，单图最大10MB；一次请求最多可传入10张图片。值得注意的是，YT-VITA模型（即youtu-vita）一次可传入最多10张图片，而HY-Vision系列模型一次仅可传入单张图片。所以，如果任务涉及多图综合理解，选VITA模型在工程上更合适。

4.3 推理时延参考

图文理解任务中，推理时延直接影响用户体验。VITA的图片首Token时延P95为0.539秒，这个速度足以应对在线业务对响应速度的要求。

五、工程实现与调用方式

5.1 API调用方式

VITA API兼容OpenAI API协议，可以直接用OpenAI SDK接入。接口地址是https://tokenhub.tencentmaas.com/v1/chat/completions，请求方式为POST。在以文搜图或多图理解的任务中，messages参数的content字段可以包含多个image_url对象和一个text对象，实现多图加文本的综合理解。

5.2 Prompt设计建议

Prompt的设计对模型输出质量影响很大。建议在Prompt中明确以下信息：

• 任务目标
  ：说清楚需要完成的具体任务（比如“请判断图文是否一致”，而不是模糊的“请分析这张图片”）。

• 输出格式
  ：需要结构化输出时，在Prompt中明确指定格式（比如“请以JSON格式输出判断结果，包含‘一致’、‘补充’、‘矛盾’三种结论”）。

• 细节要求
  ：如果任务需要关注图片中的特定细节（文字内容、人物数量、物体颜色等），在Prompt里加以说明，有助于提升输出准确性。

5.3 Token消耗估算

图文理解任务中，Token消耗来自两部分：指令Token消耗（Prompt部分），以及图片Token消耗。根据VITA的规则，总Token消耗等于指令Token消耗加上图片数（向上取偶）乘以单图Token消耗。其中，单图Token消耗与图片分辨率相关（比如640×360对应的单图Token消耗为108）。在批量处理场景中，建议先做小批量测试，确认Token消耗水平和理解效果后，再大规模调用。

六、适用场景举例

6.1 内容平台的图文质量评估

内容平台在做图文质量评估时，需要判断图片与文字是否围绕同一主题、图片质量是否达标、文字描述是否与图片内容不符等。VITA的图文理解能力可以辅助完成这类评估，大幅提升自动化程度。

6.2 广告素材的图文一致性检测

广告素材里，图片展示的商品和文字描述的卖点必须保持一致，否则会影响投放效果和用户体验。通过VITA的图文关联性判断能力，可以对广告素材进行自动化检测，省去大量人工审核成本。

6.3 多图内容的综合理解

商品详情页、新闻报道、教程文档等场景，往往包含多张图片和一段或多段文字。VITA支持一次传入最多10张图片，并对多图与文本进行综合理解，很适用于这类场景的自动化处理需求。

七、总结

图文理解技术通过图像编码、文本编码和跨模态融合三个环节，让AI模型能够同时处理图像和文本内容，完成联合推理。在工程架构上，原生多模态大模型方案通过在统一训练流程中完成多模态融合，在跨模态推理深度和音频-视觉融合方面具备明显优势。VITA多模态理解模型采用原生多模态训练范式，在图文关联性判断、多图与文本综合理解等任务上提供了可落地的工程方案。对于需要在业务中接入图文理解能力的开发者，本文的技术原理和工程建议可以作为参考，结合VITA的API能力进行系统设计与实现。