港大开源图基础大模型OpenGraph: 强泛化能力，前向传播预测全新数据

图学习领域长期面临的数据饥荒问题，如今终于又有了新的破解思路。

——一个基于图的基础模型，专为在多种图数据集上进行零样本预测而设计。它的背后是港大数据智能实验室的Chao Huang团队，他们还为此提出了一种，旨在提升模型对新任务的适应能力。

这项工作已经正式开源，代码挂在GitHub上。

简单来说，这项研究的核心在于如何增强图模型的泛化能力，尤其是在训练数据和测试数据存在显著差异的情况下。OpenGraph的目标是学习通用的图结构模式，仅通过前向传播就能完成预测，从而实现对全新数据的零样本推理。

要实现这一目标，团队需要攻克三大挑战：

• 数据集间的token差异
  ：不同的图数据集往往拥有不同的图token集，模型必须能够跨数据集进行预测。

• 节点关系建模
  ：构建通用图模型时，如何高效地建模节点关系至关重要，直接关系到模型的扩展性和计算效率。

• 数据稀缺
  ：数据获取的困难始终是绕不开的难题。团队采用大型语言模型进行数据增强，试图模拟复杂的图结构关系，从而提升模型训练质量。

通过拓扑感知的图Tokenizer和基于锚点的图Transformer等一系列创新方法，OpenGraph成功应对了上述挑战。在多个数据集上的测试结果，也证明了其出色的泛化能力。

OpenGraph模型

OpenGraph的模型架构主要由三个核心部分组成：

1）统一图Tokenizer；
2）可扩展的图Transformer；
3）基于大语言模型的知识蒸馏技术。

先说说

。

为了适应不同数据集的节点和边的差异，团队开发了一个统一的图Tokenizer，将图数据标准化为token序列。这个过程包含两个关键步骤：高阶邻接矩阵平滑化和拓扑感知映射。

高阶邻接矩阵平滑化，就是利用邻接矩阵的高阶幂来解决连接稀疏的问题。而拓扑感知映射，则是将邻接矩阵转换为节点序列，并使用快速奇异值分解（SVD）来最小化信息损失，尽可能保留更多的图结构信息。

接下来是

。

token化之后，OpenGraph使用Transformer架构来模拟节点间的依赖关系。为了优化模型性能和效率，主要采用了以下技术：

一是token序列采样，通过采样技术减少模型需要处理的关系数量，从而降低训练的时间和空间复杂度。

二是锚点采样的自注意力机制。这个方法进一步降低了计算复杂度，通过分阶段学习节点间的信息传递，有效提高了模型的训练效率和稳定性。

最后是

。

为了应对训练通用图模型时遇到的数据隐私和种类多样性问题，团队从大语言模型（LLM）的知识和理解能力中汲取灵感，

。

这一数据增强机制通过模拟真实世界图的特征，有效提升了数据的质量和实用性。

团队首先会生成适应特定应用的

，每个节点都拥有文本描述，以便后续生成边。

在面对像电子商务平台这样的大规模节点集时，研究人员会将节点细分为更具体的子类别来处理。例如，从“电子产品”细化到“移动电话”“笔记本电脑”等，这个过程反复进行，直到节点精细到接近真实实例。

提示树算法则按照树状结构对节点进行细分，并生成更细致的实体。从“产品”这样的一般类别开始，逐步细化到具体的子类别，最终形成一棵完整的节点树。

至于

，研究人员利用吉布斯采样，基于已生成的节点集来形成边。为了减少计算负担，并不直接通过LLM遍历所有可能的边，而是先利用LLM计算节点间的文本相似度，再通过简单的算法来判断节点关系。

在此基础上，团队还引入了几种技术调整：

• 动态概率标准化：
  通过动态调整，将相似度映射到更适合采样的概率范围内。

• 节点局部性：
  引入局部性概念，只在节点的局部子集间建立连接，模拟现实世界中的网络局部性。

• 图拓扑模式注入：
  使用图卷积网络修正节点表示，以更好地适应图结构特征，减少分布偏差。

以上这些步骤，确保了生成的图数据不仅丰富多样，而且贴近现实世界的连接模式和结构特性。

实验验证与性能分析

需要特别说明的是，该实验专注于使用仅由LLM生成的数据集来训练OpenGraph模型，并在多样化的真实场景数据集上进行测试，涵盖了节点分类和链接预测两个任务。

实验设计如下：

。为了评估OpenGraph在未见过的数据上的表现，模型在生成的训练集上训练，然后在完全不同的真实测试集上进行评估。这确保了训练和测试数据在节点、边和特征上均无重合。

。考虑到许多方法很难有效执行零样本预测，团队引入了少样本设置：基线模型在预训练数据上预训练后，采用k-shot样本进行微调。

在2个任务和8个测试集上的结果显示，OpenGraph在零样本预测中显著优于现有方法。此外，现有的预训练模型在跨数据集任务中的表现，有时甚至不如从头训练的模型。

图Tokenizer设计影响研究

同时，团队也探索了图Tokenizer的设计对模型性能的影响。

实验发现，如果不进行邻接矩阵平滑（即平滑阶数为0），性能会显著下降。这说明平滑处理是必要的。

随后，研究人员尝试了几种简单的拓扑感知替代方案：跨数据集的独热编码ID、随机映射和基于节点度数的表示。实验结果显示，这些替代方案的性能

。具体来说，跨数据集的ID表示效果最差，基于度数的表示也表现不佳，而随机映射虽然稍好一些，但与优化的拓扑感知映射相比，性能差距仍然明显。

数据生成技术的影响

团队还调查了不同预训练数据集对OpenGraph性能的影响，包括使用基于LLM的知识蒸馏方法生成的数据集，以及几个真实数据集。

实验中比较的预训练数据集包括：从团队生成方法中移除某项技术后的数据集、两个与测试数据集无关的真实数据集（Yelp2018和Gowalla）、一个与测试数据集类似的真实数据集（ML-10M）。

实验结果显示，生成数据集在所有测试集上都展现了良好的性能；三种生成技术的移除都显著影响了性能，验证了这些技术的有效性。使用与测试集无关的真实数据集（如Yelp和Gowalla）训练时，性能有时会下降，这可能是由于不同数据集之间的分布差异。而ML-10M数据集在与之类似的测试数据集（如ML-1M和ML-10M）上取得了最佳性能，这凸显了训练和测试数据集相似性的重要性。

Transformer采样技术的研究

在这部分实验中，研究团队探讨了图Transformer模块中使用的两种采样技术：

（Seq）和（Anc）。

他们对这两种采样方法进行了详细的消融实验，以评估它们对模型性能的具体影响。

实验结果表明，无论是token序列采样还是锚点采样，两者都能在训练和测试阶段有效地减少模型的空间和时间复杂度，这对于处理大规模图数据尤为重要，可以显著提高效率。

从性能角度分析，token序列采样对模型的整体性能产生了正面影响。这种采样策略通过选取关键的token来优化图的表示，从而提高了模型处理复杂图结构的能力。

相比之下，在ddi数据集上的实验显示，锚点采样可能会对模型性能产生负面影响。锚点采样通过选择特定的节点作为锚点来简化图结构，但这种方法可能会忽略一些关键的图结构信息，从而影响模型的准确性。

综合来看，虽然这两种采样技术各有优势，但在实际应用中，需要根据具体的数据集和任务需求仔细选择合适的采样策略。

研究结论

本研究的核心目标，是开发一个高适应性的框架，能够精确识别和解析各种图结构的复杂拓扑模式。研究人员的目标，是通过充分发挥所提出模型的能力，显著增强模型在零样本图学习任务中的泛化能力，包括多种下游应用。

模型在可扩展的图Transformer架构和LLM增强的数据增强机制的支持下构建，旨在提升OpenGraph的效率和健壮性。通过在多个标准数据集上进行的广泛测试，团队证明了模型的出色泛化性能。

据了解，作为对图基础模型构建的初步尝试，未来团队的工作将着重于增加框架的自动化能力，包括自动识别噪声连接和进行反事实学习。同时，团队计划学习和提取各种图结构的通用且可迁移的模式，进一步推动模型的应用范围和效果。

参考链接：

[1]论文:

https://arxiv.org/pdf/2403.01121.pdf

[2]源码库:

https://github.com/HKUDS/OpenGraph

—

—