KBS｜开放世界中的知识图谱实体嵌入

论文题目：分布式表示——开放世界知识图谱中的实体嵌入

郭凌冰（浙江大学）、陈卓（浙江大学）、陈矫彦（曼彻斯特大学）、张溢弛（浙江大学）、孙泽群（南京大学）、伯仲璞（蚂蚁集团）、方尹（浙江大学）、刘小泽（普渡大学）、陈华钧（浙江大学）、张文（浙江大学）

Knowledge-Based Systems 2024

bit.ly/3PY3BhV

bit.ly/49D1dE5

知识图谱在数据驱动的应用里扮演着越来越重要的角色，这已经不是什么新鲜事了。和词嵌入把词之间的关系编码成向量类似，知识图谱嵌入要做的事情，就是把实体之间的关系也塞进低维向量空间。仔细想想，两者的相似点还不少——下图就清楚地展示了这种对应关系。

左图里的知识图谱和右图里的句子，本质上承载着等价的信息。基于三元组的知识图嵌入模型（比如TransE）会先把每个头实体和关系的嵌入转换成一个隐向量，然后用这个向量去预测图中的中心实体W3C。这个过程和词嵌入中的Skip-gram模型几乎是一个模子刻出来的——每个单词的嵌入分别用于预测句子的中心词。至于基于图神经网络（GNN）的知识图谱方法，它们做的事情就是聚合W3C及其邻居的嵌入来得到输出嵌入。这又和词嵌入中的CBOW模型很像，但CBOW不会把输入实体本身（也就是那个）算进去。

那么问题来了：在聚合邻居信息的时候，到底应不应该把输入实体本身也考虑进去？答案是否定的。以实体为例，传统知识图谱表示学习中，所有相关信息都是以三元组的形式给出的，根本就没有文本信息。所以，如果在聚合过程中把自身实体去掉，信息的完整性并不会受任何损害。再说那些实体附带图像、文本等属性的场景，现有的多模态方法通常也是各模态独立编码，最后再通过融合层把输出嵌入拼在一起。因此，编码关系信息时排除自身实体，理论上是完全可行的。

基于上面的分析，这篇论文提出了一种叫“分散注意力网络”（Decentralized Attention Network，简称DAN）的方法。说白了，就是让实体的关系信息只分布在它的邻居嵌入里。这样做的好处是，DAN既能完整保留关系信息，又适合为新实体生成嵌入。举个例子，如果W3C是一个新实体，那么只需要知道它和现有实体（比如Tim Berners-Lee、RDF、XML Schema）的关系，就能算出它的嵌入。而现有的方法还得依赖W3C本身的嵌入，这就限制了它们处理新实体的能力。

接下来，我们看看DAN具体是怎么做的。

一、引言

（上一段已经自然引入了引言背景，此处保留章节标题结构）

二、背景

（同上，背景已在上述段落中涵盖）

三、方法

3.1 分散注意力网络

下图展示了分散注意力网络（DAN）的设计思路和实现细节：

• 图a展示的是单层DAN。首先用一个单独的聚合层从邻居嵌入里提取上下文信息（第1-2步）；然后拿这个上下文作为查询向量，对每个邻居打分（第3步）；最后用这些分数加权聚合邻居嵌入，得到最终的输出（第4-5步）。

• 图b展示的是多层DAN。先拿第k-1层实体的嵌入作为查询向量，给第k-2层的邻居嵌入打分（第1步）；然后用注意力分数聚合第k-2层的邻居嵌入，得到第k层的嵌入（第2-3步）；接着再用第k层实体的嵌入作为查询，给第k-1层的邻居嵌入打分，聚合后得到第k+1层实体的嵌入（第4-6步）。

3.2 自蒸馏模块

为了让分散注意力网络学会怎么把实体的信息“分布”到它的邻居上，论文还设计了一个自蒸馏模块，结构如下：

这个模块的核心思想是：让DAN的输出嵌入从原始输入向量里提取有用信息。还是拿W3C来说，它的输入嵌入（黄色）和输出嵌入（橙色）之间并没有直接的路径——输入嵌入不会直接参与生成自己的输出。但是，这个输入嵌入会参与生成邻居（比如Tim Berners-Lee和RDF）的输出嵌入。这样一来，在梯度更新过程中，W3C的输入嵌入也间接包含了邻居的信息。一个理想的DAN，它输出的W3C嵌入，至少应该包含输入嵌入已经学到的信息。借助自蒸馏模块，DAN就能学会如何从邻居向量中提取信息并输出——这对新实体来说尤其关键。

四、实验

4.1 实体对齐实验结果

在实体对齐数据集上，论文提出的DAN在多项指标上都拿到了领先结果。特别值得注意的是，当测试集中间出现新实体时，DAN在所有指标上都显著优于对比方法。

4.2 实体预测实验结果

在实体预测（也就是传统的知识图谱补全任务）上，DAN在多个数据集上的表现同样出色。当数据集中混入新实体时，DAN受到的影响很小，优势反而更加明显。

4.3 新实体比例分析

通过分析测试数据中不同比例的新实体可以发现，DAN的优势会随着新实体数量的增加而放大。当测试集中80%的实体都是新实体时，DAN在Hits@1指标上领先第二名接近40个百分点——这个差距已经相当大了。

五、总结

这篇论文提出了基于分散注意力网络的知识图嵌入方法，并引入自蒸馏来增强模型生成已知和未知实体嵌入的能力。在多个任务和数据集上的实验结果都表明，无论是在传统场景还是开放世界场景下，DAN的表现都很优秀。它不仅为知识图谱嵌入提供了一种新的解决方案，也为注意力机制在图结构学习上的应用带来了新的思路。