知识图谱实体对齐2：基于GNN嵌入的方法( 二 ) _生活百科

Stage 2基于关系谓词的头实体和尾实体的表征来获得其embeddings 。该阶段先分别计算所有连接关系谓词的头实体和尾实体的平均embeddings，接着这两个均值embeddings会在一个线性变换之后拼接起来做为关系的embeddings，这样就可以对跨知识图谱的关系进行对齐。
Stage 3再次使用Highway-GCN（其输入为Stage 1中得到的embeddings和与该实体有关的关系谓词embeddings之和的拼接）做为共同的实体embeddings，然后alignment模块再次使用alignment score function + 间隔损失将两个知识图谱在Highway-GCN的输出映射到统一的向量空间。
2.3 GMNNGMNN[4]将实体对齐问题形式化了为两个图之间做匹配的问题。传统的图匹配问题会通过对单语言知识图谱的事实进行编码，将每个知识图谱的实体投影到低维子空间。然而，对于跨语言问题，一些实体在不同的语言中可能存在不同的知识图谱事实，这可能导致其在在跨语言的实体embeddings中编码的信息具有差异性，从而使得这类方法难以对实体进行匹配。

文章插图
如上图展示了我们对$e_0$和$e_0'$进行对齐的实例。但是在它们周围的邻居中只有一个对齐的邻居。这种方法得匹配只有很少的邻居的实体非常困难，因为缺乏足够的结构化信息。
为了解决这个缺点，作者提出了topic entity graph（主题实体图）来表征知识图谱中实体的上下文信息。不同于之前的方法使用实体embeddings来匹配实体，作者将这个任务建模为在topic entity graph之间进行图匹配。每个实体都对应一个topic entity graph（由相隔一跳的邻居和对应的关系谓词组成），这样的一个图能够表征实体的局部上下文信息。
该论文提出的由四层组成，包括输入表示层、node-level匹配层，graph-level匹配层和预测层。如下图所示：

文章插图
输入表示层使用GCN将两个topic graph进行编码并获得实体的embeddings 。
node-level匹配层计算来自两个topic graph的实体对之间的余弦相似度。之后，这一层会计算实体embeddings的注意力加权和(attentive sum)：
\[\overline{\boldsymbol{e}}_i=\frac{\sum_{j=1}^{\left|\mathcal{E}_2\right|} \alpha_{i, j} \cdot \boldsymbol{e}_j}{\sum_{j=1}^{\left|\mathcal{E}_2\right|} \alpha_{i, j}}\]这里$\alpha_{i,j}$是某个topic graph中的实体$i$和另一个topic graph中的实体$j$之间的余弦相似度。接着，我们使用multi-perspective sine matching function$f_m$来计算$\mathcal{G}_1$和$\mathcal{G}_2$所有实体的匹配向量，如下式所示：
\[\begin{aligned}&\boldsymbol{m}_i^{\text {att }}=f_m\left(\boldsymbol{e}_i^1, \overline{\boldsymbol{e}}_i^1\right) \\&\boldsymbol{m}_j^{\text {att }}=f_m\left(\boldsymbol{e}_j^2, \overline{\boldsymbol{e}}_j^2\right)\end{aligned}\]这里$\bm{m} =f_m(\bm{v}_1, \bm{v}_2; \bm{W})$ ，其中$\bm{m}_k \in \bm{m}$是来自$k$个perspective的matching value ，它根据两个向量线性变换后的余弦相似度进行计算：
\[m_k=\operatorname{cosine}\left(W_k \circ \boldsymbol{v}_1, W_k \circ \boldsymbol{v}_2\right)\]之后，这个计算好的匹配向量会做为graph-level匹配层GCN的输入。graph-level匹配层的GCN会进一步传播局部的信息，而其输出embeddings会经过逐元素最大和平均池化方法被送入一个全连接神经网络来获得图的匹配表征。最后预测层将图的匹配表征作为softmax回归函数的输入来预测对齐实体。
2.4 MuGNNMuGNN[5]强调用于对齐的不同知识图谱之间的结构异质性，因为这种结构异质性会导致需要对齐实体embeddings之间的不相似性。为了调和$\mathcal{G}_1$和$\mathcal{G}_2$之间的结构异质性， MuGNN在嵌入模块中使用多通道GNN以编码多通道图。形式化地，多通道GNN如下图所示，假定这里为双通道MuGNN：
\[\begin{aligned}&\operatorname{MuLTIGNN}\left(\boldsymbol{H}^l ; \boldsymbol{A}_1, \boldsymbol{A}_2\right)=\operatorname{POOLING}\left(\boldsymbol{H}_1^{l+1}, \boldsymbol{H}_2^{l+1}\right) \\& \boldsymbol{H}_i^{l+1}=\operatorname{GCN}\left(\boldsymbol{A}_i, \boldsymbol{H}^l, \boldsymbol{W}_i\right), i=1,2\end{aligned}\]这里$\boldsymbol{A}_1$由self-attention决定，$a_{ij}$是从$e_i$到$e_j$的连接权值，如下所示：
\[a_{i j}=\operatorname{softmax}\left(c_{i j}\right)=\frac{\exp \left(c_{i j}\right)}{\sum_{e_k \in N_{e_i} \cup\left\{e_i\right\}} \exp \left(c_{i k}\right)}\]$ N_{e_i} $是$e_i$的邻居，$c_{ij}$是attention系数。