2.4 属性图嵌入除了大多数图嵌入算法使用的图拓扑信息外，一些工作已经证明，还应该充分利用丰富的节点属性来辅助图表示学习 。属性图嵌入也可以与同质或异构图嵌入相交 ， 例如属性同质图嵌入或属性异构图嵌入 。TADW首先采用归纳矩阵因式分解来融合节点文本属性和图结构 。Lane顺利地将图的拉普拉斯技术与标签信息相结合，从节点属性和拓扑结构两个方面联合学习嵌入 。ASNE通过集成节点邻近性和结构邻近性开发了一个社交图嵌入框架 。Dane捕捉到了各种拓扑结构和节点属性邻近度的高度非线性 。Liu等人通过将图的结构、语义信息和属性与高斯分布相融合，提出了一个统一的属性异构图嵌入模型AHNG 。ANRL设计了一个邻居增强自动编码器模型 ， 将节点属性亲和度和结构贴近度合并到低维嵌入空间中 。
2.5 图神经网络(GNN)深度学习在各个领域都取得了实质性进展 。然而，原有的深度学习方法是针对欧几里得数据(例如文本、序列和拍摄的图像)设计的 。为了将深度学习应用于非欧氏图，神经网络近年来得到了迅速的发展和广泛的应用 。除了学习图嵌入 ， GNN通常可以通过各种局部消息聚合和传播步骤来捕获图的结构信息和节点属性，并且可以以端到端的方式直接处理与图相关的任务 。根据以前的工作 ， 在本节中，我们根据模型体系结构和训练策略将最新的GNN总结为四类：图递归神经网络(GRN)、图卷积神经网络(GCN)、图自动编码器(GAE)和图生成对抗性网络(GGAN) 。一些变体可以基于不同的训练策略将这些体系结构组合和重叠，例如强化学习和对比学习 。
2.5.1 图递归神经网络(GRN)图递归神经网络(GRN)是GNN的开拓性工作，它通过在图中的节点上递归地应用相同的参数来编码高维节点表示 。基于信息的扩散机制 ， Gori等人提出了GNN，它改进了原来的递归神经网络模型来处理图数据，其中节点聚集邻居的信息直到达到稳定的平衡 。作为一个显著的改进，Li等人通过使用门控递归单元作为共享参数的映射函数来发展门控GNN，并采用通过时间的反向传播来训练它 。为了提高GNN模型的可扩展性，文中还提出了随机稳态嵌入算法，该算法可以递归地更新节点的隐含状态 ， 对大规模图更加有效 。
2.5.2 图卷积神经网络(GCN)图卷积神经网络(GCN)将卷积运算从图像等结构化数据扩展到图数据 。其主要思想是学习映射函数\(f(\cdot)\)，通过聚合节点自身和邻居的特征来产生节点的嵌入 。图的卷积可以分为谱方法和空间方法 。Kipf等人引入了第一个GCN，它应用重归一化的技巧来解决梯度爆炸或消失问题 。然后，Zang等人提出了联合考虑两层卷积图的局部一致性和全局一致性的对偶GNN，并用正类的逐点互信息矩阵代替了邻接矩阵 。然而 ， 这些方法需要将整个邻接矩阵或拉普拉斯矩阵存储在内存中，这将导致昂贵的计算 。GCN也有许多变体 ， 例如AGCN、LGCN和FastGCN 。GraphSAGE是GCN的一个重要改进 ， 它提供了一个通用的归纳学习框架，可以通过采样和聚合局部邻居的特征来生成不可见节点的嵌入 。注意力机制也可以用来改进GCN ， 图注意力网络(GAT)将自注意力引入到传播步骤中，并进一步考虑了多头注意力以提高模型的容量和稳定性 。门控注意力网络通过为不同的注意力头部学习不同的权重来改进多头注意力机制 。Han通过在节点层和语义层进行分层关注来学习异构图的节点嵌入，而节点层的注意力用于学习对基于元路径的邻居聚合的不同权重，语义层的关注度则倾向于不同元路径的重要性 。
2.5.3 图自动编码器(GAE)编码器-解码器(encoder-decoder)结构也被广泛应用于图嵌入和图生成任务中 。图自动编码器(GAE)首先将该体系结构扩展到图嵌入，该结构采用GCN作为编码器对结构和节点特征信息进行编码，并使用解码器重构邻接矩阵 。他们还提出了一种变分图自动编码器(VGAE)，通过以变分的方式训练GAE 。通过采用GCN作为编码器 ， 使用一个简单的双线性函数作为解码器，提出了GC-MC，并应用到了推荐任务上 。此外，图的迭代生成建模(Graphite)通过设计更复杂的解码器来扩展它们，该解码器在成对的图卷积和解码函数之间迭代 。除了将节点编码为低维嵌入外，Graph2Gauss(G2G)还通过学习每个节点的高斯分布来捕捉节点的不确定性 。受SDNE和G2G的启发，DVNE还使用变分自动编码器(VAE)将每个节点表示为高斯分布 ， 并采用Wasserstein距离来保持节点相似性的传递性 。假设图的先验分布为高斯分布 ， GraphVAE使用GCN作为编码器，简单的多层感知器作为图生成任务的解码器 。基于遗传算法的对比学习是无监督图嵌入的另一种方法，它是在深度图信息极大(DGI)中首次提出的 。DGI通过最大化节点嵌入和图表示之间的互信息来获取图的全局拓扑信息 。类似地，信息图通过最大化不同尺度的图级表示和子图级表示之间的互信息来学习图表示 。
