谣言检测——《Debunking Rumors on Twitter with Tree Transformer》( 二 ) _生活百科

Top-Down TransformerTop-down transformer 的方向与 bottom-up transformer 相反，沿着信息传播的方向，其架构如 Figure 2 (d) 所示。同样的，其学习到的表示也通过捕获立场和自我纠正上下文信息得到增强。
2.3 The overall Model为了共同捕获整个树中表达的观点，我们利用一个注意力层来选择具有准确信息的重要帖子，这是基于细化的节点表示而获得的。这将产生：
$\begin{array}{l}\alpha_{i}=\frac{\exp \left(s_{i}^{\prime} \cdot \mu^{\top}\right)}{\sum\limits_{j} \exp \left(s_{j}^{\prime} \cdot \mu^{\top}\right)} \\\tilde{s}=\sum\limits_{i} \alpha_{i} \cdot s_{i}^{\prime}\end{array}\quad\quad\quad(6)$
其中，$s_{i}^{\prime}$ 由 Bottom-Up Transformer 或 Top-Down Transformer 得到，$\mu \in \mathbb{R}^{1 \times d}$ 是注意力机制的参数。这里的 $\alpha_{i}$ 是节点 $x_i$ 的注意权值，用于生成整个树的表示 $\tilde{s}$ 。最后，我们使用一个全连接的输出层来预测谣言类上的概率分布。
$\hat{y}=\operatorname{softmax}\left(V_{o} \cdot \tilde{s}+b_{o}\right) \quad\quad\quad(7)$
其中，$V_{o}$ 和 $b_{o}$ 是输出层中的权值和偏差。
此外，还有一种直接的方法可以将 Bottom-Up transformer 与 Top-Down transformer 的树表示连接起来，以获得更丰富的树表示，然后将其输入上述的 $softmax (\cdot)$ 函数进行谣言预测。
我们所有的模型都经过训练，以最小化预测的概率分布和地面真实值的概率分布之间的平方误差：
$L(y, \hat{y})=\sum_{n=1}^{N} \sum_{c=1}^{C}\left(y_{c}-\hat{y}_{c}\right)^{2}+\lambda\|\Theta\|_{2}^{2} \quad\quad\quad(8)$
其中 $y_{c}$ 是 ground-truth label，$\hat{y}_{c}$ 是类C的预测概率，$N$ 是训练的树数， C 是类的数量，$\|.\|_{2}$ 是所有模型参数 $\Theta$ 上的 $L_{2}$ 正则化项，$\lambda$ 是权衡系数。
3 ExperimentsDatasets使用 TWITTER 和 PHEME 数据集进行实验，按照传播树深度将两个数据集划分为 TWITTER-S (PHEME-S)和 TWITTER-D (PHEME-D) 一共4个数据集，下表展示数据集的统计情况：