PSA 谣言检测——《Probing Spurious Correlations in Popular Event-Based Rumor Detection Benchmarks》( 二 ) _生活百科

为了消除这些混杂的事件特异性相关性，本文建议研究一个更实际的问题，即 event-separated rumor detection，其中 $\mathcal{E}_{t r} \cap \mathcal{E}_{t e}=\varnothing$ 。由于潜在的事件分布转移，这项任务具有挑战性，因此它提供了一种评估去偏谣言检测性能的方法。
3.2 Existing ApproachesPropagation-Based
(1) TD-RvNN(2) GLAN(3) BiGCN(4) SMAN
Content-Based
(1) BERT(2) XLNet(3) RoBERTa(4) DistilBERT
Data Splitting
对于所有三个数据集，我们抽取 10% 的实例进行验证，然后将剩下的 3：1 分成训练集和测试集。具体来说，分别根据 Twitter15、Twitter16、PHEME 上发布的公开事件 id 获得了事件分离分割。
3.3 SOTA Models’Performance is Heavily OverestimatedFig.5 显示了事件混合和事件分离的谣言检测性能之间的鲜明对比。此外，尽管在所有三个数据集上具有最佳事件分离性能的一致性，但所有模型在 Twitter 15 和 Twitter16 上实现的事件混合性能都显著高于 PHEME，前者采用事件级标记，后者采用后级标记（见第1.1节）。这一差距与我们的假设相一致，即直接的event-label 相关性会导致额外的偏差。

文章插图
结果表明，现有的方法严重依赖于虚假的事件特异性相关性。尽管在事件混合设置下表现良好，但这些模型不能推广到看不见的事件，导致现实世界的适应性较差。
4 Proposed Method为了解决事件分离谣言检测的挑战，我们提出了 Publisher Style Aggregation（PSA），这是一种新的方法，可以根据每个出版商的聚合帖子来学习可推广的 publisher 特征，如 Fig.6 所示。

文章插图
4.1 Consistency of Publisher Style源帖子发布者是非常有影响力的用户。每个发布者独特的可信度立场和写作风格可以表现出独特的特征，这有助于决定他们的帖子的真实性。为了获得更直观的观点，我们在 Fig.7 中说明了Twitter15 发布者对每个类的倾向。
具体来说，对于发布者 $u$，我们定义了 $u$ 在class $c$ 下的 tendency score ：
$\frac{ \text{ (microblogs posted by u under class c)}}{\text{(microblogs posted by u)}} $
Fig.7 显示，大多数发布者在一个特定类别上的得分要么接近 $0$ ，要么接近 $1$，即，大多数发布者倾向于在一个单一的真实性标签下发布微博，这验证了我们关于发布者风格一致性的假设。
4.2 Content-Based Microblog Encoding在每个数据集中，所有的源文章和评论构成了一个大小为 |V| 的词汇表。在之后，我们将每个源特征特征 $\mathbf{r}_{i} \in \mathbb{R}^{|V|}$ 及其相关评论特征 $\mathbf{r}_{i}^{j} \in \mathbb{R}^{|V|}$ 表示为相应源特征或评论中所有 one-hot word vectors 的和。
RootText: Source post 是经过事实核查的，所以可以直接使用Souce Post 作为每个微博实例 $T_{i}$ 的表示—— $\mathbf{h}_{i}:=\mathbf{r}_{i}$
MeanText：我们还建议考虑用户的评论，以更稳健的可信度测量。在这里，我们采用均值池法将源帖子和评论特征压缩为微博表示：
$\mathbf{h}_{i}:=\frac{\mathbf{r}_{i}+\sum\limits _{j=1}^{k} \mathbf{r}_{i}^{j}}{k+1}$
我们获得了基于 RootText 或Meant的微博 $T_{i}$ 编码 $\mathbf{h}_{i} \in \mathbb{R}^{|V|}$，并通过具有 ReLU 激活函数的两层全连接神经网络提取高级特征 $\tilde{\mathbf{h}}_{i} \in \mathbb{R}^{n}$ 。然后，我们通过将 $\tilde{\mathbf{h}}_{i}$ 通过输出维数 $|\mathcal{C}|$ 的最终全连接层，防止过拟合进行精度预测。
4.3 Publisher Style Aggregation如 4.1 节所示，在极具影响力的 source post 中，写作立场和可信度在固定的时间框架内保持相对稳定。受此启发，我们进一步提出了Publisher Style Aggregation（PSA），这是一种可推广的方法，它联合利用每个发布者产生的多个微博实例，并提取独特的发布者特征，以增强在每个微博中学习到的本地特征。更具体地说，
(1) 查找每个发布者生成的一组微博实例；(2) 通过聚合这些源帖子的文本特征学习发布者的发布者风格表示；(3) 增强每个微博的表示$\tilde{\mathbf{h}}_{i}$；
Publisher Style Modeling
假设发布者 $u_{i}$ 已经产生了 $m_{i} \geq 1$ 微博实例，相应的源帖子表示为 $\mathcal{P}\left(u_{i}\right)= \left\{p_{k} \mid u_{k}=u_{i}, k=1, \ldots, N\right\}$ ；注意，在训练期间只使用可访问的数据。我们将第 $j$ 个帖子 $p_{i}^{j} \in \mathcal{P}\left(u_{i}\right)$ 视为一个最大长度为 $L$ 的词标记序列。然后，我们构造了一个基于可训练的 $d$ 维词嵌入的嵌入矩阵 $\mathbf{W}_{i}^{j} \in \mathbb{R}^{L \times d}$ 。我们聚合 $u_{i}$ 的所有后嵌入矩阵 $\mathbf{H}_{i} \in \mathbb{R}^{L \times d}$，得到相应的 publisher matrix $\mathbf{H}_{i} \in \mathbb{R}^{L \times d}$ 如下：