基于BERT的语义增强模型：新冠假新闻检测新方法

### 基于BERT的语义增强模型：新冠假新闻检测新方法 #### 1. 研究背景 社交媒体已深入人们的日常生活，截至2022年1月，活跃用户数排名前三的社交网络分别是Facebook、YouTube和WhatsApp。然而，社交媒体在方便人们获取信息的同时，也极大地促进了假新闻的传播。尤其是在新冠疫情期间，假新闻传播速度比真实新闻更快，这对疫情防控工作造成了阻碍。因此，研究新冠假新闻的检测方法具有重要的现实意义。 #### 2. 相关工作 ##### 2.1 新冠假新闻数据收集 互联网上与新冠相关的信息主要来源于以下三类： - 事实核查网站，如Poynter、Snopes； - 权威网站，如WHO、Reuters、BBC； - 各类社交媒体网站，如YouTube、Twitter、Facebook，信息格式包括文本、视频、图像和URL。 目前已有许多基于不同语言和平台的多模态新冠错误信息数据集可供免费使用。例如，Banda等人从2020年1月1日至2021年6月27日收集了5种语言（英语、法语、西班牙语、德语）的超过11.2亿条推文，供全球研究人员进行广泛研究，包括对防疫措施的情绪和心理反应、识别错误信息来源等。 ##### 2.2 新冠假新闻检测 在现有研究中，传统机器学习算法（如LR、SVM、RF）常被用作基线方法或用于对收集到的数据集进行初步探索，而深度学习算法则得到了广泛而深入的研究。以下是一些相关研究： - Cui等人在收集的CoAID数据集上采用不同的传统机器学习方法（SVM、LR、RF）进行二元分类任务（真或假）。 - Kar等人提出了一种多语言BERT嵌入模型来检测假推文，并在多个印度语言假新闻数据集上训练该模型。 - Kumari等人提出了一种基于LSTM和BERT的多任务学习错误信息检测框架，通过情绪检测和新颖性检测两个辅助任务提高了假新闻检测的效果。 - Glazkova等人采用三个CT - BERT模型的集成，在Constraint@AAAI2021共享任务（英语）的排行榜上获得第一名。 - Al - Rakhami等人收集了超过40万条推文，并创建了一个基于堆叠的集成学习模型，使用的变压器模型包括BERT、RoBERTa、DistilRoBERTa、ALBERT、DeBERTa。 ##### 2.3 BERT模型 BERT（Bidirectional Encoder Representations from Transformers）是一种基于变压器的双向训练语言模型，在各种自然语言处理任务（如问答、自然语言推理等）中取得了优异的成绩。BERT及其变体（如RoBERTa、ALBERT、XLM - RoBERTa、mBERT）被广泛应用于检测任务。 BERT框架包括预训练和微调两个步骤。在微调模型时，首先使用预训练参数初始化模型参数，然后使用下游任务的标记数据进行微调。预训练参数通过各种预训练任务获得，其中“掩码语言模型”（MLM）用于随机掩码输入中的一些标记，并仅根据上下文预测被掩码的单词。这种双向策略使BERT生成的词嵌入包含上下文信息。 #### 3. 方法 ##### 3.1 数据集 选择Contraint@AAAI 2021新冠假新闻检测英语数据集进行实验。原始数据集分为训练组、验证组和测试组，将这些组组合后得到一个包含5600篇真实新闻文章和5100篇假新闻文章的数据集，这些文章来自Facebook、Twitter、Instagram等各种平台。在将数据输入模型之前，对原始数据进行一般预处理，如转换为小写、去除停用词、标点符号和URL。 ##### 3.2 问题陈述 该问题可定义为一个分类任务。定义一组新闻样本S，总数为N。每个样本有一个标签y = (0, 1)来表示内容的真实性（真/假），即每个样本{s1 · · · sn} ∈ S有一个对应的标签{y1 · · · yn} ∈ Y。使用语言模型M生成每个样本的嵌入{e1 · · · en} ∈ E，使用主题生成技术C生成每个样本的主题{p1 · · · pk} ∈ P，其中k表示S中主题的总数，且在不同的主题提取技术下k的值不同。新的文本表示可以表示为：Enew = E ⊕ P，其中E是语言模型生成的原始样本向量，P是样本的主题，通过将分类数据转换为数值数据，⊕表示拼接。目的是使用新的文本表示Enew和标签Y训练一个分类器，并最大化所有测试样本的测试准确率。 ##### 3.3 文本表示学习 SBERT（Sentence - BERT）是一种基于BERT的孪生网络结构，可以为输入句子生成固定大小的向量。使用预训练模型“all - mpnet - base - v2”，该模型在超过10亿个训练对的大型多样化数据集上进行训练，在句子嵌入方面表现最佳。具体步骤如下： 1. 将原始文本转换为标记，公式如下： \[ S = \begin{bmatrix} w_{11} & w_{12} & \cdots & w_{1k} \\ w_{21} & w_{22} & \cdots & w_{2k} \\ \cdots & \cdots & \cdots & \cdots \\ w_{(n - 1)1} & w_{(n - 1)2} & \cdots & w_{(n - 1)k} \\ w_{n1} & w_{n2} & \cdots & w_{nk} \end{bmatrix} \Rightarrow \begin{bmatrix} t_{11} & t_{12} & \cdots & t_{1k} \\ t_{21} & t_{22} & \cdots & t_{2k} \\ \cdots & \cdots & \cdots & \cdots \\ t_{(n - 1)1} & t_{(n - 1)2} & \cdots & t_{(n - 1)k} \\ t_{n1} & t_{n2} & \cdots & t_{nk} \end{bmatrix} \] 其中wij表示样本中的单词，tij表示标记化后的标记（填充长度为512），“箭头”表示标记器。 2. 将整个标记化后的样本传递给基于变压器的模型M（Sentence BERT），为每个标记生成相应的向量。 3. 池化操作将所有标记嵌入的平均值压缩到一个单一向量空间中，生成句子向量，公式如下： \[ E = M \begin{bmatrix} t_{11} & t_{12} & \cdots & t_{1k} \\ t_{21} & t_{22} & \cdots & t_{2k} \\ \cdots & \cdots & \cdots & \cdots \\ t_{(n - 1)1} & t_{(n - 1)2} & \cdots & t_{(n - 1)k} \\ t_{n1} & t_{n2} & \cdots & t_{nk} \end{bmatrix} = \begin{bmatrix} e_1 \\ e_2 \\ \cdots \\ e_{n - 1} \\ e_n \end{bmatrix} = \begin{bmatrix} 0.5808 & \cdots & \cdots & 0.504 \\ 0.823 & \cdots & \cdots & 0.419 \\ \cdots & \cdots & \cdots & \cdots \\ -0.557 & \cdots & \cdots & 0.169 \\ 1.284 & \cdots & \cdots & -206 \end{bmatrix} \] 将预处理后的文本E输入SBERT，得到每个样本的嵌入（表示为en），维度为1×H（H = 768），对于整个数据集E是一个N×H矩阵，N表示样本总数，n表示第n个样本。 ##### 3.4 主题生成 每条新闻看似独立，但实际上它们都与某个主题相关，这使得新闻在内容真实性方面与其他文本有所区别。因此，使用主题提取和聚类技术根据语义从样本中提取主题特征。本研究使用两种策略生成主题特征： - **潜在狄利克雷分配（LDA）**：LDA是一种经典的主题模型，用于将文本分类到文档中的不同类别。它是一种概率方法，首先学习所有文档中存在的主题数量k，然后计算每个文档在k个主题上的概率分布，并将文档分类到概率最高的主题中。基于狄利克雷分布创建每个文档的主题模型和每个主题的单词模型。使用一致性得分（公式如下）来确定最佳主题数量： \[ Coherence = \sum_{i < j} score(w_i, w_j) \] 该一致性得分选择每个主题中出现频率最高的前n个单词，然后聚合这些单词的所有成对得分。将主题数量设置在范围(1 - 30)内，使用开源库“gensim”中的“coherencemodel”计算一致性得分，当主题数量为20（Alpha = 0.6，Beta = 0.9）时获得最高一致性得分。将主题数量设置为20，并使用LDA模型为每个样本生成主题，使用独热编码器后，得到数据样本的主题矩阵P，维度为N ∗ 20，其中N是样本数量。 - **基于句子嵌入的聚类技术**：利用句子向量中包含的空间位置信息，使用基于密度的聚类算法HDBSCAN和K - 均值聚类技术对样本进行聚类。聚类算法在语言模型生成文本表示E后应用，在潜在空间中对样本进行聚类，认为每个聚类中的样本属于同一主题。 - **HDBSCAN**：HDBSCAN（Hierarchical Density - Based Spatial Clustering of Applications with Noise）是一种基于密度的聚类算法，其原型是DBSCAN。HDBSCAN通过创建基于聚类稳定性的扁平聚类系统扩展了DBSCAN，不会将离群点强制归入任何聚类。与DBSCAN算法相比，HDBSCAN定义了一种测量两点之间距离的方法——相互可达距离，公式如下： \[ d_{mreach - k}(a, b) = \max \{core_k(a), core_k(b), distance(a, b)\} \] 其中参数k是核心距离，corek(a)表示核心与点a之间的距离，distance(a, b)是a和b之间的原始度量距离。在这种度量下，靠近核心的密集点保持原始距离，而远离核心的稀疏点被推远，确保它们与任何其他点的核心距离。这使得在低维空间中聚类的边界更加清晰。在与BERTopic相同的参数设置下，HDBSCAN生成85个主题。使用独热编码器后，得到数据样本的主题矩阵P，维度为N ∗ 85，其中N表示样本总数。 - **K - 均值聚类**：K - 均值聚类是一种向量量化方法，用于将一组观测值(x1, x2, ..., xn)划分为k(≤n)个聚类S = {S1, S2, ..., Sk}，每个观测值属于均值最近的聚类（聚类中心或质心），公式如下： \[ \arg\min_{k} \sum_{i = 1}^{k} \sum_{x \in S_i} \|x - \mu_i \|^2 = \arg\min_{k} \sum_{i = 1}^{k} |S_i| Var(S_i) \] 其中µi是Si中所有点的均值。在本研究中，句子嵌入包含句子的语义和空间位置信息，因此样本由于具有高语义相似性而聚集在一起。使用Yellowbrick中的Elbow方法选择该算法中的最佳k值。如图所示，最佳主题数量为14，将k设置为14，然后使用sklearn中的“MiniBatchKMeans”完成K - 均值聚类并为每个样本生成主题。使用独热编码器后，得到数据样本的主题矩阵P，维度为N ∗ 14，其中N表示样本总数。 该模型的优势在于不需要深入了解每个主题的具体内容，只需要识别数据样本所属的聚类，并将其与其他聚类区分开来，即使用样本所属的主题/聚类编号作为样本的语义增强。 ##### 3.5 分类器设计 - 使用预训练模型“all - mpnet - base - v2”的SBERT生成维度为N × H（H = 768）的句子嵌入E。 - 采用三种方法为每个句子生成主题{p1 · · · pk} ∈ P，三种方法下的主题数量k不同，LDA将样本分为20个主题，K - 均值聚类分为14个主题，HDBSCAN分为85个主题。使用独热编码将主题编号转换为向量，pn = [0, 0, 1, 0, ..., 0]，n表示第n个样本的主题。 - 将主题特征P与原始文本表示E拼接为新的文本表示Enew，其中E是N × H矩阵，P是N × k矩阵，由于三种主题生成方法下k的值不同，新文本表示Enew的维度为N × (H + k)，公式如下： \[ E_{new} = E \text{ concate } T = \begin{bmatrix} 0.58108 & -2.7709 & \cdots & 0.50074 \\ 0.8123 & -1.2817 & \cdots & 0.41439 \\ \cdots & \cdots & \cdots & \cdots \\ -0.5578 & 0.4974 & \cdots & 0.1069 \\ 1.28458 & 0.78436 & \cdots & -20606 \end{bmatrix} \oplus \begin{bmatrix} 0 & 0 & 0 & \cdots & 1 \\ 0 & 0 & 0 & \cdots & 0 \\ \cdots & \cdots & \cdots & \cdots & \cdots \\ 0 & 1 & 0 & \cdots & 0 \\ 1 & 0 & 0 & \cdots & 0 \end{bmatrix} \] - 将文本表示Enew输入具有512个隐藏单元的全连接密集层，并引入ReLU非线性激活函数，公式如下： \[ Q = ReLU(E_{new}) \] ReLU（修正线性激活函数）是一个分段线性函数，如果输入为正，则直接输出输入；否则，输出为零。许多神经网络使用它是因为它更容易训练，并且通常比其他激活函数给出更好的结果。 - 使用标准的softmax函数根据式(7)中的非线性中间表示（表示为Q）计算最终标签概率。Softmax用于多类分类问题，也适用于二分类问题，用于建模每个类别的输出概率。该softmax层的输出P维度为N × 2，N是样本总数，2表示标签数量（真/假），公式如下： \[ P = Softmax(Q) \] - 在模型训练中，采用二元交叉熵损失函数更新分类器，学习率设置为0.005，训练轮数设置为10。使用准确率、精确率、召回率和F1分数评估模型性能，二元交叉熵损失函数公式如下： \[ Loss = -\frac{1}{N} \sum_{i = 1}^{N} y_i \cdot \log(p(y_i)) + (1 - y_i) \cdot \log(1 - p(y_i)) \] 其中yi (i ∈ [0, 1])是标签，p(yi)是所有N个样本属于yi的预测概率。对于多类分类，采用分类交叉熵损失函数： \[ Loss = -\frac{1}{N} \sum_{i = 1}^{N} \sum_{c = 1}^{C} 1_{y_i \in C_c} \log p_{model}[y_i \in C_c] \] 以下是整个方法的流程图： ```mermaid graph LR A[数据集] --> B[文本表示学习] B --> C[主题生成] C --> D[分类器设计] D --> E[输出分类结果] B1[LDA] --> C B2[HDBSCAN] --> C B3[K - 均值聚类] --> C ``` 实验结果和参数分析将在下半部分详细介绍。通过上述方法，我们构建了一个基于BERT的语义增强模型，旨在提高新冠假新闻检测的准确性。在接下来的部分，我们将展示实验结果并分析参数设置对分类性能的影响。 ### 基于BERT的语义增强模型：新冠假新闻检测新方法 #### 4. 实验结果与参数分析 上半部分详细介绍了所提出的方法及具体实现步骤，下面将呈现每种方法的实验结果，以及参数设置对分类性能的影响。 ##### 4.1 实验结果 采用评估指标（准确率、精确率、召回率和F1分数）来衡量二元或多类分类任务的性能。选择决策树（DT）作为基线方法，并使用TF - IDF转换器，词汇表大小设置为10,000。同时，将ELMo（Embedding from Language Model）和长短期记忆网络（LSTM）作为深度学习模型的基线，早期预处理阶段与BERT相同。在表现最佳的SBERT分类器上添加语义增强模块，使用三种不同的主题提取策略（SBERT L、SBERT H和SBERT K）来寻找新的语义特征。这三种策略基于不同的机制，在整个数据集中生成的主题数量也不同，分别为20、85和14。 实验结果表明，语义增强的文本表示有助于提高分类的准确性。在提出的三种主题提取策略中，K - 均值聚类技术取得了最佳效果，具体结果如下表所示： | 模型 | 准确率(%) | 精确率(宏观)(%) | 召回率(宏观)(%) | F1分数(宏观)(%) | | --- | --- | --- | --- | --- | | DT | 81.38 | 81.44 | 80.41 | 80.92 | | LSTM | 87.22 | 82.00 | 86.55 | 83.51 | | ELMo | 90.05 | 90.25 | 90.13 | 90.17 | | SBERT | 90.58 | 90.51 | 90.62 | 90.55 | | SBERT L | 91.07 | 91.25 | 91.16 | 91.07 | | SBERT H | 91.12 | 91.23 | 91.33 | 91.15 | | SBERT K | 93.50 | 93.48 | 93.50 | 93.48 | 从表中可以看出，SBERT K在各项指标上都表现出色，说明K - 均值聚类技术生成的主题特征对分类性能有显著的提升作用。 ##### 4.2 参数分析 在考虑模型复杂度时，SBERT H最为复杂。因为在使用HDBSCAN之前需要进行降维操作，UMAP有两个参数需要调整： - `n_neighbours`：决定局部邻居的大小。 - `n_components`：决定目标维度。 如果目标维度设置过低，会导致信息丢失；如果目标维度设置过高，聚类结果会变差。此外，还需要在HDBSCAN中设置`min_cluster_size`来确定聚类的最小大小。由于该算法没有完美的科学标准作为参考，参数的调整需要通过多次实验来确定最佳值。 而对于LDA和K - 均值聚类，也有各自需要调整的参数： - **LDA**：需要确定最佳的主题数量k。通过一致性得分来选择，将主题数量范围设置在(1 - 30)内，使用“gensim”库中的“coherencemodel”计算得分，最终确定k = 20时一致性得分最高。 - **K - 均值聚类**：使用Yellowbrick中的Elbow方法选择最佳的k值。通过绘制失真分数曲线，找到曲线的“肘部”，确定最佳主题数量为14。 以下是参数调整对模型性能影响的简单流程图： ```mermaid graph LR A[模型选择] --> B[参数设置] B --> C[训练模型] C --> D[评估性能] D --> E{性能是否满意?} E -- 是 --> F[确定参数] E -- 否 --> B B1[LDA参数调整] --> B B2[HDBSCAN参数调整] --> B B3[K - 均值聚类参数调整] --> B ``` #### 5. 总结与展望 本研究提出了一种基于BERT的语义增强模型，用于新冠假新闻检测。通过在文本表示中融入主题特征，有效提高了分类的准确性。实验结果表明，K - 均值聚类技术生成的主题特征在提升模型性能方面表现最佳。 在实际应用中，该模型可以帮助社交媒体平台、新闻机构等快速准确地识别新冠假新闻，减少虚假信息的传播，为疫情防控工作提供有力支持。 未来的研究可以从以下几个方面展开： - **更多主题提取技术**：探索其他主题提取和聚类算法，进一步优化主题特征的生成，提高模型的性能。 - **多模态数据融合**：结合文本、图像、视频等多模态数据，丰富信息来源，提升假新闻检测的准确性。 - **实时检测**：开发实时检测系统，能够及时发现和处理新出现的假新闻，更好地应对疫情期间信息传播的快速变化。 通过不断改进和完善模型，有望在新冠假新闻检测领域取得更好的成果，为社会的信息安全和疫情防控做出更大的贡献。