SHLPM：基于预训练模型隐藏层求和的代码混合数据情感分析

# SHLPM：基于预训练模型隐藏层求和的代码混合数据情感分析 ## 1. 引言 情感分类是一种用于分析和评估文本内容，以了解人们态度和想法的流行技术。自然语言处理（NLP）能有效自动化诸如反馈分析等耗时任务，还可执行情感分类、情感提取、意见总结和主观性检测等功能，广泛应用于垃圾邮件检测、假新闻检测、仇恨与希望言论检测等领域。 随着社交媒体和用户生成评论数量的增加，识别母语情感的重要性日益凸显。本文使用了达罗毗荼语系中的卡纳达语（ISO 639 - 3: kan）与英语的代码混合数据集，旨在对YouTube上的相关评论进行情感分类，判断其为积极、消极、未知状态、混合情感或非卡纳达 - 英语语言。 数据集的注释标准如下： 1. 积极：用户以积极的情感表达评论。 2. 消极：用户以消极的情感表达评论。 3. 混合情感：用户以讽刺的方式表达评论。 4. 未知状态：评论没有任何情感。 5. 非卡纳达语：评论使用其他语言。 ## 2. 文献综述 近年来，社交媒体的普及降低了新闻发布的门槛，各种问题受到广泛关注，社交媒体中的情感分析值得重视。 一些研究在情感分析方面取得了进展： - Madabushi等人使用支持向量机（SVM）在推文的消息级情感分析任务中取得了先进成果。 - Giatsoglou等人提出了一种用向量替换文本且所需计算资源较少的机器学习方法。 - Sharma等人首次提出了解决印地语 - 英语代码混合社交媒体文本的方法。 - Chittaranjan等人进行了词级语言识别系统的研究。 然而，这些方法在粗粒度情感分类任务上效果较好，但对于更细粒度的情感分类任务，需要获取整个句子或段落的语义信息。因此，情感分析任务中的监督深度学习方法成为新的解决方案。 深度学习可以使用更深的人工神经网络来学习更丰富的语义信息。例如，Joshi等人在长短期记忆网络（LSTM）架构中引入了子词级表示学习，以捕捉有意义词素的情感价值信息；相关研究还使用卷积神经网络（CNN）和双向LSTM来分离代码混合文本中的情感；Lal等人使用正字法来减少代码混合对结果的影响。但这些尝试在混合情感标签上效果不佳，主要原因是细粒度情感分类模型需要获取丰富的上下文语义信息才能取得好结果。 ## 3. 提出的方法 ### 3.1 BERT BERT（Bidirectional Encoder Representation from Transformers）是最流行的基于Transformer的模型之一，它在整个维基百科和11万个WordPiece句子上针对全球104种语言进行了广泛训练。其前所未有的下一句预测（NSP）和掩码语言建模（MLM）方法成功捕捉到了语言的更深层次上下文。 ### 3.2 RoBERTa XLM - RoBERTa是大规模多语言预训练模型，使用它可以显著改善跨语言转移任务。它基于XLM和RoBERTa，使用了100种语言的新的干净CommonCrawl数据进行训练，因为尽可能多地使用内容训练模型对于提取有用的语义特征、帮助句子理解和减少数据噪声至关重要。 ### 3.3 SHLPM 基于BERT的模型架构使用词元嵌入、位置嵌入和段嵌入的总和作为最终嵌入。为了获得输出，将最终嵌入输入到深度双向层中。BERT的输出是与输入序列中每个词元对应的预定义隐藏大小的隐藏状态向量。BERT最终层的这些隐藏状态代表整个句子，但隐藏层包含词元级信息。在该模型中，使用了隐藏层。基于BERT的模型有12个隐藏层，对最后三层（第10、11、12层）进行求和操作，最终向量将进入下一阶段。 ## 4. 实现细节 ### 4.1 数据集和预处理 数据集从YouTube收集，包含积极、消极、非卡纳达语、未知状态和混合情感等极性。数据集中的评论存在噪声，预处理步骤如下： 1. 将语句转换为小写。 2. 去除特殊字符。 3. 用相关单词替换表情符号。 4. 去除单词中出现两次以上的重复字符。 训练、验证和测试数据集的统计信息如下表所示： | 标签 | 训练集 | 验证集 | 测试集 | | --- | --- | --- | --- | | 混合情感 | 574 | 52 | 65 | | 消极 | 1188 | 139 | 157 | | 积极 | 2823 | 321 | 374 | | 非卡纳达语 | 916 | 110 | 110 | | 未知状态 | 711 | 69 | 62 | ### 4.2 SHLPM - BERT SHLPM - BERT基于BERT。对于特定任务，使用了HuggingFace的BERT - base - multilingual - cased模型，它包含12层和注意力头，约有1.1亿个参数。该模型进一步与双向LSTM层连接，双向层从两个方向读取嵌入，显著增强了上下文信息和F1分数。训练使用Adam优化器，学习率为2e - 5，交叉熵损失函数，训练5个周期。 ### 4.3 SHLPM - XLM - RoBERTa SHLPM - XLM - RoBERTa基于XLM - RoBERTa，这是一个预训练模型，包含12个隐藏层。对XLM - RoBERTa进行微调时，获取其最后三个隐藏层（第10、11、12层）的输出结果，然后将这三个结果求和生成二维位置以获得新矩阵。接着，将这个新矩阵输入到分类器（RobertaClassificationHead分类器）中得到结果。最后，将上一步分类器处理的结果输入到softmax层。使用Adam优化器优化损失并修改权重，批量大小设置为32，学习率为5e - 5，最大序列长度设置为100，通过将output_hidden_States设置为true来提取模型的隐藏层状态。模型训练20个周期，丢弃率设置为0.2。 以下是SHLPM在预训练模型BERT和XLM - RoBERTa上的流程： ```mermaid graph LR classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px; classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px; classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px; A([输入数据]):::startend --> B(预处理):::process B --> C{选择模型}:::decision C -->|BERT| D(SHLPM - BERT流程):::process C -->|XLM - RoBERTa| E(SHLPM - XLM - RoBERTa流程):::process D --> F(输出结果):::process E --> F F --> G([结束]):::startend ``` ## 5. 结果与讨论 预训练的最先进深度学习模型（如多语言BERT、XLM - RoBERTa、多语言DistilBERT、IndicBERT和多语言句子BERT）的性能如下表所示： | 模型 | 精确率 | 召回率 | F1分数 | | --- | --- | --- | --- | | 多语言BERT | 55 | 58 | 55 | | XLM - RoBERTa | 63 | 62 | 58 | | 多语言DistilBERT | 59 | 61 | 58 | | 多语言句子BERT | 65 | 63 | 61 | | IndicBERT | 55 | 58 | 55 | SHLPM - BERT和SHLPM - XLM - RoBERTa的类级性能分别如下表所示： SHLPM - BERT： | 标签 | 精确率 | 召回率 | F1分数 | | --- | --- | --- | --- | | 混合情感 | 24.39 | 15.38 | 18.87 | | 消极 | 58.06 | 68.79 | 62.97 | | 积极 | 70.35 | 74.87 | 72.54 | | 非卡纳达语 | 67.07 | 50.00 | 57.29 | | 未知状态 | 29.51 | 29.03 | 29.27 | SHLPM - XLM - RoBERTa： | 标签 | 精确率 | 召回率 | F1分数 | | --- | --- | --- | --- | | 混合情感 | 58 | 75 | 66 | | 消极 | 75 | 76 | 75 | | 积极 | 67 | 64 | 65 | | 非卡纳达语 | 38 | 12 | 19 | | 未知状态 | 43 | 42 | 42 | 提出的模型在评估集上的性能如下表所示： | 模型 | 精确率 | 召回率 | F1分数 | | --- | --- | --- | --- | | SHLPM - BERT | 60.18 | 61.33 | 60.36 | | SHLPM - XLM - RoBERTa | 65 | 66 | 64 | 可以看出，SHLPM - BERT在查找积极和非卡纳达语实例方面表现较好，而SHLPM - XLM - RoBERTa在查找混合情感、消极和未知状态实例方面表现较好。在两个模型中，SHLPM - XLM - RoBERTa - base取得了较好的结果，该卡纳达语 - 英语数据集语料库的基线加权F1分数为63%，而SHLPM - XLM - RoBERTa达到了64%。 ## 6. 结论 社交媒体评论的情感分析是自然语言处理（NLP）中最显著的任务之一。本文为达罗毗荼语（卡纳达语 - 英语）代码混合的情感分析提供了新的基线。 在SHLPM - XLM - RoBERTa中，通过提取XLM - RoBERTa的隐藏层状态并对最后三个隐藏层状态进行加法运算，以获取更丰富的语义特征。结果表明，SHLPM - XLM - RoBERTa通过提取XLM - RoBERTa的隐藏状态，在获取更多语义信息特征方面表现良好，在卡纳达语上取得了有希望的结果。未来的研究将考虑如何更好地提高混合情感标签的识别率。 ## 7. 技术对比与分析 ### 7.1 不同模型在情感分析中的表现 为了更清晰地了解各模型在情感分析中的优势和不足，我们对上述模型的性能进行深入对比。从精确率来看，多语言句子BERT在现有预训练模型中达到了65，相对较高；而在召回率方面，XLM - RoBERTa达到了62，表现较为突出。不过，综合F1分数，SHLPM - XLM - RoBERTa以64的分数领先，说明它在精确率和召回率之间取得了较好的平衡。 以下是各模型性能的对比表格： | 模型 | 精确率 | 召回率 | F1分数 | | --- | --- | --- | --- | | 多语言BERT | 55 | 58 | 55 | | XLM - RoBERTa | 63 | 62 | 58 | | 多语言DistilBERT | 59 | 61 | 58 | | 多语言句子BERT | 65 | 63 | 61 | | IndicBERT | 55 | 58 | 55 | | SHLPM - BERT | 60.18 | 61.33 | 60.36 | | SHLPM - XLM - RoBERTa | 65 | 66 | 64 | ### 7.2 模型性能差异的原因分析 不同模型在情感分析任务中表现不同，主要与它们的架构和训练数据有关。例如，BERT模型通过大规模的预训练学习到了丰富的语言知识，但在处理代码混合数据时，可能由于其训练数据的单一性，无法很好地适应这种复杂的语言形式。而XLM - RoBERTa使用了多语言的CommonCrawl数据进行训练，能够更好地处理跨语言的文本，因此在代码混合数据的情感分析中表现更优。 SHLPM - XLM - RoBERTa通过对最后三个隐藏层状态进行求和操作，进一步增强了模型对语义信息的捕捉能力，从而在F1分数上超过了其他模型。而SHLPM - BERT虽然在某些类别（如积极和非卡纳达语实例）上表现较好，但整体性能略逊于SHLPM - XLM - RoBERTa。 ## 8. 操作步骤总结 ### 8.1 数据集预处理步骤 对从YouTube收集的数据集进行预处理，具体步骤如下： 1. 将语句转换为小写，确保文本的一致性。 2. 去除特殊字符，减少噪声干扰。 3. 用相关单词替换表情符号，使文本更易于理解。 4. 去除单词中出现两次以上的重复字符，规范文本表达。 ### 8.2 SHLPM - BERT模型训练步骤 1. 选择HuggingFace的BERT - base - multilingual - cased模型，该模型包含12层和注意力头，约有1.1亿个参数。 2. 将模型与双向LSTM层连接，增强上下文信息。 3. 使用Adam优化器，设置学习率为2e - 5。 4. 采用交叉熵损失函数进行训练。 5. 训练5个周期，完成模型训练。 ### 8.3 SHLPM - XLM - RoBERTa模型训练步骤 1. 选择预训练的XLM - RoBERTa模型，该模型包含12个隐藏层。 2. 获取模型最后三个隐藏层（第10、11、12层）的输出结果。 3. 将这三个结果求和生成二维位置，得到新矩阵。 4. 将新矩阵输入到RobertaClassificationHead分类器中。 5. 将分类器处理的结果输入到softmax层。 6. 使用Adam优化器优化损失并修改权重，批量大小设置为32，学习率为5e - 5。 7. 设置最大序列长度为100，通过将output_hidden_States设置为true来提取模型的隐藏层状态。 8. 训练20个周期，丢弃率设置为0.2。 以下是整个模型训练和预测的流程图： ```mermaid graph LR classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px; classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px; classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px; A([收集YouTube数据集]):::startend --> B(数据集预处理):::process B --> C{选择模型}:::decision C -->|SHLPM - BERT| D(SHLPM - BERT训练):::process C -->|SHLPM - XLM - RoBERTa| E(SHLPM - XLM - RoBERTa训练):::process D --> F(模型评估):::process E --> F F --> G(模型预测):::process G --> H([输出情感分析结果]):::startend ``` ## 9. 实际应用与拓展 ### 9.1 在社交媒体监测中的应用 在社交媒体监测中，情感分析可以帮助企业了解用户对产品或服务的看法。通过使用SHLPM - XLM - RoBERTa等模型，企业可以对大量的用户评论进行快速分类，及时发现用户的积极或消极反馈，以便采取相应的措施。例如，当发现大量负面评论时，企业可以及时改进产品或服务；当发现积极评论时，可以进一步推广产品，提高品牌知名度。 ### 9.2 跨语言情感分析的拓展 随着全球化的发展，跨语言的交流越来越频繁。SHLPM - XLM - RoBERTa由于其多语言的训练数据和良好的性能，在跨语言情感分析中具有很大的应用潜力。可以将其应用于国际新闻、跨国电商等领域，帮助用户了解不同语言文本中的情感倾向，促进跨文化的交流和合作。 ### 9.3 未来可能的改进方向 虽然SHLPM - XLM - RoBERTa在卡纳达语 - 英语代码混合数据的情感分析中取得了较好的结果，但在混合情感标签的识别率方面还有待提高。未来的研究可以从以下几个方面进行改进： 1. 增加更多的训练数据，特别是混合情感的样本，以提高模型对这种复杂情感的识别能力。 2. 探索更有效的特征提取方法，进一步增强模型对语义信息的捕捉能力。 3. 结合其他技术，如知识图谱、注意力机制等，提高模型的性能和可解释性。 ## 10. 总结与展望 ### 10.1 总结 本文介绍了基于预训练模型隐藏层求和的代码混合数据情感分析方法，重点介绍了SHLPM - BERT和SHLPM - XLM - RoBERTa两个模型。通过对卡纳达语 - 英语代码混合数据集的实验，发现SHLPM - XLM - RoBERTa在情感分析任务中表现更优，达到了64%的F1分数，为代码混合数据的情感分析提供了新的基线。 ### 10.2 展望 随着自然语言处理技术的不断发展，情感分析在各个领域的应用将越来越广泛。未来的研究可以进一步探索如何提高模型在复杂语言环境下的性能，特别是在混合情感标签的识别方面。同时，也可以将情感分析与其他技术相结合，如计算机视觉、语音识别等，实现多模态的情感分析，为用户提供更全面的信息。相信在不久的将来，情感分析技术将在更多的领域发挥重要作用。