28、评论垃圾邮件检测与维度降维技术解析

评论垃圾邮件检测与维度降维技术解析

在当今的信息时代，评论垃圾邮件检测和数据维度降维是机器学习和数据处理领域的重要问题。评论垃圾邮件会误导消费者，影响市场的公平性；而高维数据的分类则面临着计算成本高、分类难度大等挑战。本文将介绍基于半监督学习的评论垃圾邮件检测方法，以及基于决策框架的数据维度降维技术。

基于半监督学习的评论垃圾邮件检测

• 数据集 ：Ott等人创建了用于研究评论垃圾邮件的数据集，包括标准的正面欺骗性意见垃圾邮件、真实意见、负面欺骗性意见垃圾邮件以及真实意见。
• 现有研究 ：许多研究使用监督学习技术，应用n - gram和语言特征等标准特征来检测虚假评论，并与人类的判断结果进行比较。然而，监督学习需要对所有数据集进行标注，这是一个耗时且成本高的过程。
• 半监督学习方法 ：为了克服监督学习的缺点，Hernndez等人和Liu等人应用了半监督学习技术。半监督学习使用大量未标记数据和少量标记数据进行训练，介于监督学习（完全标记数据）和无监督学习（完全未标记数据）之间。
• 具体实验 ：使用Ott等人创建的包含800条正面评论的数据集，其中400条是欺骗性的，400条是真实的。随机选择160条评论作为测试集（80条欺骗性和80条真实），其余640条用于三个不同大小的训练集，分别包含40、80和120个正例（欺骗性意见），并在所有情况下使用520个未标记实例。
• PU - 学习算法 ：采用PU - 学习算法进行评论