NLP_文本去重_附Python实现【MinHash和MinHashLSH】算法

已于 2023-07-28 10:10:38 修改
阅读量1.9k 收藏 2
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 扩散模型CV与NLP从入门到项目实战 文章标签： 自然语言处理 python 算法 minhash 文本去重
于 2023-07-24 16:09:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45934285/article/details/131897596
本文介绍了大规模文本去重的方法，重点讲解了利用MinHash和MinHashLSH算法进行文本相似度计算。通过Python实现，详细注释辅助理解，包括读取文本、计算Jaccard相似度和基数，以及三种不同的去重策略：随机算法、簇算法和最小标号算法。最后，将去重结果写入文件。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

NLP_文本去重_附Python实现【MinHash和MinHashLSH】算法

前言

大规模的文本去重是目前比较热门的一个技术，由于大模型的兴起，更多的高质量数据集也是大家迫切需要的。

关于如何进行文本去重？

直观的方法首先是利用Python正则表达式进行去重。
推荐学习：1. re — 正则表达式操作 2. 正则表达式 - 教程

然后是利用文本之间的相似度进行去重。
这里主要讲第二种。
推荐学习：1. 张振虎大佬的博客 2. Github的实现源码 3. 文本内容相似度计算方法：minhash

了解本专栏 订阅专栏 解锁全文
使用python bloomfilter实现大文本去重
Jepson的博客
04-24 1238
需求：项目中在收集数据的时候，遇到日志中存在大量的重复记录，数据在入库之前需要先对日志文件做一个处理，滤掉重复的事件 bloomfilter原理参考文章：python BloomFilter(布隆过滤器) 项目环境：python3.7 需要安装的模块包：pybloom-live-3.0.0 下载pybloom_live-3.0.0.tar.gz后，直接执行pip install pybloom_l...
python大文件去重_python3 大文件去重
weixin_33340636的博客
03-02 639
一、生成待去重数据每行是固定位数的数字串import osfrom random import randint#-- from u_工具 import *print("———— 开始 ————")#-- 打点()# 用来配置的变量位数 = 13行数 = 500 * 10000输出目录 = "./a_输入"输出文件 = f"{输出目录}/随机数.txt"# 预处理_00 = "".join(["0"...
【数据】文本去重
程序的尽头是数学，一日不推导赶不上买买提
10-11 488
1/Linux sort file.txt | uniq -d 2/c++ 3/python
【Python】如何利用MinHash和LSH进行大规模文本数据去重
哈哈哈哈哈哈哈
04-19 2308
通过MinHash和LSH，我们能够有效地在没有数据库支持的情况下处理和去重大量文本数据。这种方法特别适合处理语义上相似的文本，而不仅仅是字面上完全相同的文本。使用这种方法可以显著提高数据处理的效率和准确性。
自然语言处理之简单文件去重
yongwan5637的博客
07-10 1083
#coding:utf-8 """ 开发程序 """ """ 程序名称：去重删除空白行并去特定长度字符串 程序功能：删除重复的行,删除空白行,提取特定长度的中文字符串 开发平台：PyCharm Community Edition 2017.1.3 软件版本：Python2.7.13 开始日期：2017-6-2 结束日期：2016-6-3 学习内容：1、每个字符所占字节数；2、
【Python问题集锦】如何高效的检测并移除大规模文本数据中的重复项
苏凉.py的博客
08-07 1536
在一个数据挖掘项目中，我们需要处理大规模的文本数据。这些数据包含很多重复的句子或文档片段。我们的任务是检测并去除这些重复项，以便后续的分析和处理。我们遇到的问题是：如何高效地检测并移除大规模文本数据中的重复项。
如何使用Python实现并比较余弦相似度、Jaccard相似度、编辑距离、MinHash、SimHash以及海明距离算法？
10-28
在文本分析和自然语言处理领域，文本相似度的度量是一项重要的任务。为了帮助你更好地理解和运用这些算法，我推荐阅读《Python实现五种文本相似度算法对比分析》这篇文章。它详细介绍了如何使用Python实现这些算法，...
如何用Python实现LLM的文本摘要：多文档摘要与关键信息提取
二进制的梦想
01-19 873
文本摘要是自然语言处理（NLP）中的一个重要任务，旨在从长文本中提取出核心信息，生成简洁的摘要。随着深度学习技术的发展，基于大型语言模型（LLM，如BERT、GPT、BART等）的文本摘要方法已经成为主流。本文将详细介绍如何用Python实现多文档摘要与关键信息提取，涵盖从基础概念到实际代码实现的完整流程。文本摘要的目标是从长文本中提取出核心信息，生成简洁的摘要，帮助用户快速理解内容。新闻摘要：从多篇新闻文章中提取关键信息，生成每日简报。学术论文摘要：帮助研究人员快速了解论文的核心贡献。法律文档摘要。
minhash算法
最新发布
03-08
在自然语言处理任务中，比如重复内容识别或者抄袭检测，MinHash被广泛应用。由于文本通常由单词组成的大规模集合表示，在这种情况下直接运用传统的交集运算会非常耗时。而采用MinHash则可以在不牺牲太多精度的前提下...
对文章进行简单的相似度计算以及去重的两类方法（NLP）以及两类方法的优劣比较
ws_nlp_的博客
06-03 1746
文本相似度比较有两类方法 1.基于文本 2.基于句子 第一种方法，基于文本： 就是将文本编码成一个向量，计算相似度 第二张方法，基于句子： 文本中的句子都编码成向量，我们将最多相似句子的文本当成最相似的文本 个人优缺点： 第一种方法缺点： 1.文本编码目前方法都不太好 第二种方法缺点： 1.没有将文本当作整体进行比较，如果两个相似文本的信息分布在不同句子中没办法找到，并且没有考虑到整体的含义 2.相似文本可能只有几组相似句子，丢失掉了其他句子的信息，阈值为0.7，即A一个句子0.9相似度，B三个句子0.6相
Min-Hash-LSH-Python:快速示例 Min Hash 和 LSH 实现文本重复数据删除
06-12
Min-Hash-LSH-Python 在 Python 中重复数据删除的 Min Hash 和 LSH 的快速示例/实现
相似检索/去重场景下MinHash-LSH及MinHash LSH Forest的Python实现
zenRRan的博客
03-03 3812
编辑：AI算法小喵 公众号写在前面个人认为文本的相似性可以分为两类：一类是机械相似性；一类是语义相似性。机械相似性代表着，两个文本内容上的相关程度，比如“你好吗”和“你好”的相似性，纯粹代表着内容上字符是否完全共现，应用场景在：文章去重；语义相似性代表着，两个文本语义上的相似程度，比如“苹果”和“公司”的相似性。今天跟大家分享在相似性检索+去重的场景下，如何基于Python中的datasketch...
用于文本去重（相似度计算）的Simhash算法学习及python实现（持续学习中）
qq_44418077的博客
03-05 1万+
Simhash算法学习及python实现1. Simhash算法是什么？2.Simhash算法思想3.Simhash算法流程3.1 分词3.2 hash3.3 加权3.4 合并3.5降维4. SimHash签名距离计算4.1 什么是海明距离呢？4.2 大规模数据下的海明距离计算参考文章 来源于众多文章的学习，将在文章末尾，集中附录出所有学习的文章 1. Simhash算法是什么？ 一段文字所包含的信息，就是它的信息熵。如果对这段信息进行无损压缩编码，理论上编码后的最短长度就是它的信息熵大小。 如果仅仅是用来
nlp中文本处理的一些常用方法
简单随风的博客
01-29 1794
从sentence(str)中找到会重复出现的多位的keyword的起始位置与结束位置的索引 def get_key_idxs(sentence, keyword): k_len = len(keyword) res = [] for i in range(len(sentence) - k_len + 1): if sentence[i:i+k_len] == k...
[Algorithm] 使用SimHash进行海量文本去重
weixin_33829657的博客
02-20 595
　　在之前的两篇博文分别介绍了常用的hash方法（[Data Structure & Algorithm] Hash那点事儿）以及局部敏感hash算法（[Algorithm] 局部敏感哈希算法(Locality Sensitive Hashing)），本文介绍的SimHash是一种局部敏感hash，它也是Google公司进行海量网页去重使用的主要算法。 1. SimHash与传统hash...
数据去重方案（汇总）
猫猫爱吃小鱼粮
01-02 1825
数据去重方案汇总
NLP之文本匹配及语义匹配应用介绍
热门推荐
ling620的专栏
07-11 3万+
文章目录1、什么是文本匹配？2、文本匹配方法概述2-1 传统文本匹配方法2-2 主题模型2-3 深度语义匹配模型表示型交互型3、语义匹配应用介绍3-1 短文本-短文本语义匹配3-2 短文本-长文本语义匹配案例1-用户查询-广告页面相似度案例2：文档关键词抽取3-3 长文本-长文本语义匹配案例3：新闻个性化推荐 1、什么是文本匹配？ 文本匹配是自然语言处理中一个重要的基础问题，可以应用于大量的NLP...
文本去重之MinHash算法
weixin_34272308的博客
07-06 482
2019独角兽企业重金招聘Python工程师标准>>> ...
算法之去重
CHL博客
11-09 7469
方法一：new Set() 思路：es6新的数据类型 里面的值是惟一的 function unique(arr) { var newArr=[]; newArr=new Set(arr); return newArr;}var arr=[1,2,2,3,2,3,4,5,4];console.log('==================',unique(arr)) ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

旋转的油纸伞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值