Spark ML 之 LSH

官方介绍：支持多种距离：、 Spark缺点 摘自https://www.jianshu.com/p/b72af2d27235：最近有个需求做百万级别实体的相关推荐，离线场景算完入库接口调用，数仓和计算引擎基于Hive和Spark，一开始设想直接老套路embedding+LSH（Spark ml下局部敏感哈希），测了几次都GG了，十分不好用，原因有以下：计算不稳定： Spark的LSH动不动卡着不动或者慢或者OOM，主要原因是join步骤相当消耗资源和桶内数据倾斜导致，然而在倾斜的桶内暴力搜索可能是不值得的，

MinHash 的核心思想是将集合映射为较小的哈希签名（MinHash 签名），并确保两个集合的 MinHash 签名相似度能够近似反映它们的 Jaccard 相似度。JAB∣A∩B∣∣A∪B∣JAB∣A∪B∣∣A∩B∣​对于大型集合，直接计算交集和并集的大小非常耗时，因此 MinHash 被提出以近似估计 Jaccard 相似度。MinHash 的核心思想是通过多个随机哈希函数对集合进行哈希，将每个集合映射为一组最小哈希值（MinHash 签名）。

参考：https://www.jianshu.com/p/e662daa8970a            https://blog.csdn.net/qq_34531825/article/details/52415838            https://blog.csdn.net/qq_34531825/article/details/52431264               h...

PySpark MLlib 提供了丰富的特征处理工具，帮助我们进行特征提取、转换和选择。以下是 PySpark MLlib 中常用的特征处理类及其简要介绍。

来源：LSHMinHash import org.apache.spark.ml.feature.MinHashLSH import org.apache.spark.ml.linalg.Vectors import org.apache.spark.sql.SparkSession import org.apache.spark.sql.functions.col val dfA = spark.createDataFrame(Seq( (0, Vectors.sparse(6, Seq((0,

MinHashLSH class pyspark.ml.feature.MinHashLSH(inputCol=None, outputCol=None, seed=None, numHashTables=1) Jaccard 距离的 LSH 类 输入可以是密集或稀疏向量，但如果是稀疏的，则效率更高。 例如 Vectors.sparse(10, [(2, 1.0), (3, 1.0), (5, 1.0)]) 表示空间中有 10 个元素。 该集合包含元素 2、3 和 5。此外，任何输入向量必须至少有 1 个非

这种方法避免了计算全局的词到索引映射表，这对于大型语料库来说可能代价很高，但它会遭受潜在的哈希冲突，不同的原始特征经过哈希可能会变成相同的词项。词频-逆文档频率（Term frequency-inverse document frequency，简称TF-IDF）是一种在文本挖掘中广泛使用的特征向量化方法，用以反映一个词语对于语料库中文档的重要性。一个可选的参数minDF也会影响拟合过程，它指定了一个词必须出现在多少个文档中才能被包含在词汇表中，这个数字可以是具体数目（如果小于1.0，则表示比例）。

问题引入 在风控领域常会面临一种场景：随着安全策略的打击，部分已经显露的账号/用户会被稽核、处置，要么被动地被封停，要么被坏人干脆舍弃掉。坏人会重新注册新的账号进行活跃。而这些新老账号之间很可能没有直接的交易关系，甚至连登陆设备也不同，就较难发现其关联性。但有一点是较难隐藏的：上下游的关系链。因此，可以尝试通过关系网络结构上的相似性来量化两个账号之间的关联度，从而对于风险用户关联分析起到一个补充作用。 可用下图来辅助说明，x的交易流入方集合为{a,b,c,d}， y的交易流入方集合为{b,c,d}，一个

SQLConf // This is used to set the default data source val DEFAULT_DATA_SOURCE_NAME = buildConf("spark.sql.sources.default") .doc("The default data source to use in input/output.") .stringCo...

Codegen

shuffle

/bin/spark-shell --master yarn --deploy-mode client /bin/spark-shell --master yarn --deploy-mode cluster There are two deploy modes that can be used to launch Spark applications on YARN. In cluster m...

printSchema spark/sql/core/src/main/scala/org/apache/spark/sql/Dataset.scala /** * Prints the schema to the console in a nice tree format. * * @group basic * @since 1.6.0 */ def printSchema(): Unit = printSchema(Int.MaxValue) // scalas

增加权限 kubectl create rolebinding default-admin --clusterrole=admin --serviceaccount=default:default --namespace=default 开启代理 # kubectl proxy Starting to serve on 127.0.0.1:8001 spark-pi bin/spark-subm...

ArrayType definition case class ArrayType(elementType: DataType, containsNull: Boolean) extends DataType { /** No-arg constructor for kryo. */ protected def this() = this(null, false) private[sql] def buildFormattedString( prefix: String,

启动命令 sh sbin/start-thriftserver.sh –master k8s://https://192.168.99.108:8443 –name spark-thriftserver –conf spark.executor.instances=1 –conf spark.kubernetes.container.image=zhixingheyitian/spark...

Figure: PersistentVolumes, like cluster Nodes, do not belong to any namespace, unlike Pods and PersistentVolumeClaims pv aep-pv-volume.yaml kind: PersistentVolume apiVersion: v1 metadata: name: aep...