pyspark 代码练习8 —— OneHotEncoder

原创

于 2019-09-14 20:01:49 发布 · 3k 阅读

CC 4.0 BY-SA版权

本文介绍了如何在PySpark中使用OneHotEncoder进行单热编码，包括不使用Pipeline的版本和Pipeline版本，并提及了通过设置`setHandleInvalid('keep')`来处理未知数据的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

单热编码将一列标签索引映射到一列二进制向量，最多只有一个单值。此编码允许期望连续特征（例如Logistic回归）的算法使用分类特征。


from pyspark.ml.feature import OneHotEncoder, StringIndexer

df = spark.createDataFrame([
    (0, "a"),
    (1, "b"

200万优质内容无限畅学