从mongoDB里加载到pyspark总是有bson.int64.int64的数据

原创

于 2023-04-24 02:55:29 发布 · 461 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #spark #分布式

在将从MongoDB获取的数据转换为pysparkDataFrame时，遇到IntegerType不接受bson.int64.Int64类型的问题。通过在转换数据阶段将此类值转为int，然后创建DataFrame并指定LongTypeschema，成功避免了错误并确保数据包含数值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先导入的时候，就会报IntegerType not accept blabla

当你把schema指定为StringType，再用cast转成IntegerType，里面的值会是Null。

from pyspark.sql import SparkSession
from pyspark.sql.types import StructField, StructType, StringType, LongType

spark = SparkSession.builder.appName("example").getOrCreate()
schema = StructType([
    StructField("created_at", StringType(), True)
])
df = spark.createDataFrame(documents, schema=schema)
df = df.withColumn("created_at", col("created_at").cast("integer"))

而且如果有这个类型的数据，随便df.show()一下它就会报：

org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 3.0 failed 4 times, most recent failure: Lost task 0.3 in stage 3.0 (TID 55) (driver-7b9bff5d64-v94tb executor driver): net.razorvine.pickle.PickleException: expected zero arguments for construction of ClassDict (for bson.int64.Int64). This happens when an unsupported/unregistered class is being unpickled that requires construction argumen