Windows环境下使用pyspark创建和使用DataFrame出现Py4JJavaError错误

最新推荐文章于 2024-04-14 00:48:42 发布

原创

最新推荐文章于 2024-04-14 00:48:42 发布 · 2.7k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#pyspark

在Windows环境下使用pyspark时，遇到Py4JJavaError错误，具体表现为调用DataFrame的showString和count方法时出错。通过降低Spark版本从2.4.0到2.3.2，解决了ModuleNotFoundError: No module named 'resource'的问题，从而成功运行代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Windows环境下使用pyspark创建和使用DataFrame出现Py4JJavaError错误

测试代码

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("myfirst_spark").master("local[*]").getOrCreate()
data_frame = spark.createDataFrame([
    (1,134.5,5.2,23,'A'),
    (2,162.2,5.5,45,'A'),
    (3,114.1,5.2,53,'B'),
    (4,144.4,5.4,32,'C'),
    (5,122.2,5.7,24,'B'),
    (3,154.1,5.1,43,'B'),
    (5,122.5,5.2,56,'D'),
    ],['id','weight','height','age','score'])

data_frame.show()

执行之后发现报错Py4JJavaError: An error occurred while calling o45.showString.后来又试着执行data_frame.count()也会出现近似的错误，在网上找不到解决办法。想到网上大多都是在linux环境下操作的，有可能和spark版本有关，于是从2.4.0降到2.3.2版本后再次运行。

+---+------+------+---+-----+
| id|weight|height|age|score|
+---+------+------+---+-----+
|  1| 134.5|   5.2| 23|    A|
|  2| 162.2|   5.5| 45|    A|
|  3| 114.1|   5.2| 53|    B|
|  4| 144.4|   5.4| 32|