spark 一步一步走

最新推荐文章于 2024-09-20 16:12:25 发布

wtljiayou

最新推荐文章于 2024-09-20 16:12:25 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark win7

本文链接：https://blog.csdn.net/wtljiayou/article/details/50053277

spark 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了如何在Windows 7环境下安装Spark，包括选择预编译包以避免运行错误，以及如何修改配置文件使Spark在Win7上正常工作。重点提到了将`spark-env.sh.template`转换为`spark-env.cmd`，并调整`load-spark-env.cmd`中的配置路径，以确保Spark正确加载配置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark win7 安装

直接下载 spark

在选择 package type 的时候请选择包含hadoop的预编译包，不然在cmd执行spark-shell的时候就会出现这样的错误： Failed to find Spark assembly JAR. You need to build Spark before running this program

使用

在win7下使用（.sh 变为.cmd）

加载配置：
%SPARK_HOME%\conf 目录里面的spark-env.sh.template 这个文件改成 spark-env.cmd
然后在%SPARK_HOME%\bin 下面的 load-spark-env.cmd 这个命令中会有加载spark-env.cmd 的写法

:LoadSparkEnv
if exist "%user_conf_dir%\spark-env.cmd" (
  call "%user_conf_dir%\spark-env.cmd"
)

但问题来了看load-spark- env.cmd 这个文件中下面这段代码

if [%SPARK_ENV_LOADED%] == [] (
  set SPARK_ENV_LOADED=1

  if not [%SPARK_CONF_DIR%] == [] (
    set user_conf_dir=%SPARK_CONF_DIR%
  ) else (
    set user_conf_dir=%~dp0..\..\conf
  )
  call :LoadSparkEnv
)

对 set user_conf_dir=%~dp0….\conf 这个值我在win7 上面获取的是
D:\tools\spark-1.5.2-bin-hadoop2.6\bin….\conf
这个目录明显的不对
所以我将它改为了 set user_conf_dir=%~dp0..\conf
或者设置环境变量 SPARK_CONF_DIR = %SPARK_HOME%\conf
即可