
spark
GG_Bomd
啦啦啦
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
centos7安装Scala+Spark+hadoop
spark是由Scala写的,可以把Scala看做加强化的java语言我选择的是Scala2.13.8+spark3.2.11.安装Scala在安装Scala之前需要jdk8环境,自行百度配置。官网下载链接https://downloads.lightbend.com/scala/2.13.8/scala-2.13.8.tgz下载好之后用Finashell连接centos7上传到/opt/packages文件夹下Finashell下载进入压缩包所在的文件夹cd /opt/packages原创 2022-03-14 22:52:58 · 3514 阅读 · 0 评论 -
安装pyspark
pip3 install pyspark -i https://mirrors.cloud.tencent.com/pypi/simple原创 2022-03-30 15:36:37 · 915 阅读 · 0 评论 -
spark报错WARN NativeCodeLoader: Unable to load native-hadoop library for your platform
在spark目录spark/conf/spark-env.sh文件,末尾添加如下内容:export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native原创 2022-03-30 11:03:21 · 14483 阅读 · 2 评论