Spark(2.4.3) 概述

最新推荐文章于 2025-06-05 21:10:03 发布
最新推荐文章于 2025-06-05 21:10:03 发布
阅读量1.4k 收藏 1
点赞数
分类专栏： spark SPARK
本文围绕Apache Spark展开，介绍其是快速通用的集群计算系统，提供多语言高级API及优化引擎。提及安全设置，阐述下载方式、运行环境。还介绍运行例子的方法、集群启动部署方式，最后给出编程、API、部署等学习参考路线及扩展资源。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

概述

Apache Spark是一种快速通用的集群计算系统。它提供Java，Scala，Python和R 的高级API，以及支持通用执行图的优化引擎。它还支持一组丰富的更高级别的工具，包括Spark SQL用于SQL和结构化数据的处理，MLlib机器学习，GraphX用于图形处理和Spark Streaming。

安全

Spark中的安全性默认为OFF。这可能意味着您很容易受到默认攻击。在下载和运行Spark之前，请参阅Spark Security。

下载

从项目网站获取spark，本文档适用于Spark版本2.4.3。Spark使用Hadoop的客户端库来实现HDFS和YARN。下载是针对少数流行的Hadoop版本预先打包的。还可以通过下载Hadoop免费二进制文件并使用任何Hadoop版本运行Spark 。Scala和Java用户可以使用Maven坐标在他们的项目中包含Spark，并且将来Python用户也可以从PyPI安装Spark。

也可以通过源码构建spark

spark 运行在Windows和类UNIX系统（例如Linux，Mac OS）的笔记本上运行也是很容易的。只需要安装java 配置PATH，或者JAVA_HOME指向Java安装的环境变量即可。

Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.3使用Scala 2.12。您需要使用兼容的Scala版本（2.12.x）。

注意：spark2.2.0版本移除了Java 7, Python 2.6 and Hadoop 2.6.5 之前版本的支持。spark2.3.0版本移除了scala2.10的支持。spark2.4.1 废弃了Scala2.11 将在spark3.0中移除。

运行例子

Spark附带了几个示例程序。Scala，Java，Python和R示例都在 examples/src/main目录中。要运行其中一个Java或Scala示例程序，请 bin/run-example [params]在顶级Spark目录中使用。

/bin/run-example SparkPi 10

还可以通过Scala shell的修改版本以交互方式运行Spark。这是学习框架的好方法。

./bin/spark-shell --master local[2]

该–master选项指定分布式集群的 主URL，或者local使用一个线程local[1]在本地运行，或者使用N个线程在本地运行 。有关选项的完整列表，如下表

Master Url含义
local使用一个工作线程在本地运行Spark（即根本没有并行性）。
local[K]使用K个工作线程在本地运行Spark（理想情况下，将其设置为计算机上的核心数）。
local[K,F]使用K个工作线程和F maxFailures在本地运行Spark（有关此变量的说明，请参阅spark.task.maxFailures)
local[*]使用与计算机上的逻辑核心一样多的工作线程在本地运行Spark。
local[*,F]使用与计算机和F maxFailures上的逻辑核心一样多的工作线程在本地运行Spark
spark://HOST:PORT连接到给定的Spark独立集群主服务器。端口必须是主服务器配置使用的端口，默认为7077。
spark://HOST1:PORT1,HOST2:PORT2连接到给zookeeper集群，这个列表需要包含所有的zookeeper主机。默认端口7077
mesos://HOST:PORT连接到给定的Mesos群集
yarn连接到yarn
k8s://HOST:PORT连接到k8s集群

Spark还提供了一个Python API。要在Python解释器中以交互方式运行Spark，请使用 bin/pyspark：

./bin/pyspark --master local[2]

Python中也提供了示例应用程序。例如，

./bin/spark-submit examples/src/main/python/pi.py 10

Spark还提供了R 的API

./bin/sparkR --master local[2]

对应的例子

./bin/spark-submit examples/src/main/r/dataframe.R

在集群上启动

spark 可以单独运行、通过集群管理器运行。目前有一下几种部署方式

  1. Standalone Mode
  2. Apache Mesos
  3. Hadoop YARN
  4. Kubernetes

学习参考路线

编程指南

  1. spark 快速入门API
  2. RDD 编程指南
  3. Spark SQL，Datasets和DataFrames 比RDD更新的API
  4. Structured Streaming
  5. Spark Streaming
  6. MLlib
  7. GraphX

API 文档

  1. Spark Scala API (Scaladoc)
  2. Spark Java API (Javadoc)
  3. Spark Python API (Sphinx)
  4. Spark R API (Roxygen2)
  5. Spark SQL, Built-in Functions (MkDocs)

部署指南

  1. 群集概述：在群集上运行时概念和组件的概述
  2. 提交应用程序

其他文件

  1. 配置
  2. 监控
  3. 调优指南
  4. 作业调度
  5. 安全性
  6. 硬件配置
  7. 与其他存储系统集成
    7.1 云基础架构
    7.2 OpenStack Swift
  8. 构建Spark
  9. 为Spark做贡献
  10. 第三方项目

扩展资源

  1. Spark主页
  2. Spark社区
  3. StackOverflow tag apache-spark
  4. 邮件列表：在这里询问有关Spark的问题
  5. AMP Camps：加州大学伯克利分校的一系列训练营，包括有关Spark，Spark Streaming，Mesos等的演讲和练习。视频， 幻灯片和练习可在线免费获取。
  6. 代码示例：examplesSpark（Scala， Java， Python， R）的子文件夹中也提供了更多内容
Spark概述与RDD的运用
zhou_zhao_xu的博客
12-02 408
文章目录Apache Spark一、概述特点二、环境搭建Standalone（独立模式）准备工作安装Hadoop安装Spark安装Spark On Yarn准备工作三、开发第一个Spark应用Maven依赖编写WordCount应用项目打包上传Jar包Linux操作系统提交Jar包Standalone集群中运行本地模拟测试开发四、Spark架构MapReduce On Yarn工作原理Spark ...
Spark入门、SparkCore、SparkSQL基础知识点概述
weixin_49057491的博客
12-11 739
Spark知识点总结 一、Spark入门基础知识 1.1、什么是Spark ​ Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 1.2、Spark内置模块 ​ a、Spark Core：包含任务调度、内存管理、错误恢复、与存储系统交互等模块，含了对弹性分布式数据集RDD的API ​ b、Spark SQL：Spark用来操作结构化数据的程序包 ​ c、Spark Streaming：Spark提供对实时数据进行流式计算组件。提供数据流的API，与Spark Core中的 RDD API高
spark-2.4.3-bin-hadoop2.7.tgz
06-13
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
伪分布式系列 - 第三篇 - spark-2.4.3环境搭建on hadoop3.2.0
大数据训练营
07-26 7438
目录基础环境搭建spark配置spark启动测试 基础环境搭建 spark配置 spark启动测试
Spark 之 入门讲解详细版（1）
最新发布
zh_19995的博客
06-05 1012
Spark是由加州大学伯克利分校AMP实验室开发的通用内存并行计算框架，2013年成为Apache顶级项目。相比Hadoop，Spark通过内存计算和弹性分布式数据集(RDD)显著提升了迭代运算效率，支持更丰富的操作类型。其生态系统BDAS包含Spark SQL、Spark Streaming、MLlib等多个组件，能够一站式解决批处理、交互查询和实时流处理需求。腾讯、Yahoo、淘宝等企业已成功应用Spark于广告推荐、日志分析等场景。Spark的主要优势包括：运行速度比Hadoop快10-100倍；支持
Spark-2.4.3安装(基于Hadoop2.8.5完全分布式集群)
江冷易水寒
07-13 2482
一.安装Hadoop2.8.5完全分布式集群 安装过程 二.Spark2.4.3安装 2.1 Java1.8环境搭建(Hadoop2.8.5安装已安装) 2.2 Scala-2.13.0环境搭建 1) 创建/usr/hadoop/scala目录 2)下载scala安装包 下载地址 将页面拉到最下面，下载如图安装包 3) 解压安装包：tar -zxvf scala-2.13......
Spark2.4.3 部署
weixin_30502157的博客
08-02 388
scala下载地址：https://www.scala-lang.org/download/ spark下载地址：https://spark.apache.org/downloads.html 安装步骤 安装scala tar -zxvf scala-2.13.0.tgz scp -r scala-2.13.0 node102:/root scp -r scala-2.1...
spark-2.4.3-bin-hadoop2.7.zip
12-12
spark-2.4.3-bin-hadoop2.7.zip
【图书推荐】《Spark入门与大数据分析实战》
brucexia的专栏
06-14 1493
本书基于Spark 3.3.1框架展开，系统介绍Spark生态系统各组件的操作，以及相应的大数据分析方法。本书各章节均提供丰富的示例及其详细的操作步骤，并配套示例源码、PPT课件和教学大纲。本书共分11章，内容包括Scala编程基础、Spark框架全生态体验、Spark RDD、Spark SQL、Kafka、Spark Streaming、Spark ML、Spark GraphX、Redis等技术框架和应用，并通过广告点击实时大数据分析和电影影评大数据分析两个综合项目进行实战提升。
Spark快速入门系列（一）了解Spark 与Spark的简单使用
weixin_45417821的博客
08-23 5433
文章目录1.Spark概述1.1. Spark是什么1.2. Spark的特点(优点)1.3. Spark组件1.4. Spark和Hadoop的异同2.Spark集群的搭建2.1. Spark 集群结构2.2. Spark 集群搭建2.3. Spark 集群高可用搭建2.4. 第一个应用的运行3.Spark入门3.1. Spark shell 的方式编写 WordCount3.2. 读取 HDFS 上的文件3.3. 编写独立应用提交 Spark 任务 1.Spark概述 目标 Spark 是什么 ? Sp
Spark入门篇
子清的博客
11-04 814
文章目录第1章 Spark概述1.1 什么是Spark1.2 Spark框架1.3 Spark内置模块1.4 Spark特点第2章 Spark运行模式2.1 Spark安装地址2.2 Local模式2.2.1 安装使用2.2.2 官方WordCount案例2.3 集群角色2.3.1 Master和Worker2.3.2 Driver和Executor2.3.3 通用运行流程2.4 Standalone模式2.4.1 安装使用2.4.2 参数说明2.4.3 配置历史服务2.4.4 配置高可用（HA）2.4.5
spark-2.4.3源码
07-18
groupId: org.apache.spark artifactId: spark-core_2.11 version: 2.4.3 (May 07 2019)
spark-2.4.3-bin-hadoop2-without-hive.tgz
05-20
spark-2.4.3-bin-hadoop2-without-hive.tgz
Spark2.4.3基本原理与安装
欢迎大神交流讨论
10-20 519
spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计算 模型。高效的支撑更多计算模式，包括交互式查询和流处理。spark的一个主要特点是能够在内存中进行计算，及时依赖磁盘进行复杂的运算，Spark依然比MapReduce更加高效。 中间结果输出：基于MapReduce的计算引擎通常会将中间结果输出到磁盘上，进行存储和容错。出于任务管道承接的，考虑，当一些查询翻译到Map
Ubuntu安装Scala2.12.13+spark2.4.3
qq_52585809的博客
05-05 2215
Ubuntu安装Scala2.12.13+spark2.4.3
Spark(2.4.3) 快速开始
shareing
05-26 1236
使用Spark Shell进行交互式分析 基本 Spark的shell提供了一种学习API的简单方法，以及一种以交互方式分析数据的强大工具。它可以在Scala（在Java VM上运行，因此是使用现有Java库的好方法）或Python中使用。通过在Spark目录中运行以下命令来启动它： ./bin/spark-shell Spark的主要抽象是一个名为Dataset的分布式项目集合。可以从Hado...
大数据分析入门-hadoop集群环境下 spark-2.4.3 on hadoop-2.7.7及scala-2.11.11部署并运行在hadoop集群
wisdom_lp的博客
03-09 567
hadoop集群环境下 spark-2.4.3 on hadoop-2.7.7及scala-2.11.11部署并运行在hadoop集群
spark 与 scala 版本对应关系
热门推荐
Nice的博客
08-28 1万+
在开发spark程序的时候，用scala语言进行开发需要考虑sparkspark 版本与scala版本的对应问题 版本对应关系如下： Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。 对于Scala API，Spark 2.4.3使用Scala 2.12。您需要使用兼容的Scala版本（2.12.x）。 请注意 自Spark 2.2.0起，对2.6.5...
pycharm使用spark运用hadoop配置
03-21
### 配置 PyCharm 开发环境中的 Spark 和 Hadoop 为了在 PyCharm 中配置 Spark 和 Hadoop 的开发环境，可以按照以下方法操作： #### 设置 SPARK_HOME 和 PYTHONPATH 首先，在 Windows 系统中设置 `SPARK_HOME` 和 `PYTHONPATH` 变量非常重要。这些变量用于指定 Spark 安装目录以及 Python 解释器能够找到必要的库文件的位置。 - **SPARK_HOME**: 这一变量应指向 Spark 软件的根目录，例如 `D:\spark\spark-2.4.6-bin-hadoop2.7`[^1]。 - **PYTHONPATH**: 此外还需要将路径扩展至 Spark 提供的 Python 库及其依赖项所在的子目录，比如 `D:\spark\spark-2.4.6-bin-hadoop2.7\python\lib\py4j-0.10.7-src.zip`[^3]。 #### 修改 IDE 的运行配置 (Run Configurations) 进入 PyCharm 后，可以通过调整项目的运行配置来加载上述环境变量： - 打开菜单栏上的选项卡，选择 “Edit Configurations...”，随后定位到目标脚本对应的条目。 - 在弹出窗口内的 "Environment variables" 字段里输入键值对形式的内容，如 `PYSPARK_PYTHON=D:\Program Files\Anaconda2\python.exe`, `HADOOP_USER_NAME=hadoop`, `PYTHONUNBUFFERED=1`, `SPARK_HOME=D:\spark-2.0.0-hadoop2.7`, `HADOOP_HOME=D:\hadoop-2.7.2test`[^4]。 #### 更改解释器并加入额外 jar 文件支持 对于某些特定功能的支持可能还涉及 Java Archive (.jar) 文件部署工作。如果项目需要用到自定义或者第三方插件，则需把对应 .jar 放入合适位置以便于 PySpark 访问它们。通常情况下会放置于类似于这样的地方 `/home/ho/Downloads/spark-2.4.3-bin-hadoop2.7/python/lib/py4j-0.x.y-src.zip` 或者其他由开发者自行决定的地方[^5]。 最后一步就是验证整个流程是否正常运作了——通过编写简单的测试代码片段确认模块导入无误即可完成全部准备工作！ ```python import os import sys # Set environment variable 'SPARK_HOME' os.environ['SPARK_HOME'] = "D:\\adasoftware\\spark" # Add pyspark to the system path so that it can be found during runtime. sys.path.append("D:\\adasoftware\\spark\\python") try: from pyspark import SparkContext, SparkConf conf = SparkConf().setAppName('TestApp').setMaster('local') sc = SparkContext(conf=conf) rdd = sc.parallelize([1, 2, 3]) result = rdd.collect() print(f'Successfully collected data: {result}') except ImportError as error_message: print(error_message) ``` 以上即是在 PyCharm 下搭建适合大数据处理框架集成的方法概述。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值