Python数据科学速查表 - Spark RDD 基础1

在Python数据科学中，PySpark是Apache Spark的Python接口，它允许用户利用Spark的强大功能进行分布式数据处理。PySpark的核心组件之一是Resilient Distributed Datasets (RDDs)，这是一种不可变、分区的数据集，可以在集群中的多台机器上并行处理。 创建一个SparkContext是使用PySpark的第一步。在示例中，`sc = SparkContext(master='local[2]')`初始化了一个SparkContext，`master='local[2]'`参数表示在本地模式下运行，且使用两个工作线程。 加载数据通常涉及将数据转化为RDD。例如，`sc.parallelize()`函数用于创建RDD，如`rdd = sc.parallelize([('a',7),('a',2),('b',2)])`，它将列表转换为并行化的数据集。 接着，RDD的操作包括转换和行动。转换函数如`map()`和`flatMap()`对RDD的每个元素应用函数。`map()`函数保持元素个数不变，如`rdd.map(lambda x: x+(x[1],x[0]))`将元组 `(key, value)` 转换成 `(key, value, key, value)`。`flatMap()`则会拉平结果，如`rdd5 = rdd.flatMap(lambda x: x+(x[1],x[0]))`，将每个元素展开为多个项。 对键值对的RDD，可以使用`flatMapValues()`，这在`rdd4.flatMapValues(lambda x: x)`中体现，它对每个键的值进行展开，不改变键，输出形如`('a','x'), ('a','y'), ('a','z'), ('b','p'), ('b','r')`的结构。 SparkContext提供了许多属性和方法来获取关于当前Spark实例的信息，如`sc.version`返回Spark版本，`sc.pythonVer`返回Python版本，`sc.master`显示Master URL，`sc.sparkHome`显示Spark的安装路径，`sc.sparkUser()`给出Spark用户的名称，`sc.appName`和`sc.applicationId`分别表示应用名称和ID，`sc.defaultParallelism`和`sc.defaultMinPartitions`定义了默认的并行度和最小分区数。 配置SparkContext可以通过`SparkConf()`对象，如`conf = SparkConf().setMaster("local").setAppName("My app").set("spark.executor.memory", "1g")`，然后使用`SparkContext(conf=conf)`创建SparkContext。 保存RDD数据，可以使用`saveAsTextFile()`或`saveAsHadoopFile()`。`saveAsTextFile("rdd.txt")`将RDD内容保存为文本文件，而`saveAsHadoopFile()`则使用特定的输出格式，如示例中的`TextOutputFormat`，将数据写入HDFS。 统计函数如`max()`, `min()`, `mean()`, `stdev()`和`variance()`可用于计算RDD中的最大值、最小值、平均值、标准差和方差，例如`rdd3.max()`、`rdd3.min()`、`rdd3.mean()`等。 Spark可以使用`spark-submit`命令执行Python程序，通过`--master`参数指定Master，`--py-files`添加依赖的Python文件。在PySpark Shell中，已预定义了`sc`变量，可以直接操作。 PySpark提供了一套丰富的API来处理大规模数据，通过RDD实现高效分布式计算。理解并熟练运用这些概念和操作是掌握PySpark的关键。