spark

序言 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 Spark 是一种与 Hadoop 相

现在我们已经执行了行动操作，执行这些操作需要从磁盘读取数据，Spark在处理这些操作的时候，会把数据缓存起来，后续不管对该RDD执行转换操作还是行动操作，都将直接从内存读取，而不需要和磁盘进行交互。如果数据已经存在外部文件系统，例如本地文件系统，HDFS，HBase，Cassandra，S3 等，可以使用这种方式，即调用 SparkContext 的 textFile 方法，并把文件目录或者路径作为参数。操作，RDD并不会立即缓存，直到执行行动（Action）操作，数据才会真正缓存在内存中。

一、4040端口 spark任务运行后，会将Driver所在机器绑定到4040端口，提供当前任务的监控页面。 此端口号默认为4040，展示信息如下： 调度器阶段和任务列表 RDD大小和内存使用情况 环境信息 正在运行的executors的信息 演示如下： 通过spark的java接口启动spark SparkConf sc = new SparkConf(); // 创建一个SpakrConf对象用于配置Spark sc.setAppName("name") // 设定程序名字

sparkcore sparksql sparkstreaming structedstreming

Spark在2013年加入Apache孵化器项目，之后获得迅猛的发展，并于2014年正式成为Apache软件基金会的顶级项目。Spark生态系统已经发展成为一个可应用于大规模数据处理的统一分析引擎，它是基于内存计算的大数据并行计算框架，适用于各种各样的分布式平台的系统。在Spark生态圈中包含了Spark SQL、Spark Streaming、GraphX、MLlib等组件。如下图所示：Spark Core。

首先，对于 CPU 类配置项，我们要重点理解并行度与并行计算任务数的区别。并行度从数据的角度出发，明确了数据划分的粒度，并行度越高，数据粒度越细，数据越分散，CPU 资源利用越充分，但同时要提防数据粒度过细导致的调度系统开销。并行计算任务数则不同，它从计算的角度出发，强调了分布式集群在任一时刻并行处理的能力和容量。并行度与并行计算任务数之间互相影响、相互制约。其次，对于内存类配置项，我们要知道怎么设置它们来平衡不同内存区域的方法。在平衡堆外与堆内内存的时候，我们要重点考察数据模式。

Hadoop 和 Spark 是大数据处理领域的两大主流框架，各自具有独特的优势和适用场景。Hadoop 以分布式文件系统（HDFS）和 MapReduce 计算模型为核心，适合处理大规模批处理任务，尤其在成本效益和容错性方面表现突出。而 Spark 则通过内存计算显著提升了处理速度，特别适用于迭代计算、实时流处理和机器学习等场景。尽管两者在性能、内存利用率和集群管理上存在差异，但它们通常协同工作，Spark 依赖 Hadoop 的 HDFS 进行数据存储。

简介 Spark是使用Scala语言编写、基于内存运算的大数据计算框架。 以Spark core为核心，提供了Spark SQL、Spark Streaming、MLlib几大功能组件 中文文档：https://spark.apachecn.org/#/ github地址：https://github.com/apache/spark Spark Core Spark提供了多种资源调度框架，基于内...

sqoop 报错  for input string \N   是因为 hive 用\N 存 NULL, 这样就需要 设置input-null-string '\\\\N' input-null-non-string '\\\\N' 同网段，asm 导入可以达到 1W条记录每秒，使用sqoop 从hive导入  网上傻帽说ASM 数据大于几百万性能就不行了,麻烦说性能的时候介绍业务场景

设置分词器： vi elasticsearch.yml index:     analysis:         analyzer:             pattern_analyzer:                 type: custom                 tokenizer: field_tokenizer         tokenizer:

hive 表定义： drop table if exists MUSER_BASICINFO_CPA; create table MUSER_BASICINFO_CPA ( USERINDEX STRING, USERID STRING, USERIMSI STRING, REGISTERTYPE STRING, PROVINDEX STRING, CITYINDEX STRIN

create table day_table (id int, content string) partitioned by (dt string）； 动态分区 set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict;   INS

http://central.maven.org/maven2/com/google/guava/guava/18.0/guava-18.0.jar  版本太老 HADOOP_CONF_DIR 拷贝   hive-site hdds-site  hfs-core  hadoop-auth-2.5.2 (1)到 classes     http://central.ma