- 博客(9)
- 收藏
- 关注
原创 【Spark优化】
参数设置对于Spark SQL 是不生效的,Sparksql可以在查询出来的RDD后,立即使用repartition算子,重新分为多个分区,之后的RDD操作不涉及Sparksql,所以并行度就会等于参数设置的值,这样就避免了 Spark SQL 所在的 stage 只能用少量的 task 去处理大量数据并执行复杂的算法逻辑。➢ Spark 作业的大部分 task 都执行迅速,只有有限的几个 task 执行的非常慢,此时可能出现了数据倾斜,作业可以运行,但是运行得非常慢;·增大 key 粒度。
2024-07-20 13:45:29
605
原创 【Hadoop优化】
提示:如果面试过程问起,我们一般回答压缩方式为Snappy,特点速度快,缺点无法切分(可以回答在链式MR中,Reduce端输出使用bzip2压缩,以便后续的map任务对数据进行split)在Mapper加上combiner相当于提前进行reduce,即把一个Mapper中的相同key进行了聚合,减少shuffle过程中传输的数据量,以及Reducer端的计算量。增大merge的文件数目,缩短mr处理时间(10个文件,一次20个merge)(1) 尽量避免出现小文件,将多个小文件事先合成一个顺序文件;
2024-07-20 12:31:17
719
原创 Anaconda安装tensorflow,直接打开spyder无法调用,在导入模块时会出现ImportError: DLL load failed: 找不到指定的模块的问题
Anaconda安装tensorflow,直接打开spyder无法调用,在导入模块时会出现ImportError: DLL load failed: 找不到指定的模块的问题检查:打开spyder的操作要使用tensorflow时,是否在终端激活tensorflow环境:【activate tensorflow】再输入【spyder】这里打开的spyder是tensorflow环境下的spyder不使用tensorflow时在终端使用命令关掉tensorflow环境【deactivate】如果
2021-03-26 17:14:35
1114
2
原创 已知线性表L递增有序。试写一算法,将X插入到L的适当位置上,以保持线性表L的有序性。---C语言
直接看代码里面有注释#include <stdio.h>#define MAXSIZE 100typedef char Elemtype;typedef struct//顺序线性表存储结构 { Elemtype elem[MAXSIZE]; int last;}seqlist;void insert(seqlist *L,Elemtype x){ int k;...
2020-04-18 22:49:07
5721
1
原创 FCFS、RR、SPF、PSA、DPSA算法代码---C语言
直接看代码----------------------操作系统作业1.FCFS先入先出2.RR时间片轮转3.SPF短进程优先即最短处理机运行期优先4.PSA优先级调度算法5.DPSA动态优先级调度算法#pragma once//常用的C/C++预处理指令,只要在头文件的最开始加入这条预处理指令,就能够保证头文件只被编译一次。#include <stdio.h>#inc...
2020-04-13 22:16:01
5289
1
原创 建立单链表的两种算法
文章目录头插法尾插法头文件、存储结构、初始化#include<stdio.h>#include<stdlib.h>#include<malloc.h>//头文件typedef char Elemtype;typedef struct Node{ Elemtype data; struct Node *next;}Node,*Linklist;...
2020-04-05 18:36:50
821
原创 单链表代码的基本结构
文章目录C语言中.和->的区别单链表定义代码的基本结构C语言中.和->的区别‘“.”前面为结构体变量->前面是指针读法不同:(*a).b读作,结构体a的ba->b读作,a指向结构体的b单链表定义代码的基本结构在读下面之前,要明确一点:线性表是抽象数据类型,与数据类型类似(int、float等)书上出现的代码大部分都是算法,不是完整的代码,完...
2020-04-05 16:14:58
299
原创 数据结构基本概念
数据结构的基础概念文章目录数据结构的基础概念1. 数据(data)2. 数据元素(data element)3. 数据对象(data object)4. 数据结构(data structure)5. 数据类型(data type)6. 抽象数据类型(abstract data type)1. 数据(data)定义:描述客观事物的数值、字符以及能输入机器且能被处理的各种符号集合简单来说:数...
2020-04-04 12:47:13
145
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人