hungita的博客

问题一：Service 'sparkDriver' failed after 16 retries (on a random free port)。。。 解决方案：ifconfig，查看ip,vi /etc/hosts改成与ifconfig的ip对应；vi /etc/sysconfig/network-scripts/ifcfg-eth0中的HWaddr对应ifconfig的HWaddr； ...

1 、pycharm右上角“run”三角形的左边有一个run configurition，打开它。 2 、设置configurition---Environment--- Environment variables ---点击“...”，出现框框，点击+，输入两个name，一个是SPARK_HOME，另外一个是PYTHONPATH，设置它们的values，SPARK_HOME的value是安...

RDD（Resilient Distributed DataSet)弹性分布式数据集，是Spark的核心数据结构。 DSM（Distributed Shared Memory）分布式共享内存，它是一种通用的内存数据抽象。在DSM中，应用可以向全局地址空间的任意位置进行读写操作。 RDD与DSM主要区别在于，不仅可以通过批量转换创建（即“写”）RDD，还可以对任意内存位置对写。RDD限制应用执行...