软件版本:
Mac:10.12.1,Spark:1.6.0-cdh5.7.3,JDK:1.7.0_79 ; IDEA:14;
问题描述:
在Mac上运行Spark程序时(采用local 生成SparkContext的方式,具体参考:https://github.com/fansy1990/Spark_MLlib_Algorithm_1.6.0/blob/master/src/test/scala/com/fz/classification/SVMTest.scala),提示如下错误:
这个错误网上查,StackOverFlow上的一些帖子好像说是Mac上面的JDK1.7的版本有点问题,代码是lz实验的一种解决方案;
解决方案:
1. 确认Spark使用的snappy版本,由于我的项目是maven的,所以直接查看其依赖即可,如下:
2. 查看版本后,在本地maven库中找到这个jar包,如下: