xiaosongwahaha的博客

解决方法1：在eclipse中的Run Configuration中的JRE下的VM arguments中设置：-server -Xms1g -Xmx8g -XX:PermSize=1g -XX:MaxPermSize=1g -XX:+CMSClassUnloadingEnabled -XX:+PrintGCDetails -Xloggc:%M2_HOME%/gc.log -XX:

1、在苏宁的Hbase访问中需要设置环境变量，因此在Hbase初始化的时候要写上：        //初始化Hbase环境变量static{System.setProperty("HADOOP_USER_NAME", "sousuo");}2、用Spark在本地计算时需要设置：    SparkConf sparkConf=new SparkCo

情况一：只需插入一列JavaRDD titleParticiple = ....;/** * 将分词结果保存到Hive表，供数据探查使用 * */   HiveContext hiveCtx = new HiveContext(jsc);   SQLContext sqlCtx = new SQLContext(jsc);/**   

RDD常用操作：1、关键词分组之后展示（将>转化为）JavaPairRDD> productMap = ones.groupByKey();List<Tuple2<String, String>> reslist = productMap.map(new Function>, Tuple2>() {              public Tuple2 call(Tup

1、JSON文件格式为：{"key1":{"产地":"南京","外形尺寸":"50*50","型号":"dddd"},"code":"101331569"}2、程序如下：public class ExportData {      public static void main(String[] args) {                  SparkConf conf