小丑八怪的博客

1 内部表和外部表 在hive中的表分两种 1)外部表 external 2)内部表 默认的 也称管理表 managertable 区别详解： 先创建一个表 create table tb_log( id int, name string， age int, gender string ) row format delimited fields terminated by ‘,’ location ‘hdfs://linux01:8020/data/log/’ 创建一个表(管理表) c

一、HIVE的安装（Linux） 1 、mysql数据 远程连接权限 mysql -uroot -p 输入密码 set global validate_password_policy=0; set global validate_password_length=1; 这个两个设置以后 密码很简单不会报错 4） ALTER USER ‘root’@‘localhost’ IDENTIFIED BY ‘root’; 把修改密码为root 5）grant all privileg

wordcount为例 以MR程序的WC为例 如果处理的数据只有四个单词 a b c d a 和 c 出现的次数特别多 (a/c.hashCode%2=1)–>分区 1 多 b 和 d 出现的次数很少 (b/d.hashCode%2=0) -->分区0 少 a c -->reduce1 a: iterator<1,1,1,1,1,1,1,1,1,1,1,1,1,1> 时间久(排序 内存) b d -->reduce0 b: iterator<1,1&

order.txt : order011,u001 order012,u001 order033,u005 order034,u002 order055,u003 order066,u004 user.txt: u001,senge,18,male,angelababy u002,ss,58,male,ruhua u003,shuaishuai,16,female,chunge u004,laoyang,28,female,zengge u005,nana,24,female,huangbo u006,d

文件： A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L … … 一、 /** * A:B,C,D,F,E,O * B:A,C,E,K * 好友列表作为k：B-->A C-->A D-->A * A-->B C-->B E-->B * 将matask端的value（本人）添加到list集合 集合中任意两人的共同好友即为maptask的key * 再写一个MR聚合

{“movie”:“1193”,“rate”:“5”,“timeStamp”:“978300760”,“uid”:“1”} {“movie”:“661”,“rate”:“3”,“timeStamp”:“978302109”,“uid”:“1”} {“movie”:“914”,“rate”:“3”,“timeStamp”:“978301968”,“uid”:“1”} {“movie”:“3408”,“rate”:“4”,“timeStamp”:“978300275”,“uid”:“1”} … … 定义一个Mo

HADOOP的JAVA客户端 1 配置Maven仓库 修改settings.xml <localRepository>D:\my_repository\repository</localRepository> <mirror> <id>nexus-aliyun</id> <mirrorOf>central</mirrorOf> <name>Nexu