Apache 框架版本

框架版本选型:

  1. Apache:运维麻烦,组件间兼容性需要自己调研。(一般大厂使用,技术实力雄厚,有专业的运维人员)
  2. CDH6.3.2:国内使用最多的版本,但CM不开源,但其实对中、小公司使用来说没有影响(建议使用)10000美金一个节点CDP7.0
  3. HDP:开源,可以进行二次开发,但是没有CDH稳定,国内使用较少
  4. Azkaban、hive、kylin需要重新编译
ProductOldNewChange Desc
Hadoop2.7.23.1.3
  • HDFS的web端口由50070变为9870
  • 客户端访问端口号:9820|8020|9000
Zookeeper3.4.103.5.7
Mysql5.6.245.7.16
  • 原生json支持:不需遍历所有字符,通过虚拟列的功能对json数据行索引
  • 多源复制,多主一从
  • InnoDB优化
HIve1.2.13.1.2(不在支持mr引擎)
Flume        1.7.01.9.0
Kafka0.11-0.2_2.11-2.4.1
  • 0.9版本前,offset保存在zookeeper中,0.9后consumer自己维护offset
  • 允许使用者从最近的副本中获取
kafka Eagle1.3.71.4.5
Azkaban2.5.93.84.4集成给用户打电话的功能
Spark        2.1.13.0.0不支持Scala 2.11.X,升级为2.12.X
Hbase1.3.12.0.5
Phoenix4.14.15.0.0支持Apache Hbase 2.0
Redis3.2.53.2.5
Canal        1.1.21.1.2
ElasticSearch+Kibana6.3.16.3.1

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值