框架版本选型:
- Apache:运维麻烦,组件间兼容性需要自己调研。(一般大厂使用,技术实力雄厚,有专业的运维人员)
- CDH6.3.2:国内使用最多的版本,但CM不开源,但其实对中、小公司使用来说没有影响(建议使用)10000美金一个节点CDP7.0
- HDP:开源,可以进行二次开发,但是没有CDH稳定,国内使用较少
- Azkaban、hive、kylin需要重新编译
Product | Old | New | Change Desc |
Hadoop | 2.7.2 | 3.1.3 |
|
Zookeeper | 3.4.10 | 3.5.7 | |
Mysql | 5.6.24 | 5.7.16 |
|
HIve | 1.2.1 | 3.1.2 | (不在支持mr引擎) |
Flume | 1.7.0 | 1.9.0 | |
Kafka | 0.11-0.2 | _2.11-2.4.1 |
|
kafka Eagle | 1.3.7 | 1.4.5 | |
Azkaban | 2.5.9 | 3.84.4 | 集成给用户打电话的功能 |
Spark | 2.1.1 | 3.0.0 | 不支持Scala 2.11.X,升级为2.12.X |
Hbase | 1.3.1 | 2.0.5 | |
Phoenix | 4.14.1 | 5.0.0 | 支持Apache Hbase 2.0 |
Redis | 3.2.5 | 3.2.5 | |
Canal | 1.1.2 | 1.1.2 | |
ElasticSearch+Kibana | 6.3.1 | 6.3.1 |