Kylin2.5.2完全分布式安装部署

最新推荐文章于 2024-12-07 16:08:26 发布

乖乖猪001

最新推荐文章于 2024-12-07 16:08:26 发布

阅读量1.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Kylin 大数据文章标签： Kylin

本文链接：https://blog.csdn.net/xiaozhaoshigedasb/article/details/87942242

大数据同时被 2 个专栏收录

72 篇文章

订阅专栏

Kylin

14 篇文章

订阅专栏

本文详细介绍了Apache Kylin 2.5.2版本的安装和配置过程，包括Hadoop、Zookeeper、HBase、Hive等依赖组件的版本要求，Kylin的下载、解压及配置文件修改，以及环境变量设置和启动验证。同时，针对生产环境提供了额外的配置建议。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Kylin介绍：
关于Kylin的简介网上资料有很多，就不做过多的赘述了，这里给一个中文链接：
http://kylin.apache.org/cn/
搭建步骤：

1，安装Hadoop，Zookeeper，HBase，Hive
      安装Hadoop这些组件的时候需要注意：选择的版本不能太低，根据Kylin官方推荐的版本来，
     Hadoop: 2.7+
     Hive: 0.13 - 1.2.1+
     HBase: 1.1+
     Spark (可选) 2.1.1+
     Kafka (可选) 0.10.0+
     JDK: 1.7+
     OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+

     笔者这里选用的版本如下：
     hadoop-2.7.2
     hbase-1.2.11
      zookeeper-3.4.6
      jdk1.8.0_91
      hive1.2.1
      Kylin-2.5.2

2，Kylin下载与安装
     下载Kylin的时候，需要注意Kylin的版本，Kylin支持CDH，也有原生的版本。
     笔者下载的是这个：
     https://www.apache.org/dyn/closer.cgi/kylin/apache-kylin-2.5.2/apache-kylin-2.5.2-bin-hbase1x.tar.gz
     下载完成后，将tar包上传到linux中，进行解压：

tar -zxvf apache-kylin-2.5.2-bin-hbase1x.tar.gz

然后对解压后的目录改名：

 mv apache-kylin-2.5.2-bin-hbase1x kylin2.5.2

解压完成后可以看到查看目录的文件夹有哪些：

[root@mzz11 opt]# cd kylin2.5.2/
[root@mzz11 kylin2.5.2]# ls
bin  commit_SHA1  conf  ext  lib  logs  pid  sample_cube  spark  tomcat  tool

进入conf下：

[root@mzz11 kylin2.5.2]# cd conf/
[root@mzz11 conf]# ls
kylin_hive_conf.xml       kylin_job_conf.xml        kylin.properties               kylin-spark-log4j.properties  setenv.sh
kylin_job_conf_inmem.xml  kylin-kafka-consumer.xml  kylin-server-log4j.properties  kylin-tools-log4j.properties

打开 kylin.properties ，这里只展现部分的内容：

[root@mzz11 conf]# vi kylin.properties 
#
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#    http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#
kylin.job.jar=/opt/kylin2.5.2/lib/kylin-job-2.5.2.jar
kylin.coprocessor.local.jar=/opt/kylin2.5.2/lib/kylin-coprocessor-2.5.2.jar



# The below commented values will effect as default settings
# Uncomment and override them if necessary



#
#### METADATA | ENV ###
#
## The metadata store in hbase
#kylin.metadata.url=kylin_metadata@hbase
#
## metadata cache sync retry times
#kylin.metadata.sync-retries=3
#
## Working folder in HDFS, better be qualified absolute path, make sure user has the right permission to this directory
#kylin.env.hdfs-working-dir=/kylin
"kylin.properties" 363L, 13895C

我们需要修改这些项：

##这里可以将mode设置为all，也可以为job，但是只能设置一个，待会将这个文件copy到其他节点，
##需要将这一项改为query，因为一个集群中只能有一个job！！！
## Kylin server mode, valid value [all, query, job]
kylin.server.mode=all


##这个选项为kylin集群的IP，host，根据自己的主机名写，端口就是7070
## List of web servers in use, this enables one web server instance to sync up with other servers.
kylin.server.cluster-servers=mzz11:7070,mzz12:7070,mzz13:7070

##在加入以下两个选项， 注意这两个jar包的位置在kylin目下的lib中，这里需要改成你自己的目录。
kylin.job.jar=/opt/kylin2.5.2/lib/kylin-job-2.5.2.jar
kylin.coprocessor.local.jar=/opt/kylin2.5.2/lib/kylin-coprocessor-2.5.2.jar

注意：这里只是做测试之用，若是在生产环境，可根据自己需要修改一下几个xml文件，已达到生产需要。

kylin_hive_conf.xml       kylin_job_conf.xml        kylin.properties               kylin-spark-log4j.properties  setenv.sh
kylin_job_conf_inmem.xml  kylin-kafka-consumer.xml  kylin-server-log4j.properties  kylin-tools-log4j.properties

3，其他配置
第二部完成后，Kylin的部署工作刚完成一半，因为Kylin的边缘配置还有一些。
首先就是Kylin的环境变量：

vi /etc/profile  

##同样，这里将目录改为自己的目录即可
export KYLIN_HOME=/opt/kylin2.5.2
export PATH=$PATH:$KYLIN_HOME/bin

##更改完成后，记得source一下：

source /etc/profile

当然，其他的组件，HBase，Hadoop，Zookeeper，Hive也需要配置环境变量，方法和Kylin相同。

还有一点，就是笔者在启动的时候，老是报错：找不到主机。这是因为HBase的一个配置

<property>
  <name>hbase.zookeeper.quorum</name>
  <value>mzz11,mzz12,mzz13</value>
</property>

没错，就是这个配置项，因为笔者用的是外置的zookeeper，一开始的时候配置项加上了post，一直报错找不到mzz11:2181这个主机，研究了下就把这个给改掉了，成功解决了问题！

4，启动验证:

运行Kylin之前，最好先检查下运行环境，Kylin提供了一个命令，在它的bin目录下有一个命令：

check-env.sh

启动之前，先进行检查，若是没有问题了，在启动Kylin：

kylin.sh  start

可以在UI界面查看Kylin是否启动成功：

在这里插入图片描述
有问题，可以留言。

测试：待续。。。

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////
Kylin2.6.1安装的时候需要自己下载spark的二进制包，或者运行download-spark.sh，
不然会报错：

spark not found, set SPARK_HOME, or run bin/download-spark.sh

从这个版本开始Kylin不提供spark的二进制包。