Kylin4.0下载安装指南———附带详细安装过程

0 结果

1，前置条件：

Kylin 依赖于 Hadoop 集群处理大量的数据集。您需要准备一个配置好 HDFS，YARN，MapReduce，Hive，Zookeeper 和其他服务的 Hadoop 集群供 Kylin 运行。

Kylin 可以在 Hadoop 集群的任意节点上启动。方便起见，您可以在 master 节点上运行 Kylin。但为了更好的稳定性，我们建议您将 Kylin 部署在一个干净的 Hadoop client 节点上，该节点上 Hive，HDFS 等命令行已安装好且 client 配置（如 core-site.xml，hive-site.xml及其他）也已经合理的配置且其可以自动和其它节点同步。

运行 Kylin 的 Linux 账户要有访问 Hadoop 集群的权限，包括创建/写入 HDFS 文件夹，Hive 表的权限。

2，硬件要求：

• 运行 Kylin 的服务器建议最低配置为 4 core CPU，16 GB 内存和 100 GB 磁盘。

3，操作系统要求：
CentOS 6.5+ 或Ubuntu 16.0.4+

4，软件要求:

• Hadoop: cdh5.x, cdh6.x, hdp2.x, EMR5.x, EMR6.x, HDI4.x
• Hive: 0.13 - 1.2.1+
• Spark: 2.4.7/3.1.1
• Mysql: 5.1.17 及以上
• JDK: 1.8+
• OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+

1 下载

1.1 下载kylin

wget --no-check-certificate https://dlcdn.apache.org/kylin/apache-kylin-4.0.1/apache-kylin-4.0.1-bin-spark3.tar.gz

解压

tar -zxvf apache-kylin-4.0.1-bin-spark3.tar.gz

添加环境变量（添加如下内容到/etc/profile，然后运行source /etc/profile）：

#kylin
export KYLIN_HOME=/usr/local/apache-kylin-4.0.1-bin-spark3
export PATH=$KYLIN_HOME/bin:$PATH

1.2 下载spark

wget --no-check-certifica https://mirrors.bfsu.edu.cn/apache/spark/spark-3.1.3/spark-3.1.3-bin-hadoop3.2.tgz

解压，并将 spark包解压后放置在 ${KYLIN_HOME} 目录下，并重命名为 spark，以避免兼容性问题：

tar -zxvf spark-3.1.3-bin-hadoop3.2.tgz
mv spark-3.1.3-bin-hadoop3.2 $KYLIN_HOME/spark

添加环境变量:

#SPARK_HOME
export SPARK_HOME=/usr/local/apache-kylin-4.0.1-bin-spark3/spark
export PATH=$SPARK_HOME/bin:$PATH

1.3 jdk、hadoop、hive、zookeeper安装

方法网址

1.4 Mysql安装

方法网址

2 配置Mysql数据存储

2.1 配置mysql

修改原数据配置(路径：$KYLIN_HOME/conf/kylin.properties)：

找到如下语句并进行修改：

#kylin.metadata.url=kylin_metadata@jdbc,url=jdbc:mysql://localhost:3306/kylin,username=XXXX,password=XXXXXX,maxActive=10,maxIdle=10

需要修改其中的 Mysql 用户名和密码，以及存储元数据的 database 和 table（如果数据库没有，需要手动创建数据库CREATE DATABASE kylin）。

kylin.metadata.url=kylin_metadata@jdbc,url=jdbc:mysql://10.20.3.82:3306/kylin,username=root,password=123456,maxActive=10,maxIdle=10

下载 MySQL 的 JDBC 驱动 ( mysql-connector-java-<version>.jar) 并放置到 $KYLIN_HOME/ext/ 目录下,下载地址，提取码: gdp6

更多内容。

如果后面kylin启动成功后，kylin就会自动在数据库中创建相应的表格。

2.2 配置Zookeeper

#kylin.env.zookeeper-connect-string=sandbox.hortonworks.com

修改了为指定的端口：

kylin.env.zookeeper-connect-string=localhost:2181

将 mysql jdbc connector 放在$KYLIN_HOME/ext目录下（如/usr/local/apache-kylin-4.0.1-bin-spark3/ext），没有该目录时请自行创建。

2.3 检查运行环境

检查运行环境

Kylin 运行在 Hadoop 集群上，对各个组件的版本、访问权限及 CLASSPATH 等都有一定的要求，为了避免遇到各种环境问题，运行以下脚本来进行环境检测，如果没有报错信息，代表您的环境适合 Kylin 运行。

$KYLIN_HOME/bin/check-env.sh

如果直接启动，会遇到如下错误：

022-06-20 15:40:33,040 ERROR [localhost-startStop-1] context.ContextLoader:350 : Context initialization failed
org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerMapping': Invocation of init method failed; nested exception is java.lang.NoClassDefFoundError: org/apache/commons/configuration/ConfigurationException

解决方法：

下载commons-configuration-1.6.jar后，解压放在$KYLIN_HOME/lib/目录下，下载路径.

下面是网上给出的另一个解决方法（尝试后，对4.0的kylin版本并没有用处）:

进入$KYLIN_HOME/bin/,编辑find-spark-dependency.sh

spark_dependency=`find -L $spark_home/jars -name '*.jar' ! -name '*slf4j*' ! -name '*jackson*' ! -name '*metastore*' ! -name '*calcite*' ! -name '*doc*' ! -name '*test*' ! -name '*sources*' ''-printf '%p:' | sed 's/:$//'`

if [ ! -d "$spark_home/jars" ]
  then
    quit "spark not found, set SPARK_HOME, or run bin/download-spark.sh"
else
     verbose "spark dependency: $spark_dependency"
     export spark_dependency
fi

3 操作kylin

启动:

$KYLIN_HOME/bin/kylin.sh start

停止：

$KYLIN_HOME/bin/kylin.sh stop

查看日志(查看最后50行):

tail -50f $KYLIN_HOME/logs/kylin.log 

Kylin 启动后您可以通过浏览器http://<hostname>:7070/kylin进行访问。其中<hostname>为具体的机器名、IP 地址或域名，默认端口为 7070。初始用户名和密码是ADMIN/KYLIN。

参考

kylin官方文档