大数据集群架构hadoop集群、Hbase集群、zookeeper、kafka、spark、flink、doris、dataease(七)

doris部署

部署环境  

192.168.81.128   FE  BE

192.168.81.129 BE

wget -c https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.1.7-bin-x64.tar.gz

tar -xf apache-doris-2.1.7-bin-x64.tar.gz -C /data/

mv /data/apache-doris-2.1.7-bin-x64/  /data/doris

tar xf openjdk-8u44-linux-x64.tar.gz   -C /data

mv /data/java-se-8u44-ri/ /data/java

echo '

JAVA_HOME=/data/java

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME PATH

' >> /etc/profile 

source /etc/profile

vim /etc/security/limits.conf   优化一下最大文件打开数两台机器都做

* soft nofile 65536

* hard nofile 131072

* soft nproc 2048

* hard nproc 4096

vim /etc/sysctl.conf   增加最大内存映射数

vm.max_map_count=2000000

vm.swappiness=0

sysctl -p  刷新生效

128节点编辑FE配置文件vim /data/doris/fe/conf/fe.conf

#端口按需修改

#指定 Doris 系统元数据的存储位置手动创建。

meta_dir = /data/doris/doris-meta

#指定优先使用的网络范围，确保系统优先通过 192.168.81.0/24 这个网络子网进行通信。

priority_networks = 192.168.81.0/24

#将该值设置为 102400 表示查询引擎的最大连接数为 102400

qe_max_connection = 102400

#限制外部客户端或应用程序与 Doris 的连接数

max_connection = 1024

#设置为 409600 表示调度器的最大线程数为 409600

max_connection_scheduler_threads_num=409600

#在启用该模式时，Doris 将使用节点的完全合格域名来进行通信，FQDN 能够提供更稳定的网络解析和通信

enable_fqdn_mode = true

mkdir  /data/doris/doris-meta

vim /etc/profile  添加环境变量

export DORIS_HOME=/data/doris

export PATH=$PATH:$DORIS_HOME/be/bin

export PATH=$PATH:$DORIS_HOME/extensions/apache_hdfs_broker/bin

export PATH=$PATH:$DORIS_HOME/fe/bin

source /etc/profile

启动FE

start_fe.sh --daemon 后台运行

访问 192.168.81.128:8030

128节点编辑 BE 配置文件vim /data/doris/be/conf/be.conf   

#端口按需修改

#指定优先使用的网络范围，确保系统优先通过 192.168.81.0/24 这个网络子网进行通信。

priority_networks = 192.168.81.0/24

#指定 Doris 存储数据的根目录

storage_root_path = /data/doris/be/storage

129节点编辑 BE 配置文件vim /data/doris/be/conf/be.conf   

#端口按需修改

#指定优先使用的网络范围，确保系统优先通过 192.168.81.0/24 这个网络子网进行通信。

priority_networks = 192.168.81.0/24

#指定 Doris 存储数据的根目录

storage_root_path = /data/doris/be/storage

vim /etc/profile  添加环境变量

export DORIS_HOME=/data/doris

export PATH=$PATH:$DORIS_HOME/be/bin

export PATH=$PATH:$DORIS_HOME/extensions/apache_hdfs_broker/bin

source /etc/profile

启动BE

start_be.sh --daemon 后台运行

启动报错了，需要禁用swap分区

swapoff -a  关闭交换分区

启动还报错，我们上面已经优化过了，千万不要改成655350 不然服务器直接就挂了。

解决方法就是断开一下当前的shell连接，在重新连就行了，使配置生效。

查看一下be的端口是否都正常

netstat -nltp | grep be

FE和BE需要通过myslq的客户端进行连接

mysql -uroot -P9030 -p -h192.168.81.128    密码是空的直接回车登录

show proc '/frontends' \G  查看FE节点信息

ALTER SYSTEM ADD BACKEND '192.168.81.128:9050';

ALTER SYSTEM ADD BACKEND '192.168.81.129:9050';

SHOW PROC '/backends' \G;  查看BE节点信息

FE跟BE在启动跟关闭时注意顺序

启动时先启动BE 在启动FE

start_be.sh --daemon   start_fe.sh --daemon

关闭时先关闭FE在关闭BE

stop_be.sh --daemon   stop_fe.sh --daemon