窦永厚

kafka集群安装 一、下载 wget https://downloads.apache.org/kafka/2.7.0/kafka_2.13-2.7.0.tgz 二、解压 tar -zxvf kafka_2.13-2.7.0.tgz -C /opt/module/ 三、配置 vim ${KAFKA_HOME}/config/server.properties #broker的全局唯一编号，不能重复 broker.id=01 #用来监听链接的端口，producer或consumer将在此端口建立连

zookeeper集群安装 一、解压 tar -zxvf apache-zookeeper-3.6.1-bin.tar.gz -C ../module/ 二、环境变量 vi /etc/profile.d/zookeeper.sh export ZOOKEEPER_HOME=/export/servers/zookeeper-3.4.5-cdh5.14.0 export PATH=$PATH:$ZOOKEEPER_HOME/bin source /etc/profile 三、配置相关 cd

Azkaban安装和部署 一、下载 下载地址:http://azkaban.github.io/downloads.html 网盘地址:https://pan.baidu.com/s/1E4ijWCJrbHRp6BFPUDpA-A 提取码：9rwg 二、解压 tar -zxvf azkaban-web-server-2.5.0.tar.gz tar -zxvf azkaban-executor-server-2.5.0.tar.gz tar -zxvf azkaban-sql-script-2.5.0.ta

公司之前的数据都是直接传到Hdfs上进行操作，没有一个数据仓库，趁着最近空出几台服务器，搭了个简陋的数据仓库，这里记录一下数据仓库的一些知识。涉及的主要内容有： 什么是数据仓库？ 数据仓库的架构 数据仓库多维数据模型的设计 1. 什么是数据仓库 1.1 数据仓库的概念 官方定义 数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，用于对管理决策过程的支持。 这个定义的确...

长租公寓项目 项目描述： 公司想通过目前中国长租公寓的信息，比如：长租公寓品牌（比如自如、蛋壳、优逸客家等多个品牌）、房源位置（这里具体到省、市、区、小区名），房源个数，房屋设备、位置优势、租房价格等，去分析不同公寓品牌在不同城市的服务情况。从而去决策租房的消费情况和各个品牌的一个个走势。最终以热力图、折线图等呈现出来。 项目流程： 1.从网上抓取各个品牌的f房源信息 2.进行数据预处理、清洗、去...