
大数据开发环境搭建
文章平均质量分 90
coco_kele
三年以上信息安全产品研发经验
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Docker容器内安装Ubuntu系统
因为我们集群最终还是基于Linux系统进行,所以我们需要在容器内运行Ubuntu系统,各个容器内的Ubuntu系统形成集群.在Docker搭建Ubuntu系统过程总结为如下步骤. 一 拉取Ubuntu镜像 Docker容器运行依赖镜像,所以我们需要下载一个Docker所用的ubuntu镜像。 1 拉取镜像 终端运行命令: docker pull ubuntu:xenial 2 查看当前系统镜像 终端运行命令: docker images 二 运行ubuntu镜像 创建一...原创 2020-06-12 16:01:18 · 2149 阅读 · 0 评论 -
Ubuntu搭建docker运行环境
通过参照网上连接和自己的实验,总结出以下三个步骤. 一 安装docker依赖工具 1 卸载旧版本 终端运行命令: sudo apt-get remove docker docker-engine docker.io containerd runc 2 安装docker环境运行依赖 终端运行命令: sudo apt install apt-transport-https ca-certificates software-properties-common curl 二 更新d...原创 2020-06-12 15:56:50 · 428 阅读 · 0 评论 -
Ubuntu环境下Hadoop集群搭建
前言 这次把hadoop集群讲解分为三部分叙述,第一步规划集群结构,然后始搭建集群,最后运行集群。以下开始说明: 规划集群结构 这部分内容我会从操作系统选型,hadoop版本,jdk版本等说明。 操作系统选型:ubuntu16.04 Desktop版 内存:4G Cpu:2核2线程 数量:3台 hadoop版本:hadoop 3.1.2 jdk版本:openjdk 1.8.0_242 其它:ubuntu镜像源(可选) 这一步操作纯粹是方便ubuntu系统更易...原创 2020-06-12 15:49:01 · 650 阅读 · 0 评论 -
Linux环境下Zookeeper集群搭建
先简单描述下搭建思路,我们先搭建一个Zookeeper的单节点服务,确保其可用,然后再拷贝该单节到另外两台节点上,最后修改下配置并启动Zookeeper集群。 一 搭建单台Zookeeper可用节点 1 解压Zookeeper安装包到安装目录下 我们将其解压到/opt/tools/zookeeper-3.6 2 修改配置文件 cd 到安装目录下的conf目录 cp zoo_sample.cfg zoo.cfg 配置文件内容为 3 启动服务并验证 配置Zookeeper的环境变量 .原创 2020-06-12 15:43:32 · 159 阅读 · 0 评论 -
Linux环境下kafka集群搭建
Kafka集群的搭建比较简单,分以下三步完成. 1 解压 官网下载安装包:kafka_2.11-2.3.0.tgz,然后解压到指定目录 2 配置并分发安装包 (1)配置kafka环境变量 (2)修改kafka配置项 log.dir和zookeeper.connect 3 启动kafka集群 (1)修改kafka集群broker的BrokerId,遵循0,1,2,3 (2)分别启动broker bin/kafka-server-start.sh -daem...原创 2020-06-12 15:20:13 · 134 阅读 · 0 评论 -
Idea作为Flink开发环境
Flink开发环境搭建操作手册 Flink环境的搭建我主要从两个方面的加以说明,一方面是Flink环境的安装,包括IDEA安装,Scala安装,Maven安装;另一方面是Flink的项目开发流程,包括Flink项目创建,编码,导出jar包。 一 Flink环境的安装 1 IDEA安装 1.1 IDEA简介 IDEA是JetBrains公司的产品,这家公司总部位于捷克共和国的首都布拉格,开发人员以严谨著称的东欧程序员为主。当前市面上还有另一款集成开发环境Eclipse也比较出色,我们选择IDE.原创 2020-06-12 15:25:10 · 640 阅读 · 0 评论