ELK 安装文档

### ELK 安装文档知识点总结 #### 一、概览与配置规划 - **配置规划**：在安装部署ELK（Elasticsearch、Logstash、Kibana）之前，需要进行合理的配置规划，包括主从关系设定以及IP地址分配等。例如： - 主机名称：`cdh-1` - 主从关系：`主` - IP地址：`10.168.1.44` - **各软件版本**：确保所有组件版本一致，以避免兼容性问题。例如： - Elasticsearch：`6.3.1` - Logstash：`6.3.1` - Kibana：`6.3.1` - Filebeat：`6.3.1` - Kafka：`2.11-1.1.0` - **日志处理流程**：明确日志从采集到展示的完整流程，有助于理解各组件之间的交互逻辑。例如： - `filebeat --> kafka --> logstash --> elasticsearch` - **各服务启动顺序**：正确的启动顺序对于系统的稳定运行至关重要。例如： 1. Elasticsearch、Kafka、Kibana 2. Logstash 3. Filebeat - **架构**：ELK架构通常包括三个主要部分：数据收集（Filebeat）、数据处理（Logstash）、数据存储与查询（Elasticsearch），以及数据可视化（Kibana）。 - **JDK准备**：所有服务器上都需要安装Java Development Kit (JDK) 1.8或更高版本，因为ELK栈中的各个组件均基于Java或需要Java环境支持。 #### 二、具体安装步骤 ##### 2.1 Elasticsearch安装 - **解压安装包**：将Elasticsearch安装包解压到 `/opt/EFK` 目录下。 - **创建用户组和用户**：为了安全和权限管理，需要为Elasticsearch创建专用的用户组和用户，并将其设置为 `/opt/EFK` 的所有者。 - **创建数据和日志目录**：创建用于存放Elasticsearch数据和日志的目录，并确保Elasticsearch用户拥有这些目录的写入权限。 - **修改配置文件**：根据实际情况调整Elasticsearch的配置文件，如集群名称、节点名称等。 - **修改系统限制**：通过编辑 `/etc/security/limits.conf` 和 `/etc/sysctl.conf` 文件来提高Elasticsearch运行所需的系统资源限制。 - **启动Elasticsearch**：完成配置后，启动Elasticsearch服务。 ##### 2.2 Node.js安装 - **下载Node.js**：从官方网站下载对应版本的Node.js。 - **解压Node.js**：将Node.js解压到指定目录。 - **修改环境变量**：为了让系统识别Node.js的安装位置，需要在系统环境变量中添加Node.js的路径。 - **测试安装**：通过命令行工具验证Node.js是否正确安装。 ##### 2.3 Elasticsearch-Head插件安装 - **安装Node.js**：确保已经安装了Node.js。 - **下载Elasticsearch-Head**：从GitHub或其他来源下载Elasticsearch-Head。 - **安装依赖库**：使用`npm install -g grunt-cli` 和 `npm install` 命令安装必要的依赖库。 - **修改配置信息**：编辑`elasticsearch-head`下的`Gruntfile.js` 文件，设置正确的Elasticsearch地址。 - **启动服务**：使用`grunt server`命令启动Elasticsearch-Head。 - **访问界面**：通过浏览器访问Elasticsearch-Head提供的Web界面。 ##### 2.4 Kibana安装 - **解压Kibana**：将Kibana安装包解压到 `/opt/EFK` 目录下。 - **更改配置信息**：编辑Kibana的配置文件，配置Elasticsearch的地址等信息。 - **运行Kibana**：启动Kibana服务。 - **访问界面**：通过浏览器访问Kibana提供的Web界面。 - **汉化**：下载并安装Kibana的中文语言包，实现界面汉化。 ##### 2.5 Filebeat安装 - **解压Filebeat**：将Filebeat安装包解压到 `/opt/EFK` 目录下。 - **创建配置文件**：编辑Filebeat的配置文件，定义日志采集规则和目标地址。 - **启动Filebeat**：启动Filebeat服务。 ##### 2.6 Kafka安装 - **下载Kafka**：从官方网站下载对应版本的Kafka。 - **解压Kafka**：将Kafka解压到指定目录。 - **修改配置文件**：编辑Kafka的配置文件，配置broker ID、监听端口等信息。 - **启动Zookeeper**：启动Kafka的依赖组件Zookeeper。 - **启动Kafka**：启动Kafka服务。 - **创建主题**：使用Kafka命令创建新的消息主题。 ##### 2.7 Logstash安装 - **解压Logstash**：将Logstash安装包解压到 `/opt/EFK` 目录下。 - **创建配置文件**：编辑Logstash的配置文件，定义输入源、过滤器以及输出目标。 - **启动Logstash**：启动Logstash服务。 #### 三、常见问题 - **Elasticsearch问题**：遇到Elasticsearch无法启动或运行异常的情况时，应检查配置文件是否正确、系统资源限制是否足够、JVM参数是否合理设置等问题，并查看日志文件以定位具体原因。 ELK栈的安装部署需要仔细规划，并按照特定顺序执行各个步骤。此外，在实际操作过程中可能会遇到各种问题，需要根据具体情况进行调试和优化。