20180524早课记录17-Hadoop

本文详细解析了MapReduce的工作原理,包括Map与Reduce函数的作用、shuffle过程的理解,并探讨了wordcount示例。同时,文章还介绍了输入分片、任务调度与资源管理等方面的知识。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.MapReduce谈谈你们的理解

执行引擎 计算

2.Map是什么

map:映射函数

3.Reduce是什么

reduce:规约函数

4.shuffle谈谈你们的理解

相当于洗牌 按key进行分组

5.wordcount那副图,脑子是否有印象?

不太深入

6.输入分片一般和什么有关?多少个分片就可以有多少个map task,对不对?

块大小 不对 会合并小文件

7.mapreduce架构设计中应用程序AM和task都运行在哪个抽象概念中?

container

8.假如hdfs的文件都是小文件,那么就会有多个map task,我们生产上一般设计时,是需要合并的或者设计我们文件存储时尽量保持一个文件在一个块大小(了解题)

是的

9.NM节点的内存和容器的内存参数哪几个?

yarn.nodemanager.resource.memory-mb
yarn.scheduler.minimum-allocation-mb
yarn.scheduler.maximum-allocation-mb
yarn.scheduler.minimum-allocation-vcores
yarn.scheduler.maximum-allocation-vcores

10.容器是使用物理core还是虚拟core

虚拟core

11.总结一下mapreduce架构设计 wordcount博客 容器的概念,内存和vcore的参数设置
<think>嗯,用户现在想要配置MySQL 9.20版本,但根据提供的引用内容,可能需要先澄清版本是否存在。让我先看看提供的引用内容。引用[1]提到使用的是MySQL 8.0.24版本,而引用[3]的标题是“大数据之MySql早课9.20”,这里的9.20可能是指日期,比如9月20日,而不是版本号。因为MySQL的版本通常是像5.7、8.0这样的,没有听说过9.20的版本。所以用户可能误解了引用中的9.20为版本号,实际是课程标题的日期。 接下来,用户需要的是配置方法或指南。根据引用[1]中的主从配置步骤,可以推断用户可能是在寻找类似的主从配置方法,或者是安装配置。引用[1]详细说明了主从服务器的IP、操作系统和MySQL版本都是8.0.24,并且步骤包括安装MySQL、初始化、配置主服务器和从服务器等。引用[2]是关于MySQL安装教程的,可能涉及安装步骤。引用[3]中的问题涉及MySQL的配置问题,比如主从部署、SSH无密码登录等。 用户的问题可能源于误解了“MySql早课9.20”中的9.20为版本号,所以首先需要指出这个误解,并确认正确的版本。然后根据用户的实际需求,提供MySQL 8.0版本的配置指南,比如主从配置,安装步骤,或者部署环境准备等。需要结合引用中的信息,如主从配置的具体步骤,安装教程,以及环境准备的问题,整合成一个清晰的配置指南。 另外,用户可能对主从配置感兴趣,因为引用[1]详细描述了主从配置的实验步骤,所以需要分步骤说明如何配置主服务器和从服务器,包括修改配置文件、创建用户、获取二进制日志信息等。同时,引用[3]中的问题16提到查看web界面的端口号,通常是3306,但可能需要确认。还有SSH无密码登录的配置,这也是主从同步中可能用到的,需要指导用户如何操作。 总结来说,回答需要先纠正版本误解,然后根据用户的实际需求,提供MySQL 8.0的配置方法,结合主从配置和安装步骤,并引用相关引用内容作为支持。</think>根据现有引用内容和MySQL版本信息,需要特别说明:MySQL官方版本号目前尚未发布9.20版本(截至2023年最新版本为8.0+)。根据引用[3]的"9.20"应为课程日期标识而非版本号,实际配置可参考以下MySQL 8.0版本通用配置方法: ### MySQL 8.0主从配置步骤 #### 一、环境准备 1. 主从节点必须保持MySQL版本一致(如引用[1]使用8.0.24) 2. 准备两台CentOS 7服务器: - Master: 10.105.130.10 - Slave: 10.105.130.61 3. 关闭防火墙或开放3306端口 #### 二、主服务器配置 ```ini # /etc/my.cnf 添加配置 [mysqld] server-id=1 log-bin=mysql-bin binlog-format=ROW ``` ```sql -- 执行SQL命令 CREATE USER 'repl'@'%' IDENTIFIED BY 'slavepass'; GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%'; FLUSH PRIVILEGES; ``` 使用`SHOW MASTER STATUS`获取二进制日志位置[^1] #### 三、从服务器配置 ```ini # /etc/my.cnf 添加配置 [mysqld] server-id=2 relay-log=mysql-relay ``` ```sql -- 执行SQL命令 CHANGE MASTER TO MASTER_HOST='10.105.130.10', MASTER_USER='repl', MASTER_PASSWORD='slavepass', MASTER_LOG_FILE='mysql-bin.000001', MASTER_LOG_POS=154; START SLAVE; ``` #### 四、验证配置 ```sql SHOW SLAVE STATUS\G -- 确认Slave_IO_Running和Slave_SQL_Running均为Yes ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值