为什么HDFS文件块大小既不能设置太大也不能设置太小？（面试题）

一、HDFS 块设置的比较小会增加寻址时间，并且每个块在namenode都会存储一份元数据，增加namenode开销 一个大文件会被分为多个block存在hdfs中，而每个block对于磁盘来说就是一个文件。 该hdfs的大文件寻址时间是等于磁盘寻找每个block文件的总和。 而本地磁盘每寻找一个block文件都要寻址一次，每次寻址时间都差不多。所以block数量越多，寻址次数越多，则把该大...

把大的文件块切分成一个个小的文件块，有利于并发传输，所以传输速度快，文件块太大的话，不能并发传输，一个文件太大，所以传输速率很慢。（正常查找块的时间为传输块数据的1%） ...

（1）HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置； （2）如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢。 总结：HDFS块的大小设置主要取决于磁盘传输速率。 ...

问题现象：hadoop 3.1.0源码文件ClientNamenodeProtocolProtos大小4M+，IDEA打开时加载失败，ClientNamenodeProtocolPB报错找不到类。 -----------------------------------------------------------------------------------------------...

您好，HDFS 即 Hadoop 分布式文件系统，它在大数据处理中起着至关重要的作用。HDFS 采用主从架构，主要由一个 NameNode 和多个 DataNode 组成。NameNode 负责管理整个文件系统的元数据，包括文件的目录结构、文件名以及文件块的位置信息等。而 DataNode 则实际存储数据块。HDFS 具有高容错性，通过数据冗余存储多个副本来确保数据的可靠性，非常适合处理大规模的数据，并且采用流式数据访问模式，即一次写入多次读取，这种模式特别适合批处理作业。

HDFS，即Hadoop Distributed File System，是Hadoop分布式文件系统。它是一个专门为了存储大量数据而设计的文件系统，能够在廉价的商用硬件上提供高吞吐量的数据访问，非常适合那些有大量数据集的应用程序。HDFS的设计目标是处理大文件，它支持的文件尺寸范围很广，可以从几百MB到几十TB。存储大规模数据：HDFS能够存储非常大的文件，适用于处理大规模数据集，比如网络日志、卫星图像数据等。高容错性：HDFS通过将数据分成多个块并在多个服务器之间进行复制来提供高度的容错性。

觉得有帮助的，请多多支持博主，点赞关注哦~ 文章目录HDFS面试题一、选择题1、下列哪项通常是集群的最主要瓶颈（C）2、下列哪项可以作为集群的管理？（B）3、下列哪个是Hadoop运行的模式？（ABC）4、HDFS 中的 block 默认保存几份？（A）5、HDFS 默认 BlockSize 是（C）6、Client 端上传文件的时候下列哪项正确？（B）7、下面哪个程序负责 HDFS 数据存储？（...

HDFS天生就是为了存储大文件而生，一个块的元数据大小大概在150字节左右，存储一个小文件就要占NameNode 150字节的内存，如果存储大量的小文件很快就将NameNode内存耗尽，而整个集群存储的数据量很小，失去了HDFS的意义，同时也会影响NameNode的寻址时间，导致寻址时间过长。可以将数据和并上传，或者将文件append形式追加在HDFS文件末尾。

@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目录前言 前言

一、HDFS 块设置的比较小会增加寻址时间，并且每个块在namenode都会存储一份元数据，增加namenode开销。最佳传输损耗理论：在一次传输中，寻址时间占总传输时间的1%，本次传输的损耗最小，为最佳性价比传输。块在传输时，每64K还需要校验一次，因此块大小，必须为2的n次方，最接近100M的就是128M！如果公司使用的是固态硬盘，写的速度是300M/S，将块大小调整到 256M。如果公司使用的是固态硬盘，写的速度是500M/S，将块大小调整到 512M。

对于一般硬盘来说，传输速率为100M/s，一般设置块的大小128M，因为128是2的7次方，最接近于100M。比如，块的大小是1TB，传输这个1TB的数据会非常慢，并且程序处理这个1TB的数据时，也非常的慢。不是的，它只占用文件本身大小的空间，其它空间别的文件也可以用，所以这128M的含义是HDFS数据块的大小，和每个文件的大小没有关系。HDFS的块设置太小，会增加寻址时间。例如，块的大小是1KB，文件大小是100KB，这时候要分100个块来存储文件，读取文件时要找到100个块的地址，会大大增加寻址时间。

HDFS中的文件在物理上是分块存储 块的大小可以通过配置参数来规定 默认大小在Hadoop2.x/3.x版本中是128M，1.x中是64M

HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数 ( dfs.blocksize）来规定，默认大小在Hadoop2.x/3.x版本中是128M，1.x版本中是64M。 1.HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置 2.如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢 HDFS的大小设置主要取决于磁盘传输速率（一般公司128M，大公司256M） ...

Hadoop读写流程