Hadoop学习笔记（三）——HDFS垃圾桶机制

Hadoop HDFS垃圾桶机制详解

最新推荐文章于 2024-06-17 15:53:56 发布

原创最新推荐文章于 2024-06-17 15:53:56 发布 · 1.7k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Hadoop #学习笔记

Hadoop 专栏收录该内容

11 篇文章

订阅专栏

本文详细介绍了Hadoop HDFS的垃圾桶机制，包括基本概念、配置操作、shell命令使用及Java API操作。开启垃圾桶机制可以防止误删重要文件，删除的文件会被移动到垃圾目录并在设定时间内可恢复。配置包括设置回收站保存时间和检查周期，shell操作涉及删除和恢复命令，Java操作中删除文件默认不进入垃圾桶，需特别设置。

Hadoop——HDFS垃圾桶机制

HDFS的垃圾桶机制

HDFS的垃圾桶机制

1. 基本介绍

每一个文件系统都会有垃圾桶机制，将删除的数据回收到垃圾桶里面去，避免某些误操作删除一些重要文件。回收到垃圾桶里里面的资料数据，都可以进行恢复。

HDFS同样拥有垃圾桶机制，但默认为禁用状态，若要开启垃圾桶机制，需要手动配置。

如果启用垃圾桶机制，dfs命令删除的文件不会立即从HDFS中删除。相反，会将其移动到垃圾目录（每个用户在/user/<username>/.Trash下都有自己的垃圾目录）。

只要在周期内，文件都保留在垃圾桶中，文件可以快速恢复。

2. 配置操作

修改core-site.xml

fs.trash.interval：设置的默认单位为分钟。可以按照生产上的需求设置回收站的保存时间，这个时间以分钟为单位，例如1440=24h=1天。
fs.trash.checkpoint.interval：设置的默认单位为分钟。设置垃圾桶回收的检查周期，该属性应该是小于或等于fs.trash.interval
```
  <property>
      <name>fs.trash.interval</name>
      <value>1440</value>
  </property>
  <property>
      <name>fs.trash.checkpoint.interval</name>
      <value>1440</value>
  </property>
```
修改完成后，需要重启hdfs集群

3. shell操作

删除命令
```
hadoop fs -rm -r file_path
```
恢复命令
```
hadoop fs -mv trash_path recover_path
```
使用skipTrash选项彻底删除文件

该选项不会将文件发送到垃圾箱。它将从HDFS中完全删除。
```
hadoop fs -rm -r -skipTrash 文件名
```

4. java操作

当通过Java API进行文件删除时，默认是不进入垃圾桶的，如果仍想要删到垃圾桶中，写法如下：

//删除文件至垃圾桶中
//创建垃圾桶
Trash trash = new Trash(fileSystem,fileSystem.getConf());
//将文件放在回收站中
trash.moveToTrash(new Path("/dir1/file1"));

//直接删除
fileSystem.delete(new Path("/dir1/file1"),true);