为hdfs配置kerberos

"HDFS 配置 Kerberos" 本文档记录了为 Hadoop 的 HDFS 配置 Kerberos 的过程，Hadoop 的版本是 2.4.1。Kerberos 是一种常用的身份验证协议，用于提供安全的身份验证机制。在 Hadoop 中，Kerberos 可以用于 HDFS 和 MapReduce 的安全认证。 从安全角度分析，Hadoop 缺乏一个安全的认证机制，以确保试图在集群上执行操作的用户恰是所声称的安全用户。Hadoop 的文件许可模块只提供一种简单的认证机制，以决定各个文件对特定文件的访问权限。启用权限的伪分布式 Hadoop 环境，写文件的时候不提供用户信息，则访问出错，但是在写文件的 API 中加上启动 Hadoop 的用户信息，则顺利写入。这应该是为什么 Hadoop 要使用 Kerberos 的最直接的原因。 在配置 Kerberos 之前，需要安装和部署 Kerberos 服务。安装和部署 Kerberos 服务的过程请参考相关博客文章。 在 Kerberos 中，为 Namenode 和 Datanode 分别新建 principal：nn/[email protected]、dn/[email protected] 和 http/[email protected]。 在配置 HDFS 之前，需要创建密钥文件，用于无密码登录。创建密钥文件的命令如下： ktutil: add_entry -password -p nn/[email protected] -k 3 -e aes256-cts-hmac-sha1-96 ktutil: add_entry -password -p host/[email protected] -k 3 -e aes256-cts-hmac-sha1-96 ktutil: write_kt /hadoop-data/etc/hadoop/nn.service.keytab ktutil: add_entry -password -p dn/[email protected] -k 3 -e aes256-cts-hmac-sha1-96 ktutil: add_entry -password -p host/[email protected] -k 3 -e aes256-cts-hmac-sha1-96 ktutil: write_kt /hadoop-data/etc/hadoop/dn.service.keytab ktutil: add_entry -password -p http/[email protected] -k 3 -e aes256-cts-hmac-sha1-96 ktutil: write_kt /hadoop-data/etc/hadoop/http.service.keytab 在配置 HDFS 时，需要修改配置文件 core-site.xml 和 hdfs-site.xml。 在 core-site.xml 中，添加以下配置： <property> <name>hadoop.security.authentication</name> <value>kerberos</value> </property> <property> <name>hadoop.security.authorization</name> <value>true</value> </property> <property> <name>hadoop.security.auth_to_local</name> <value>RULE:[2:$1@$0](.*@psy.com)s/.*/hadoop/ DEFAULT</value> </property> 在 hdfs-site.xml 中，添加以下配置： <property> <name>dfs.block.access.token.enable</name> <value>true</value> </property> <property> <name>dfs.namenode.https-address</name> <value>namenode:50470</value> </property> <property> <name>dfs.https.port</name> <value>50470</value> </property> 通过以上步骤，可以成功地配置 Kerberos für HDFS。Kerberos 可以提供安全的身份验证机制，保护 Hadoop 集群的安全。