本博客详细介绍了HttpFs，一种通过HTTP方式支持HDFS文件系统操作的技术。它允许在不同版本的Hadoop集群间传递数据，克服RPC版本不兼容的问题，并能用于访问受防火墙保护的集群中的HDFS资源。通过使用HTTP工具如curl或wget，HttpFs简化了访问HDFS数据的流程，同时内置安全机制支持多种认证方式。本文还展示了如何利用HttpFs进行文件读取、目录浏览及文件夹创建等基本操作。
Hadoop HDFS overHTTP-Documentation Sets2.4.1
HttpFs是一个提供REST HTTP的方式支持所有的HDFS文件系统操作的方式。它与webhdfsREST HTTP API彼此协作。
HttpFS可以被用来在运行不同版本的Hadoop集群间传递数据（克服了RPC版本不同的问题），例如使用HadoopDistCP工具。
HttpFS可以被用来访问有防火墙的集群中的HDFS（HttpFS服务器扮演一个gateway的角色，只有这个gateway被允许穿过防火墙进入集群）。
HttpFS使用HTTP工具（像curl或者wget）或者其他语言的HTTP类库访问HDFS中的数据。
Webhdfs客户端文件系统可以使用Hadoop文件系统命令行工具（hadoopfs）访问HttpFS，在java 应用程序中可以使用Hadoop文件系统的java API访问。
HttpFS内置了安全机制，支持Hadoop pseudo 验证，HTTP SPNEGO Kerberos 验证，或者其他的可拔插的认证机制。它也提供Hadoop代理用户的支持。
How does HttpFs works？
HttpFS是Hadoop NameNode中一个单独的服务。
HttpFS本身是一个java web应用，它运行在提前配置好的绑定了HttpFs的tomcat的二进制发行版。
HttpFS HTTP web服务是调用HTTPREST，HTTP REST映射到一个HDFS文件系统操作。例如，使用curlUnix命令：
1. $ curlhttp://httpfs-host:14000/webhdfs/v1/user/foo/README.txt
返回HDFS /user/foo/README.txt文件的内容。
2. $ curlhttp://httpfs-host:14000/webhdfs/v1/user/foo?op=list
以JSON格式返回HDFS /user/foo目录中的内容。
3. $ curl -X POSThttp://httpfs-host:14000/webhdfs/v1/user/foo/bar?op=mkdirs
创建HDFS中/user/foo/bar文件夹。
How HttpFS and Hadoop HDFS Proxydiffer？
HttpFS受Hadoop HDFS代理的启发。
HttpFS可以被认为是Hadoop HDFS 代理的完全重写。
Hadoop HDFS代理提供了一部分文件系统的操作（只有读取信息的操作），HttpFS提供了所有文件系统操作的支持。
HttpFS用一个干净的HTTP REST API使其用HTTP工具使用时更直观。
HttpFS支持Hadoop pseudo 认证，Kerberos SPNEGOS 认证和Hadoop代理用户。Hadoop HDFS 代理不支持。
扫一扫
3263
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
