Hadoop Webhdfs

webhdfs:使用http协议访问HDFS

一、需要配置项:

1、编辑httpfs-env.sh,设置webdfs访问端口

<!-- >打开httpfs-env.sh <-->
vim /opt/hadoop-2.7.3/etc/hadoop/httpfs-env.sh
<!-- >增加如下内容:<-->
export HTTPFS_HTTP_PORT=14000

 2、编辑core-site.xml,设置代理主机

<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>

<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

3、编辑hdfs-site.xml

<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>

二、重启并访问webhdfs

1、重启NameNode,执行httpfs.sh start (使用内嵌的tomcat启动)

2、执行命令

curl -i http://192.168.10.21:14000/webhdfs/v1?user.name=xfvm&op=LISTSTATUS

返回一个json格式的信息,可以在浏览器中访问HDFS:

http://192.168.10.21:14000/webhdfs/v1?user.name=xfvm&op=LISTSTATUS

其他命令:

http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/WebHDFS.html

原文地址:https://www.cnblogs.com/MrFee/p/hadoop_webhdfs.html