博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
配置HDFS HttpFS和WebHDFS
阅读量:6093 次
发布时间:2019-06-20

本文共 1202 字,大约阅读时间需要 4 分钟。

HDFS支持两种RESTful接口:WebHDFS和HttpFS。
WebHDFS默认端口号为50070,HttpFS默认端口号为14000。
默认启动WebHDFS而不会启动HttpFS,而HttpFS需要通过sbin/httpfs.sh来启动。
WebHDFS模式客户端和DataNode直接交互,HttpFS是一个代理模式。对于Hue,如果HDFS是HA方式部署的,则只能使用HttpFS模式。
HttpFS是独立的模块,有自己的配置文件httpfs-site.xml、环境配置文件httpfs-env.sh和日志配置文件httpfs-log4j.properties,需独立启动。
而WebHDFS是HDFS内置模块,无自己的配置文件、环境配置文件和日志配置文件,随HDFS而启动。
WebHDFS配置,在core-site.xml中加入以下内容:
<property>
    <name>hadoop.proxyuser.$username.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.$groupname.groups</name>
    <value>*</value>
</property>
“$username”的值为启动HDFS的用户名,“$groupname”为启动HDFS的用户组名。
HttpFS配置,在core-site.xml中加入以下内容:
<property>
    <name>hadoop.proxyuser.httpfs.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.httpfs.groups</name>
    <value>*</value>
</property>
对于HttpFS,还需要在httpfs-site.xml中加入以下内容:
<property>
    <name>httpfs.proxyuser.$username.hosts</name>
    <value>*</value>
</property>
<property>
    <name>httpfs.proxyuser.$groupname.groups</name>
    <value>*</value>
</property>
“$username”的值为启动HttpFS的用户名,“$groupname”为启动HttpFS的用户组名。
环境配置文件httpfs-env.sh可以不用修改,直接使用默认的值,当使用sbin/httpfs.sh来启动HttpFS时会屏幕输出HTTPFS_HOME等值。

转载于:https://www.cnblogs.com/aquester/p/9891518.html

你可能感兴趣的文章
shell删除每行开始的数字
查看>>
前端--CSS
查看>>
MySQL的root密码忘记后重置方法
查看>>
计算机网络(二)——传输层
查看>>
java:泛型|RandomList
查看>>
iptables 开放所有端口, 对特殊端口只开放给指定IP
查看>>
Xtradb+Haproxy高可用数据库集群(三)sysbench性能测试篇
查看>>
彻底理解Cisco NAT内部的一些事
查看>>
Android官方开发文档Training系列课程中文版:管理Activity的生命周期之Activity的重建...
查看>>
自动化运维工具Ansible之roles
查看>>
MongoDB分片搭建
查看>>
5、Jenkins Email Extension Plugin插件使用说明
查看>>
Flex(mx:DataGrid)实现数据过滤显示
查看>>
中国ERP三大流程 国外ERP黯然失色
查看>>
js 的 slice方法
查看>>
Java网络编程(一)流
查看>>
Unix整理笔记——安全性——里程碑M13
查看>>
【斗医】【1】Web应用开发20天
查看>>
Yii 2 —— session
查看>>
烂泥:haproxy学习之https配置
查看>>