HDFS基础内容

1.概述:

有些时候文件过大,需要将文件切分成不同的小部分放在不同的主机上。HDFS的作用就是整合这些小的切片,当客户端需要访问时,将所有内容整合起来返回给客户端。

2.架构

HDFS主要有4部分,HDFS Client,NameNode,Secondary NameNode,DataNode

HDFS Client:客户端,负责将文件切片,获取文件位置,读写数据,管理HDFS

NameNode:管理Hdfs的名称空间,管理数据块的映射信息,配置副本策略,处理客户端读写请求

Secondary NameNode:辅助NameNode,当NameNode瘫痪时不能立即取代NameNode

DataNode:存储数据块,执行读写请求

3.HDFS基础命令

ls:列出目录下的文件列表

 ls -R:递归执行ls命令,效果为显示当前目录的所有子目录

mkdir :创建目录 参数-p可以递归创建目录

 put:将本低文件夹拷贝到目标文件系统中

 moveFromLocal:与put功能类似,上传到目标系统后,本地文件被删除,类似于一个剪切粘贴的功能

 get:将目标文件拷贝到本地

 mv:将hdfs上的文件从原路径移动到目标路径,移动后文件删除,注意不能在本低文件系统和hdfs文件系统之间移动

 rm:删除文件或者目录(参数 r代表删除目录 不加参数代表删除文件)

 cp:拷贝(参数f为如果目标文件存在则覆盖,p为深度拷贝,不仅拷贝内容,还要拷贝一些属性)

cat:将文件内容输出

chmod:修改文件权限(777代表的意思是所有权限都打开,-R代表所有子目录都赋有这个权限) 

 添加用户,修改密码

 chown:修改文件的用户和用户组

 

原文地址:https://www.cnblogs.com/wangzhaojun1670/p/13511627.html