Hadoop学习笔记三

一、设置HDFS不进行权限检查

     默认的HDFS上的文件类似于Linux中的文件,是有权限的。例如test用户创建的文件,root用户如果没有写权限,则不能进行删除。

     有2种办法进行修改,修改文件的权限。或者设置不进行HDFS的权限检查,在hdfs-site.xml中添加:

     <property>

         <name>dfs.permissions</name>

         <value>false</value>

    </property>

二、启动HDFS和YARN的几种方式

     方式一:逐一启动/sbin/hadoop-deamon.sh   /sbin/yarn-deamon.sh 

     方式二:分开启动/sbin/start-dfs.sh      /sbin/start-yarn.sh

     方式三:一起启动/sbin/start-all.sh

     第三种方式不建议使用,因为要分别启动dfs和yarn,要求namenode和resourcemanager在同一个节点上,且在该节点上运行start-all.sh命令。

三、SSH登录过程

     

四、SSH免密码登录过程

            

   客户端会先将自己的公钥保存在服务器端中,以供解密使用。

   建立SSH免密码登录的过程如下:

   1.ssh -keygen -t -rsa连续回车生成公钥和私钥,分别存储在/home/user/.ssh/id_rsa.pub和/home/user/.ssh/id_rsa下。

       2.将公钥放到远程主机上,scp ~/.ssh/id_rsa.pub node2:/.ssh/authorized_keys。

       这里是将客户端公钥放到服务器端,如果希望服务器也能免密码登录客户端,需要将服务器的公钥也在客户端放一份。

四、默认的配置文件

      Hadoop自定义的配置文件在etc目录下。默认的配置文件在/share/hadoop各文件夹的jar包中。

      默认的配置文件包括core-default.xml,hdfs-default.xml,yarn-default.xml,mapred-default.xml。

      自定义配置文件中的配置将会覆盖默认配置文件中的配置。

      从默认配置文件中拷贝配置项,修改后加入到自定义配置文件。不要修改默认配置文件中的内容。

五、默认使用本地文件系统还是HDFS文件系统

      core-site.xml中的fs.defaultFS属性,默认的值是file:///,就是本地文件系统。配置为hdfs://hadoop-cloudy.com:8020时用的就是HDFS文件系统。

六、删除HDFS文件时,保留到回收站中的时间

      core-site.xml中的fs.trash.interval属性,单位为分钟。默认为0,将直接删除。

      HDFS默认的文件副本数为3.

七、MapReduce运行在本地还是yarn上

      mapred-site.xml的属性mapreduce.framework.name默认为local,运行在本地。配置为yarn,运行在yarn上。

八、决定各进程所在主机的配置文件 

      namenode所在主机: core-site.xml中的fs.defaultFS属性

      datanode所在主机:slaves文件指定

      secondarynamenode所在主机:hdfs-site.xml中没有指定,就在默认的配置文件hdfs-default.xml

      resourcemanager所在主机:yarn-site.xml中没有指定,就在默认的配置文件yarn-default.xml

      nodemanager所在主机:slaves文件指定

      jobhistoryserver所在主机:mapred-site.xml中没有指定,就在默认的配置文件mapred-default.xml

原文地址:https://www.cnblogs.com/lnlvinso/p/6486618.html