0.修改IP,主机名,hosts文件
setup 修改网卡IP service network restart 重启网络服务使IP生效 vim /etc/sysconfig/network修改主机名 vim /etc/hosts/修改hosts文件 192.168.126.128 hadoop001 192.168.126.129 hadoop002 192.168.126.130 hadoop003 192.168.126.131 hadoop004
1.安装jdk环境
alt + p 打开远程连接SecureCRT远程传输工具sftp put c:/........tar.gz 把win上软件传到linux mkdir -p /java/jdk 建多级文件夹 tar -zxvf jdk----.tar.gz -C /java/jdk 解压jdk到指定路径 vim /etc/profile 修改全局环境变量 export JAVA_HOME=/java/jdk/jdk1.7.0_65 export PATH=$JAVA_HOME/bin:$PATH source /etc/profile重新加载配置文件 echo$JAVA_HOME打印变量JAVA_HOME java -version查看环境变量配置是否成功 安装protobuf tar -zxvf protobuf-2.5.0.tar.gz cd protobuf-2.5.0 ./configure --prefix=/opt 配置环境变量加入/opt/bin protoc -–version
2.安装Hadoop
tar -zxvf hadoop-2.4.1.tar.gz -C /java/ #解压Hadoop ls lib/native/ #查看解压目录下有哪些文件 cd etc/hadoop/ #进入配置文件目录 vim hadoop-env.sh #修改配置文件环境变量(export JAVA_HOME=/java/jdk/jdk1.7.0_65) *-site.xml* vim core-site.xml #修改配置文件(去官网找参数含义)
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop001:9000<value> </property> <property> <name>hadoop.tmp.dir</name> <value>/java/hadoop-2.4.1/tmp<value> </property> </configuration>
vim hdfs-site.xml修改hdfs配置文件
<configuration> <property> <!-- 副本数量,默认3 --> <name>dfs.replication</name> <value>2</value> </property> </configuration>
cp mapred-site.xml.template mapred-site.xml #复制一份配置文件样本 vim mapred-site.xml #修改mapreduce配置文件
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
vim yarn-site.xml配置yarn配置文件,也可以配置主机名,前提是修改hosts文件映射
<configuration> <!-- Site specific YARN configuration properties --> <!-- 主节点 --> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop001</value> </property> <!-- 从节点 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
vim slaves配置从节点(可以是主机名)
192.168.126.128 192.168.126.129 192.168.126.130
scp /java/hadoop-2.4.1/ root@192.168.126.129:/java/hadoop-2.4.1/ #复制到其他机器 cd /java/hadoop-2.4.1/bin ./hadoop namenode -format #格式化HDFS文件系统(建文件和文件夹) # 成功:INFO common.Storage: Storage directory /java/hadoop-2.4.1/tmp/dfs/name has been successfully formatted
3.启动
jps看java进程,此时什么都没有
cd sbin/ #到sbin下找启动命令 ./start-dfs.sh #启动hdfs [root@hadoop001 sbin]# jps 2488 NameNode 2746 SecondaryNameNode 2872 Jps 2601 DataNode
[root@hadoop002 ~]# jps 2422 DataNode 2485 Jps
4.启动hdfs客户端
cd /java/hadoop-2.4.1/bin #进入bin ./hdfs dfs -ls / #查看hsfs /下内容 ./hdfs dfs -put /root/install.log #hdfs://hadoop001:9000/向hdfs文件系统存入文件(每块128M) ./hdfs dfs -ls / #查看hsfs /下内容 ls /java/hadoop-2.4.1/tmp/dfs/ #查看文件保存位置(namenode,datanode) ls /java/hadoop-2.4.1/tmp/dfs/(datanode) #只有data文件夹 cd /java/hadoop-2.4.1/tmp/dfs/data/current/BP-343820156-192.168.126.128-1443868868316/current/finalized #查看文件分了几块 ./hdfs dfs -get hdfs://hadoop001:9000/install.log #从hdfs上把文件下载下来(get后面指定下载的目录)
原理:
touch hadoop.tar.gz #建一个空文件 cat block1 >> hadoop.tar.gz #把block追加到hadoop.tar.gz cat block2 >> hadoop.tar.gz #把block2追加到hadoop.tar.gz ./hdfs dfshdfs #其他命令 ./hdfs dfs -chown tangwan:hadoop /install.log #改变hdfs文件用户所有者和组 ./hdfs dfs -ls /install.log #查看更改后状态 ./hdfs dfs -chmod 600 /install.log #更改权限 ./hdfs dfs -ls / #查看权限 #改权限后用户依旧可以下载但是如果建一个文件夹给权限,就只能是指定权限用户上传 ./hdfs dfs -df / #查看hdfs还剩多少空间kb ./hdfs dfs -df -h / #查看hdfs还剩多少空间M,G ./hdfs dfs -mkdir -p /aaa/bbb #在hdfs创建文件夹 ./hadoop fs -du -s / #查看hdfs占用空间 停止hdfs: /java/hadoop-2.4.1/sbin #进入sbin ./stop-dfs.sh #停止hdfs # hadoop001:50070 浏览器界面(可以下载不可以上传)