jsp
<%！ 全局变量 %>
Hadoop
vim core-site.xml
hdfs
群启动
mycluster.sh start
hdfs 文件系统存储位置
if $(hadoop dfs -test -d /test); then $(hadoop dfs -touch /usr/local/hadoop/test/test1.txt); else $(hadoop dfs -mkdir -p /usr/local/hadoop/test && hadoop dfs -touch /usr/local/hadoop/test/test1.txt); fi
if $(hadoop fs -test -e test/local.txt); then $(hadoop fs -copyToLocal /opt/module/hadoop-3.1.3/test/test.txt);else $(hadoop fs -copyToLocal /opt/module/hadoop-3.1.3/test/local01.txt); fi
if $(hadoop dfs -test -d /test); then $(hadoop dfs -touch /usr/local/hadoop/test/test1.txt); else $(hadoop dfs -mkdir -p /usr/local/hadoop/test && hadoop dfs -touch /usr/local/hadoop/test/test1.txt); fi
myjps.sh
单点启动
yarn --daemon start nodemanager
102
hdfs --daemon start namenode
hdfs --daemon start datanode
yarn --daemon start nodemanager
103
hdfs --daemon start datanode
yarn --daemon start resourcemanager
yarn --daemon start nodemanager
104
hdfs --daemon start datanode
hdfs --daemon start secondarynamenode
yarn --daemon start nodemanager
群起/群停 配置ssh 免密登录 配置workers文件
在102启动datenaode start-dfs.sh
103启动yarn start-yarn.sh
集群管理脚本
集群启动停止脚本
查看各个集群机器进程脚本
同步命令 xsync
查看日志文件
hadoop目录下
/hadoop-3.1.3/logs
cat 命令查看
ssh hadoop10*
tail -n 100/200
ssh 免密登录
ssh-keygen -t rsa 公私钥生成
地址 用户家目录
ll -a
.ssh
ssh-copy-id hadoop102
分配公匙
netsh interface ip set address "以太网" static 10.91.1.1 255.255.255.0 10.91.1.254
netsh interface ip set dns "以太网" static 202.206.32.1
操作hadoop
ssh localhsot 连接
进入 /usr/local/hadoop
输入 /sbin/start-dfs.sh
成功启动
03 192.168.202.101
192.168.79.100 hadoop100
192.168.79.101 hadoop101
192.168.79.102 hadoop102
192.168.79.103 hadoop103
192.168.79.104 hadoop104
192.168.79.105 hadoop105
192.168.79.106 hadoop106
用户
atguigu
cuixingyu
/opt/software 待安装的软件
/opt/module 安装的文件
hadoop 目录熟知
bin： hadoop 命令
sbin：hadoop 脚本
etc ： hadoop 配置文件
share：hadoop jar包
常用 工具目录 hadoop hdfs mapred yarn
sbin hadoop 有关脚本：
start-dfs.sh 启动 dfs stop-dfs.sh 关闭
start-yarn.sh 启动 yarn stop-dfs.sh 关闭
start-all.sh stop-all.sh 启动
hadoop-3.1.3/ect/hadoop 配置文件 :
掌握修改的文件
hdfs-site.xml
mapred-site.xml
yarn-site.xml
不全
share 目录 jar包
安全拷贝
scp -r 要拷贝文件 拷贝的地方
rsync -av 要同步文件 同步的地方