EMR目录

EMR链接:

手动重启服务: E-MapReduce 集群运维指南

https://help.aliyun.com/document_detail/54465.html?spm=5176.11065259.1996646101.searchclickresult.67745bbe5lSLPA

例:批量操作,10个节点 
for i in `seq 1 10`;do ssh emr-worker-$i /usr/lib/hadoop-current/sbin/yarn-daemon.sh stop nodemanager;done


EMR目录:

E-MapReduce 是阿里云上的开源大数据平台,用户可以登录集群主节点查看相关安装路径。 登录后也可以使用 env |grep xxx 查看。

或者,在EMR Hadoop集群,切换到hadoop用户下,可以通过命令 echo $xxxx 查看集群设置的环境变量

配置文件目录:
/etc/ecm/hadoop-conf
#看gateway机器配置是否同步,直接看配置文件,如:
/etc/ecm/hadoop-conf/core-site.xml
然后输入命令hadoop classpath 打印一下classpath, 看引用的conf目录是否为/etc/ecm/hadoop-conf,以及是否包含其他目录

配置文件目录在 /etc/ecm/xxx 下,如果仅登录节点修改集群中的配置文件,配置文件不会生效。
注意 此处的配置文件只能浏览配置文件的参数,如需修改参数,请到 E-MapReduce控制台操作。
Hadoop:/etc/ecm/hadoop-conf/
Spark:/etc/ecm/spark-conf/
Hive:/etc/ecm/hive-conf/

#外部包:

/etc/hive/auxlib/


系统已经设置好的环境:
echo $JAVA_HOME /usr/lib/jvm/java-1.8.0
echo $HADOOP_HOME /usr/lib/hadoop-current
echo $HADOOP_CONF_DIR /etc/ecm/hadoop-conf
echo $HADOOP_OG_DIR
echo $YARN_LOG_DIR /var/log/hadoop-yarn
echo $HIVE_HOME /usr/lib/hive-current
echo $HIVE_CONF_DIR /etc/ecm/hive-conf
echo $PIG_HOME /usr/lib/pig-current
echo $PIG_CONF_DIR /etc/ecm/pig-conf

大数据组件目录
软件安装目录在 /usr/lib/xxx 下,例如:
Hadoop:/usr/lib/hadoop-current
Spark :/usr/lib/spark-current
Hive:/usr/lib/hive-current
Flink:/usr/lib/flink-current
日志目录
组件日志目录在 /mnt/disk1/log/xxx 下,例如:
Yarn ResourceManager 日志:master 节点 /mnt/disk1/log/hadoop-yarn
Yarn NodeNanager 日志:slave 节点 /mnt/disk1/log/hadoop-yarn
HDFS NameNode 日志:master 节点 /mnt/disk1/log/hadoop-hdfs
HDFS DataNode 日志:slave 节点 /mnt/disk1/log/hadoop-yarn
Hive 日志:Master 节点 /mnt/disk1/log/hive

hue日志: /usr/lib/hue-current/logs

hbase regionserver日志: /mnt/disk1/log/hadoop-hbase

直接服务器上hive,会在/tmp下以用户名的形式存放log:

tail -500 /tmp/root/hive.log

#做的软链

配置文件目录在/etc/ecm

例如 :core-site.xml在$HADOOP_CONF_DIR

/etc/ecm/hadoop-conf/core-site.xml

而是实际地址是: /etc/ecm/hadoop-conf-2.8.5-1.4.0/core-site.xml

又如:

vi /etc/ecm/hadoop-conf/fair-scheduler.xml

#这里面的配置文件记录集群的一些配置,调用jar等信息;

/usr/local/emr/emr-bin/conf

ln -s /opt/apps/hive-current /usr/lib/hive-current
/usr/lib/hadoop-current/share/hadoop/common/hadoop-common-2.8.5.jar
/usr/lib/hadoop-current/share/hadoop/common/lib/hadoop-auth-2.8.5.jar

EMR Hadoop集群组件的安装目录和配置文件目录,用户自建Gateway集群copy文件
https://help.aliyun.com/document_detail/124298.html?spm=a2c4g.11186623.6.1045.dae071aex9wNuF

原文地址:https://www.cnblogs.com/hongfeng2019/p/12077848.html