Hadoop记录-hadoop和hbase监控有那些比较好的工具

New Relic

hadoop  jmx

granfa

falcon

Ganglia,Nagios和Chukwa

自带监控软件

hadoop yarn 开启jmx监控

打开{hadoop_home}/etc/hadoop/yarn-env.sh文件,文件最后添加三行。

YARN_OPTS=”$YARN_OPTS -Dcom.sun.management.jmxremote.authenticate=false”

YARN_OPTS=”$YARN_OPTS -Dcom.sun.management.jmxremote.port=10001”

YARN_OPTS=”$YARN_OPTS -Dcom.sun.management.jmxremote.ssl=false”
==================================================================

认识JMX
类JMXJsonServlet继承父类 javax.servlet.http.HttpServlet
只提供web页面来访问JMX

例如:启动了hadoop集群(master slave1 slave2)
通过端口50070访问:master:50070查看namenode节点

若查看namenode的监控信息,可直接访问:master:50070/jmx
在web页面即可看到json对象(JMX Beans)的内容
可以通过qry参数来过滤查看内容
若参数qry不正确,即bad request,将返回一个格式化的json对象

ervlet将JMXBeans转换成JSON,每个bean的属性将会被转换为一个json对象的成员。
如果属性是布尔值,字符串或者数组,将会被转换为json等价物。
如果value是一个组合数据将会被转换为一个key value键值对形式的json对象,
如果值是表格数据,将会被转换为包含所有元素的数组。其他对象转换为string格式输出。
所有bean的name和modeleler type也会返回。


http://10.202.77.200:50070/jmx
http://10.202.77.200:8088/jmx

http://10.202.77.200:50070/jmx
http://10.202.77.200:8088/jmx

callback
qry
get

http://10.202.77.200:50070/jmx?qry=Hadoop:*
http://10.202.77.200:8088/jmx?qry=Hadoop:*

http://10.202.77.200:8088/jmx?qry=Hadoop:service=ResourceManager,name=QueueMetrics,q0=root,q1=default,user=spark

原文地址:https://www.cnblogs.com/xinfang520/p/10452240.html