FairScheduler Installation

  • 将FairScheduler从HADOOP_HOME/bulid/contrib 复制到 HADOOP_HOME/lib目录下
  • 配置mapred-site.xml文件,添加如下信息
    • <property>
      • <name>mapred.jobtracker.taskScheduler</name>
      • <value>org.apache.hadoop.mapred.FairScheduler</value>
    • </property>
重启hadoop服务,在浏览器中键入http://<jobtracker:50030>/scheduler就会看到Web UI, job scheduler的管理界面,如下所示:
//用来显示调度器的信息(pool的配置信息等),主要的功能是查看每个作业的任务数以及fair share,管理控制pool以及作业的优先级
 
  • Configuration
    • 算法参数文件在mapred-site.xml中配置
    • pool,minimum shares,running job limits,preemption timeouts在/conf/fair-scheduler.xml中配置,这个配置文件会周期性的加载,因而,不需要我们重启集群
原文地址:https://www.cnblogs.com/yueliming/p/3030009.html