场景：根据不同项目或不同用户，对yarn资源队列进行划分，达到资源管控，任务管控的目的
yarn资源队列参数设置
当设置为 true 时，如果未指定池名称，Fair Scheduler 将会使用用户名作为默认的池名称，当设置为 false 时，所有应用程序都在一个名为 default 的共享池中运行，设置成false是为了不根据用户名而自动分配资源池
yarn.scheduler.fair.user-as-default-queue false
设置为 true 时，将使用默认设置创建在应用程序中指定但未明确配置的池，设置为 false 时，将在名为 default 的池中运行应用程序指定的未明确配置的池
此设置适用于应用程序明确指定某个池时以及应用程序运行所在的池的名称为与该应用程序关联的用户名的情况
yarn.scheduler.fair.allow-undeclared-pools false
确定哪些用户和组可在任何池中提交和中止应用程序以及可以对 ResourceManager 角色发出命令的 AC，默认是*(所有用户都可以终止任务)
启用 ResourceManager ACL true yarn.admin.acl yarn
修改完配置重启服务
创建测试用户
useradd heboan passwd heboan useradd dev passwd dev hdfs dfs -mkdir /user/heboan hdfs dfs -chown heboan:heboan /user/heboan hdfs dfs -mkdir /user/dev hdfs dfs -chown dev:dev /user/dev su - heboan echo "Hello World Bye World" > file0 echo "Hello Hadoop Goodbye Hadoop" > file1 hdfs dfs -mkdir -p /user/heboan/wordcount/input hdfs dfs -put file* /user/heboan/wordcount/input su - dev echo "Hello World Bye World" > file0 echo "Hello Hadoop Goodbye Hadoop" > file1 hdfs dfs -mkdir -p /user/dev/wordcount/input hdfs dfs -put file* /user/dev/wordcount/input
动态资源配置
默认划分了2个资源池
root.default: 默认池，没有划分资源池的用户会提交到default资源池
root.user: 暂时没了解
①编辑root
提交访问控制： 允许这些用户和组向该池提交： 用户： yarn
管理访问空： Allow these users and groups to administer this pool 用户：hdfs
②编辑root.default
提交访问控制： 允许这些用户和组向该池提交 用户： 允许提交的用户名，多个以逗号分隔，这里我配置的是heboan,dev
管理访问控制： Allow these users and groups to administer this pool， 直接继承
③创建2个资源池root.dev和root.heboan
提交访问控制分别设置各自的用户dev ,heboan
管理访问控制直接继承
备注：资源池权重数值越大，与优先
刷新动态资源
测试用户heboan提交任务
su - heboan
可以正常提交到root.heboan资源池
hadoop jar /opt/cloudera/parcels/CDH/jars/hadoop-examples.jar wordcount -Dmapreduce.job.queuename=root.heboan wordcount/input wordcount/output
可以正常提交到root.default资源池
hadoop jar /opt/cloudera/parcels/CDH/jars/hadoop-examples.jar wordcount -Dmapreduce.job.queuename=root.default wordcount/input wordcount/output
无法提交的root.dev资源池
hadoop jar /opt/cloudera/parcels/CDH/jars/hadoop-examples.jar wordcount -Dmapreduce.job.queuename=root.dev wordcount/input wordcount/output
su - dev
结果同理
因为配置了只是允许yarn管理所有的资源池，并且资源池直接继承，hdfs用户才能管理，所以heboan提交的任务只能被自己删除，或者yarn/hdfs， 当然dev提交的任务也是同理