Slurm任务调度系统部署和测试(源码)（1）

1. 概述

slurm任务调度系统，主要应用在HPC集群资源管理和任务调度。具体信息参见slurm官方网站：https://slurm.schedmd.com/
部署Slurm任务调度系统，需要部署NTP内网时间同步服务器，LDAP全局认证服务器，Mysql数据库服务器
本篇博客主要记录如何部署和使用slurm任务调度系统。

1.1 节点信息

节点主机名	操作系统	主机地址	主机角色
node11	centos6.5_x86_64	192.168.10.11	主控制器
node12	centos6.5_x86_64	192.168.10.12	备控制器
node13	centos6.5_x86_64	192.168.10.13	数据存储主控制器
node14	centos6.5_x86_64	192.168.10.14	数据存储备控制器
node15	centos6.5_x86_64	192.168.10.15	MySQL数据库服务器

2. 节点准备

本篇博客的节点，均有已经部署好NTP和LDAP服务客户端的node11克隆，减少部署过程的繁琐。
KVM克隆虚拟机，参见博客《KVM虚拟机管理——虚拟机克隆.md》
博客园地址：https://www.cnblogs.com/liwanliangblog/p/9193910.html
根据博客内容指导，很容易克隆出其他几台虚拟机，提供slurm任务调度环境部署和测试。

3. 部署NTP服务器

笔记内链：《NTP服务部署和测试.md》
博客园地址：https://www.cnblogs.com/liwanliangblog/p/9194004.html
NTP时间服务器部署完成之后，需要同步各个节点的时间。

注：对于节点的NTP同步，可以采用pdsh并行工具完成
pdsh并行工具安装和使用，参见笔记内链：《并行管理工具——pdsh.md》
博客园地址：https://www.cnblogs.com/liwanliangblog/p/9194146.html

4. 部署LDAP服务器

笔记内链：《LDAP-openldap服务部署和测试（YUM安装）.md》
博客园地址：https://www.cnblogs.com/liwanliangblog/p/9193916.html

5. 部署Munge认证服务

笔记内链：《MUNGE服务部署和测试.md》
博客园地址：https://www.cnblogs.com/liwanliangblog/p/9194032.html

6. 部署Mysql数据库服务

本篇博客在node15上安装MySQL数据库
笔记内链：《MySQL数据库服务器(YUM)安装.md》
博客园：https://www.cnblogs.com/liwanliangblog/p/9194704.html

7. 部署slurm

7.1 创建slurm用户

需要创建slurmadmin全局用户，用于运行slucrmctld和slurmdbd；
slurmd因为负责节点的状态，因此需要root权限，不需要创建；
同样在LDAP中创建slurmadmin用户
参见博客：《LDAP-openldap服务部署和测试（YUM安装）.md》
博客园地址：https://www.cnblogs.com/liwanliangblog/p/9193916.html

7.2 挂载全局文件系统

在前面的博客中提到，把虚拟机console的/usr/local，作为全局共享目录，通过NFS文件系统实现共享。
在虚拟机console上，需要启动NFS共享。编辑/etc/exports，内容如下图所示：

执行命令：exportfs -r，使得配置的内容生效，通过"exportfs"查看配置是否生效
执行命令：pdsh -a "yum -y install nfs-utils rpcbind"，安装挂载NFS需要的软件包
执行命令：pdsh -a "service rpcbind start"，开启rpcbind服务，否则挂载会报错
执行命令：pdsh -a "mount -t nfs 192.168.10.8:/usr/local /usr/local"，对节点进行NFS文件系统挂载
执行命令：pdsh -a "df -h | grep -w local"，对挂载情况进行检查

7.3 slurm下载

从slurm官方网站下载最新版本slurm，下载地址为：https://www.schedmd.com/downloads.php
本篇博客主要部署两个版本

slurm-16.05.3.tar.gz 该版本已经被官网废弃，本篇博客因为工作需要继续使用
slurm-17.11.7.tar.bz2 截至博客更新时的最新版本

7.4 编译安装

因为规划在node15上部署了MySQL数据库（虚拟机console并未部署MySQL），而在编译slurm时，需要使用到mysql_config，因此需要在node15上进行编译
将slurm-16.05.3.tar.gz拷贝至node15，然后解压，编译，安装

解压
执行命令：tar -zxvf slurm-16.05.3.tar.gz -C /tmp；
YUM安装依赖环境
执行命令：yum -y install libgnomeui-devel readline-devel curl-devel

进入目录，配置configure
执行以下命令：

./configure 
--prefix=/usr/local/globle/softs/slurm/16.05.3 
--sysconfdir=/usr/local/globle/softs/slurm/16.05.3/etc 
--localstatedir=/var  
--enable-pam 
--enable-memory-leak-debug 
--enable-front-end --enable-salloc-kill-cmd 
--enable-simulator 
--enable-multiple-slurmd 
--with-pam_dir=/lib64 
--with-zlib 
--with-rrdtool 
--with-mysql_config=/usr/lib64/mysql/ 
--with-munge=/usr/local/globle/softs/munge/0.5.12/ 
--with-ssl 
--with-libcurl

注：上述部分--with选项，实际并没有编译。通过查看config.log的WARNING可以确认是否安装。mysql_config指定的是mysql_config的路径，而非文件

编译安装
执行命令make进行编译，执行命令make install进行安装
创建配置文件目录
上述过程完成后，可以在/usr/local/globle/softs/slurm下查看已经安装的目录，但是此时该目录下并没有etc，log，state等目录，因此需要手动创建
执行命令：mkdir etc log state；
修改目录属性：chmod 777 log
拷贝配置文件模板
在源码目录下的etc目录中，存放着配置文件的模板文件
执行命令：cp slurm.conf.example cgroup.conf.example slurmdbd.conf.example /usr/local/globle/softs/slurm/16.05.3/etc/

8. slurm配置

详细的配置文件参数详解，参见官方提供的文档：https://slurm.schedmd.com/slurm.conf.html

8.1 配置slurm.conf

编辑slurm集群主配置文件：/usr/local/globle/softs/slurm/16.05.3/etc/slurm.conf
笔记内链：《slurm.conf系统初始配置.md》
博客园地址：https://www.cnblogs.com/liwanliangblog/p/9201624.html

8.2 配置slurmdbd.conf

编辑slurm集群数据库主配置文件：/usr/local/globle/softs/slurm/16.05.3/etc/slurmdbd.conf
笔记内链：《slurmdbd.conf系统初始配置.md》
博客园地址：https://www.cnblogs.com/liwanliangblog/p/9201634.html

8.3 配置cgroup.conf

编辑slurm集群cgroup机制配置文件：/usr/local/globle/softs/slurm/16.05.3/etc/cgroup.conf
笔记内链：《cgroup.conf系统初始配置.md》
博客园地址：https://www.cnblogs.com/liwanliangblog/p/9201639.html

8.4 配置数据库和测试

本篇博客前面部分已经在虚拟机node15上创建了MySQL数据库。

8.4.1 node15创建数据库并授权

在node15上，执行：mysql -uroot -p，输入密码进入数据库系统
创建数据库：create database slurm_acct_db；
授权node13访问：grant all privileges on slurm_acct_db.* to 'slurmadmin'@'192.168.80.13' identified by 'liwanliang';
授权node14访问：grant all privileges on slurm_acct_db.* to 'slurmadmin'@'192.168.80.14' identified by 'liwanliang';
刷新授权表：flush privileges;

8.4.2 测试连接

在node13和node14节点，分别进行MySQL数据库的连接。这要求node13和node14必须安装了mysql软件包。
在node13和node14上，分别执行：rpm - qa |grep mysql查看是否安装mysql软件包。若未安装，执行：yum -y install mysql安装
在node14和node14上，分别执行：mysql -h 192.168.80.15 -uslurmadmin -p，输入密码进行数据库连接测试。
进入数据库之后，执行：show databases;查看是否存在slurm_acct_db数据库，验证数据库授权是否正确。

9. slurm启动

9.1 启动数据库存储服务slurmdbd

可以采用slurmdbd -vvvvDDDD，进行调试启动，查看是否启动过程中有无错误。若无错误，可以以绝对路径的方式启动进程。
slurmdbd存在主备节点，node13作为slurmdbd主节点。若配置文件中未配置slurmdbd的备份节点，则在node14上无法启动slurmdbd。
如需启动，需要修改配置文件。
注：在线使用过程中，如果修改了slurmdbd.conf配置，可以通过sacctmgr reconfig重新加载配置文件。前提是配置文件不能够出现错误，否则会造成当前在线的服务over

9.2 注册集群信息

在启动控制器slurmctld之前，需要将slurm.conf中配置的slurm集群名称添加到数据库中。
否则会在启动slurmctld时，提示未注册集群。
执行命令：/usr/local/globle/softs/slurm/16.05.3/bin/sacctmgr add cluster myslurm，根据提示输入y即可在slurmdbd中，注册集群名称
验证。执行命令：/usr/local/globle/softs/slurm/16.05.3/bin/sacctmgr show cluster，即可查看当前注册的slurm集群信息。

9.3 启动控制器slurmctld

在节点node11上，执行命令：slurmctld -vvvvDDDD，进行调试启动，查看启动过程中是否存在错误，若无错误，则可以后台启动。
在节点node12上，执行同样的命令，即可启动slurmctld的备份控制器。具体使用和测试，参见《Slurm任务调度系统部署和测试(源码)（2）.md》。
注：在线使用过程中，如果修改了slurmctld.conf配置，可以通过scontrol reconfig重新加载配置文件。前提是配置文件不能够出现错误，否则会造成当前在线的服务over

10. 错误及解决

10.1 未安装编译器

如下图提示，执行命令：yum -y install gcc gcc-c++ automake autoconf

10.2 未发现PAM库路径

如下图提示，执行命令：find / -name libpam.so*，可确认系统中是否存在pam库，并且能够确认路径，然后在configure配置的--with-pam_dir=/lib64

10.3 启动slurmdbd日志报错

在交互式调式结束后，结束slurmdbd进程。然后直接启动时，从slurmdbd的日志报错如下图所示：

10.4 节点状态DOWN

在完全配置成功之后，节点启动了slurmd，但是通过sinfo看到的节点状态始终为down。同步了节点时间，关闭节点防火墙和selinux均为解决问题。
最后通过查阅官方的FAQ，详细的FAQ地址：https://slurm.schedmd.com/faq.html。最后把slurm.conf中的ReturnToService=0改为ReturnToService=2解决

<wiz_tmp_tag id="wiz-table-range-border" contenteditable="false" style="display: none;">