6.【應急響應】Linux入侵排查思路

0x01 入侵排查思路

一、賬號安全

基本使用：

1、用戶信息文件/etc/passwd

root:x:0:0:root:/root:/bin/bash
account:password:UID:GID:GECOS:directory:shell

2、影子文件/etc/shadow

root:$6$7LZU11L9$OrxD.7wkmCopj58AM5azR1M5/fqndWSHJwpniKJhMqPhxxsnpnaAbRkevpsKwBAOpq0JwVs66RE6.8U9ctHGT/:17767:0:99999:7:::

用戶名：加密密碼：密碼最后一次修改日期：兩次密碼的修改時間間隔：密碼有效期：密碼修改到期到的警告天數：密碼過期之后的寬限天數：賬號失效時間：保留

who      查看當前登錄用戶（tty本地登陸  pts遠程登錄）
w        查看系統信息，想知道某一時刻用戶的行為
uptime    查看登陸多久、多少用戶，負載

入侵排查：

1、查詢特權用戶特權用戶(uid 為0)

[root@localhost ~]# awk -F: '$3==0{print $1}' /etc/passwd

2、查詢可以遠程登錄的帳號信息

[root@localhost ~]# awk '/\$1|\$6/{print $1}' /etc/shadow

3、除root帳號外，其他帳號是否存在sudo權限。如非管理需要，普通帳號應刪除sudo權限

[root@localhost ~]# more /etc/sudoers | grep -v "^#\|^$" | grep "ALL=(ALL)"

4、禁用或刪除多余及可疑的帳號

usermod -L user    禁用帳號，帳號無法登錄，/etc/shadow第二欄為!開頭
userdel user       刪除user用戶
userdel -r user    將刪除user用戶，並且將/home目錄下的user目錄一並刪除

 

二、歷史命令

基本使用：

通過.bash_history查看帳號執行過的系統命令
1、root的歷史命令

histroy

2、打開/home各帳號目錄下的.bash_history，查看普通帳號的歷史命令,

為歷史的命令增加登錄的IP地址、執行命令時間等信息：

 1）保存1萬條命令

sed -i 's/^HISTSIZE=1000/HISTSIZE=10000/g' /etc/profile

                 2）在/etc/profile的文件尾部添加如下行數配置信息：

######jiagu history xianshi#########
USER_IP=`who -u am i 2>/dev/null | awk '{print $NF}' | sed -e 's/[()]//g'`
if [ "$USER_IP" = "" ]
then
USER_IP=`hostname`
fi
export HISTTIMEFORMAT="%F %T $USER_IP `whoami` "
shopt -s histappend
export PROMPT_COMMAND="history -a"
######### jiagu history xianshi ##########

                3）source /etc/profile讓配置生效

生成效果： 1  2018-07-10 19:45:39 192.168.204.1 root source /etc/profile

3、歷史操作命令的清除：history -c

但此命令並不會清除保存在文件中的記錄，因此需要手動刪除.bash_profile文件中的記錄。

入侵排查：

進入用戶目錄下

cat .bash_history >> history.txt

 

三、端口

使用netstat 網絡連接命令，分析可疑端口、IP、PID

netstat -antlp|more

查看下pid所對應的進程文件路徑，

運行   ls -l /proc/$PID/exe  或  file /proc/$PID/exe（$PID 為對應的pid 號）

 

四、進程

使用ps命令，分析進程

ps aux | grep pid 

 

五、開機啟動項

基本使用：

系統運行級別示意圖：

運行級別	含義
0	關機
1	單用戶模式，可以想象為windows的安全模式，主要用於系統修復，用於系統維護，禁止遠程登陸
2	不完全的命令行模式，不含NFS服務
3	完全的命令行模式，就是標准字符界面
4	系統保留
5	圖形模式
6	系統正常關閉並重啟，默認運行級別不能設為6，否則不能正常啟動

查看運行級別命令

runlevel  

系統默認允許級別

vim  /etc/inittab

id=3：initdefault  系統開機后直接進入哪個運行級別

開機啟動配置文件

/etc/rc.local
/etc/rc.d/rc[0~6].d

例子:當我們需要開機啟動自己的腳本時，只需要將可執行腳本丟在/etc/init.d目錄下，然后在/etc/rc.d/rc*.d中建立軟鏈接即可

root@localhost ~]# ln -s /etc/init.d/sshd /etc/rc.d/rc3.d/S100ssh

此處sshd是具體服務的腳本文件，S100ssh是其軟鏈接，S開頭代表加載時自啟動；如果是K開頭的腳本文件，代表運行級別加載時需要關閉的。

入侵排查：

啟動項文件：

more /etc/rc.local
/etc/rc.d/rc[0~6].d
ls -l /etc/rc.d/rc3.d/

 

六、定時任務

基本使用

1、利用crontab創建計划任務

• 基本命令

crontab -l   列出某個用戶cron服務的詳細內容

Tips：默認編寫的crontab文件會保存在 (/var/spool/cron/用戶名 例如: /var/spool/cron/root

crontab -r   刪除每個用戶cront任務(謹慎：刪除所有的計划任務)

crontab -e   使用編輯器編輯當前的crontab文件

如：*/1 * * * * echo "hello world" >> /tmp/test.txt 每分鍾寫入文件

2、利用anacron實現異步定時任務調度

• 使用案例

每天運行 /home/backup.sh腳本：

vim /etc/anacrontab
@daily    10    example.daily   /bin/bash /home/backup.sh

當機器在 backup.sh 期望被運行時是關機的，anacron會在機器開機十分鍾之后運行它，而不用再等待7天。

入侵排查

重點關注以下目錄中是否存在惡意腳本

/var/spool/cron/* 
/etc/crontab
/etc/cron.d/*
/etc/cron.daily/* 
/etc/cron.hourly/* 
/etc/cron.monthly/*
/etc/cron.weekly/
/etc/anacrontab
/var/spool/anacron/*

小技巧：

 more /etc/cron.daily/*  查看目錄下所有文件

 

七、服務

服務自啟動

第一種修改方法：

chkconfig [--level 運行級別] [獨立服務名] [on|off]

chkconfig –level 2/3/4/5 httpd on  開啟自啟動

chkconfig httpd on （默認level是2/3/4/5）

第二種修改方法：

修改 /etc/re.d/rc.local 文件  

加入 /etc/init.d/httpd start

第三種修改方法：

使用ntsysv命令管理自啟動，可以管理獨立服務和xinetd服務。

入侵排查

1、查詢已安裝的服務：

RPM包安裝的服務

chkconfig  --list  查看服務自啟動狀態，可以看到所有的RPM包安裝的服務

ps aux | grep crond 查看當前服務

系統在3與5級別下的啟動項： 
   中文環境
   chkconfig --list | grep "3:啟用\|5:啟用" 
   英文環境
   chkconfig --list | grep "3:on\|5:on"

源碼包安裝的服務

查看服務安裝位置 ，一般是在/user/local/
service httpd start
搜索/etc/rc.d/init.d/  查看是否存在

 

八、系統日志

日志默認存放位置：/var/log/

查看日志配置情況：

more /etc/rsyslog.conf

日志文件	說明
/var/log/cron	記錄了系統定時任務相關的日志
/var/log/cups	記錄打印信息的日志
/var/log/dmesg	記錄了系統在開機時內核自檢的信息，也可以使用dmesg命令直接查看內核自檢信息
/var/log/mailog	記錄郵件信息
/var/log/message	記錄系統重要信息的日志。這個日志文件中會記錄Linux系統的絕大多數重要信息，如果系統出現問題時，首先要檢查的就應該是這個日志文件
/var/log/btmp	記錄錯誤登錄日志，這個文件是二進制文件，不能直接vi查看，而要使用lastb命令查看
/var/log/lastlog	記錄系統中所有用戶最后一次登錄時間的日志，這個文件是二進制文件，不能直接vi，而要使用lastlog命令查看
/var/log/wtmp	永久記錄所有用戶的登錄、注銷信息，同時記錄系統的啟動、重啟、關機事件。同樣這個文件也是一個二進制文件，不能直接vi，而需要使用last命令來查看
/var/log/utmp	記錄當前已經登錄的用戶信息，這個文件會隨着用戶的登錄和注銷不斷變化，只記錄當前登錄用戶的信息。同樣這個文件不能直接vi，而要使用w,who,users等命令來查詢
/var/log/secure	記錄驗證和授權方面的信息，只要涉及賬號和密碼的程序都會記錄，比如SSH登錄，su切換用戶，sudo授權，甚至添加用戶和修改用戶密碼都會記錄在這個日志文件中

日志分析技巧：

1、定位有多少IP在爆破主機的root帳號：    

grep "Failed password for root" /var/log/secure | awk '{print $11}' | sort | uniq -c | sort -nr | more

        定位有哪些IP在爆破：

grep "Failed password" /var/log/secure|grep -E -o "(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)"|uniq -c

       爆破用戶名字典是什么？

 grep "Failed password" /var/log/secure|perl -e 'while($_=<>){ /for(.*?) from/; print "$1\n";}'|uniq -c|sort -nr

 

2、登錄成功的IP有哪些：  

grep "Accepted " /var/log/secure | awk '{print $11}' | sort | uniq -c | sort -nr | more

登錄成功的日期、用戶名、IP：

grep "Accepted " /var/log/secure | awk '{print $1,$2,$3,$9,$11}' 

3、增加一個用戶kali日志：

Jul 10 00:12:15 localhost useradd[2382]: new group: name=kali, GID=1001
Jul 10 00:12:15 localhost useradd[2382]: new user: name=kali, UID=1001, GID=1001, home=/home/kali, shell=/bin/bash
Jul 10 00:12:58 localhost passwd: pam_unix(passwd:chauthtok): password changed for kali

#grep "useradd" /var/log/secure 

4、刪除用戶kali日志：

Jul 10 00:14:17 localhost userdel[2393]: delete user 'kali'
Jul 10 00:14:17 localhost userdel[2393]: removed group 'kali' owned by 'kali'
Jul 10 00:14:17 localhost userdel[2393]: removed shadow group 'kali' owned by 'kali'

# grep "userdel" /var/log/secure

5、su切換用戶：

Jul 10 00:38:13 localhost su: pam_unix(su-l:session): session opened for user good by root(uid=0)

sudo授權執行:

sudo -l

Jul 10 00:43:09 localhost sudo:    good : TTY=pts/4 ; PWD=/home/good ; USER=root ; COMMAND=/sbin/shutdown -r now

 

0x03 工具篇

一、Rootkit查殺

 

• chkrootkit  

網址：http://www.chkrootkit.org

使用方法：
wget ftp://ftp.pangeia.com.br/pub/seg/pac/chkrootkit.tar.gz
tar zxvf chkrootkit.tar.gz
cd chkrootkit-0.52
make sense
#編譯完成沒有報錯的話執行檢查
./chkrootkit

 

 

• rkhunter

網址：http://rkhunter.sourceforge.net

使用方法：
Wget https://nchc.dl.sourceforge.net/project/rkhunter/rkhunter/1.4.4/rkhunter-1.4.4.tar.gz
tar -zxvf rkhunter-1.4.4.tar.gz
cd rkhunter-1.4.4
./installer.sh --install
rkhunter -c

 

二、病毒查殺

• Clamav

ClamAV的官方下載地址為：http://www.clamav.net/download.html

安裝方式一：

1、安裝zlib：

wget http://nchc.dl.sourceforge.net/project/libpng/zlib/1.2.7/zlib-1.2.7.tar.gz 
tar -zxvf  zlib-1.2.7.tar.gz
cd zlib-1.2.7

#安裝一下gcc編譯環境： yum install gcc
CFLAGS="-O3 -fPIC" ./configure --prefix= /usr/local/zlib/
make && make install

2、添加用戶組clamav和組成員clamav：

groupadd clamav
useradd -g clamav -s /bin/false -c "Clam AntiVirus" clamav

3、安裝Clamav

tar –zxvf clamav-0.97.6.tar.gz
cd clamav-0.97.6
./configure --prefix=/opt/clamav --disable-clamav -with-zlib=/usr/local/zlib
make
make install

4、配置Clamav

mkdir /opt/clamav/logs
mkdir /opt/clamav/updata
touch /opt/clamav/logs/freshclam.log
touch /opt/clamav/logs/clamd.log
cd /opt/clamav/logs
chown clamav:clamav clamd.log
chown clamav:clamav freshclam.log

5、ClamAV 使用：

 /opt/clamav/bin/freshclam 升級病毒庫
./clamscan –h 查看相應的幫助信息
./clamscan -r /home  掃描所有用戶的主目錄就使用
./clamscan -r --bell -i /bin  掃描bin目錄並且顯示有問題的文件的掃描結果

安裝方式二：

#安裝

yum install -y clamav

#更新病毒庫

freshclam

#掃描方法

clamscan -r /etc --max-dir-recursion=5 -l /root/etcclamav.log
clamscan -r /bin --max-dir-recursion=5 -l /root/binclamav.log
clamscan -r /usr --max-dir-recursion=5 -l /root/usrclamav.log

#掃描並殺毒

clamscan -r  --remove  /usr/bin/bsd-port
clamscan -r  --remove  /usr/bin/
clamscan -r --remove  /usr/local/zabbix/sbin

#查看日志發現

cat /root/usrclamav.log |grep FOUND

三、webshell查殺

linux版：

河馬webshell查殺：http://www.shellpub.com
深信服Webshell網站后門檢測工具：http://edr.sangfor.com.cn/backdoor_detection.html

四、RPM check檢查

系統完整性可以通過rpm自帶的-Va來校驗檢查所有的rpm軟件包，查看哪些命令是否被替換了：

./rpm -Va > rpm.log

如果一切均校驗正常將不會產生任何輸出，如果有不一致的地方，就會顯示出來，輸出格式是8位長字符串，每個字符都用以表示文件與RPM數據庫中一種屬性的比較結果 ，如果是. (點) 則表示測試通過。

驗證內容中的8個信息的具體內容如下：
        

s	文件大小是否改變
M	文件的類型或文件的權限（rwx）是否被改變
5	文件MD5校驗是否改變（可以看成文件內容是否改變）
D	設備中，從代碼是否改變
L	文件路徑是否改變
U	文件的屬主（所有者）是否改變
G	文件的屬組是否改變
T	文件的修改時間是否改變

如果命令被替換了，如何去還原回來：

文件提取還原過程：

rpm  -qf /bin/ls  查詢ls命令屬於哪個軟件包
mv  /bin/ls /tmp  先把ls轉移到tmp目錄下，造成ls命令丟失的假象
rpm2cpio /mnt/cdrom/Packages/coreutils-8.4-19.el6.i686.rpm | cpio -idv ./bin/ls 提取rpm包中ls命令到當前目錄的/bin/ls下
cp /root/bin/ls  /bin/ 把ls命令復制到/bin/目錄 修復文件丟失