構建調試Linux內核網絡代碼的環境MenuOS系統

         該實驗是基於Ubuntu18.0.4和Linux5.0.1完成的  

      一、安裝，編譯Linux內核

        1.1下載內核源代碼

mkdir LinuxKernel  #創建LinuxKernel根目錄
cd ~/LinuxKernel/
wget https://cdn.kernel.org/pub/linux/kernel/v5.x/linux-5.0.1.tar.xz #下載Linux內核，這里用的是5.0.1版本
xz -d linux-5.0.1.tar.xz #解壓 
tar -xvf linux-5.0.1.tar 
cd linux-5.0.1

        1.2安裝依賴包

#如果已經安裝過就忽略這一步
sudo apt-get install build-essential
sudo apt-get install libelf-dev
sudo apt-get install libncurses-dev
sudo apt-get install flex
sudo apt-get install bison
sudo apt-get install libssl-dev

       1.3配置編譯需要的信息

#進入解壓出來的目錄
cd /linux-5.0.1/
#使用現存內核的配置文件：（xxx處使用TAB補全）
sudo cp /boot/config-xxx -r .config
#應用現存配置文件
sudo make oldconfig
#僅安裝已有module
sudo make localmodconfig
#配置其他編譯選項
sudo make menuconfig
#這個地方可能會報錯
Your display is too small to run Menuconfig!
It must be at least 19 lines by 80 columns.
make[1]: *** [menuconfig] Error 1
make: *** [menuconfig] Error 2
這里需要點擊Terminal->Preferences->Unnamed,然后將Initial terminal size，columns的數值增大,然后重新打開終端，執行命令

                               

     接着會出現以下界面，依次選擇 Kernel hacking ->Compile-time checks and compiler options ->[ ]Compile the kernel with debug info 

然后按Y鍵，選擇 Save ，選擇Exit直到退出。

1.4 編譯

sudo make
#或者使用sudo make -j*,*位cpu核數

     然后就等待編譯完成，時間取決於機器性能，一般需要20分鍾到數小時

1.5 升級內核

#安裝modules
sudo make modules_install
#安裝
sudo make install
#重啟虛擬機
sudo shutdown -r now
#查看內核版本
uname -a

     可以看到內核已經更新為Linux 5.0.1

       二、制作根文件目錄

2.1 QEMU虛擬機加載內核

cd ~/LinuxKernel/
sudo apt install qemu#安裝qemu命令
qemu-system-x86_64 -kernel linux-5.0.1/arch/x86_64/boot/bzImage

2.2 構造MenuOS

#創建MenuOS根目錄
mkdir rootfs
#下載MenuOS
git clone https://github.com/mengning/menu.git

  這里如果git clone的速度太慢，可以修改/etc/hosts/內容，再刷新DNS

nslookup github.global.ssl.fastly.net
nslookup github.com
#這里會返回兩個IP地址
sudo vim/etc/hosts
#按i進入插入模式，然后將xxxx github.global.ssl.fastly.net  xxxx  github.com
添加至最后一行，然后按ESC,輸入:wq!保存退出
sudo /etc/init.d/networking restart
#刷新DNS

2.3 安裝libc6-dev-i386並初始化根目錄

cd menu
sudo apt-get install libc6-dev-i386#在64位環境下編譯32位
#注意在初始化根目錄之前要修改Makefile的內容，因為實驗樓的系統是Linux 3.18.6，這里要改為5.0.1，修改之后如下
#qemu-system-x86_64 -kernel ../linux-5.0.1/arch/x86_64/boot/bzImage -initrd ../rootfs.img
#注意在Makefile修改命令時開頭需加上TAB鍵，否則會報錯
make rootfs

得到結果如下，輸入help可以看到當前MenuOS中有help,version,quit,time,time-asm等命令

接下來需要驗證MenuOS的網絡可以正常工作，可以通過在MenuOS上完成TCP客戶端和服務器發送和接收hello/hi

2.4 驗證MenuOS的網絡

2.4.1 將TCP網絡通信程序的服務端集成到MenuOS 系統中

cd ~/LinuxKernel/ 
git clone https://github.com/mengning/linuxnet.git
cd linuxnet/lab2
make
cd ../../menu/#這里要修改Makefile文件
make rootfs

2.4.2 將TCP網絡通信程序的客戶端集成到MenuOS系統中

cd ~/LinuxKernel/
cd linuxnet/lab3
make rootfs#Make rootfs之前要修改Makefile
#未修改之前qemu -kernel ../../linux-3.18.6/arch/x86/boot/bzImage -initrd ../rootfs.img
#修改之后 qemu-system-x86_64 -kernel ../../linux-5.0.1/arch/x86/boot/bzImage -initrd ../rootfs.img

現在可以得到以下結果，輸入replyhi,輸入hello，收到了hi，證明MenuOS的網絡可以正常工作

      三、gdb調試

3.1 重啟QEMU

cd ~/LinuxKernel/menu
#先修改Makefile，在qemu-system-x86_64 -kernel ../linux-5.0.1/arch/x86_64/boot/bzImage -initrd ../rootfs.img
#末尾加上-append nokaslr -s -S
make rootfs

結果如下

3.2 連接gdb server並調試

    重新打開一個終端

gdb
file ~/LinuxKernel/linux-5.0.1/vmlinux
target remote:1234
#設置斷點對start_kernel進行跟蹤
break start_kernel
c #繼續運行
list#查看上下文

     結果如下

       

      結果顯示gdb可以追蹤到start_kernel函數，斷點在init/mian.c的538行

     繼續在rest_init處設置斷點

break rest_init
c

         

        斷點在init/mian.c的398行

       我們來簡要分析一下運行到start_kernel()的過程，start_kernel()實際上是內核的匯編代碼和c代碼的交接處。

       截取一段start_kernel()的源碼

asmlinkage __visible void __init start_kernel(void)
{
    char *command_line;
    char *after_dashes;

    set_task_stack_end_magic(&init_task);
    ...
    ...

  /* Do the rest non-__init'ed, we're now alive */
    arch_call_rest_init();
}

     當程序運行到start_kernel()時:

      (1)手工通過 set_task_stack_end_magic(&init_task)創建0號進程，init_task是0號進程上下文信息的描述符，是內核中所有進程、線程

的task_struct雛形，在內核初始化過程中，通過靜態定義構造出了一個task_struct接口，取名為init_task,init_idle()函數會把init_task加入到

cpu的運行隊列中去，在沒有其他進程加入cpu隊列的時候，init_task會一直運行，當其他進程加入進來的時候，init_task就會被設置成idle,

並使用調度函數將切換到新加入進來的進程上。

    (2)將內存管理模塊、中斷、調度模塊等模塊初始化。

    (3)start_kernrl函數運行到rest_init()，開始初始化進程並創建1號和2號進程。

        我們接着看一下rest_init的部分源碼

noinline void __ref rest_init(void)
{
    struct task_struct *tsk;
    int pid;
    rcu_scheduler_starting();
    /*
     * We need to spawn init first so that it obtains pid 1, however
     * the init task will end up wanting to create kthreads, which, if
     * we schedule it before we create kthreadd, will OOPS.
     */
    pid = kernel_thread(kernel_init, NULL, CLONE_FS);
    rcu_read_lock();
    tsk = find_task_by_pid_ns(pid, &init_pid_ns);
    set_cpus_allowed_ptr(tsk, cpumask_of(smp_processor_id()));
    rcu_read_unlock();
    numa_default_policy();
    pid = kernel_thread(kthreadd, NULL, CLONE_FS | CLONE_FILES);
    rcu_read_lock();
    kthreadd_task = find_task_by_pid_ns(pid, &init_pid_ns);
    rcu_read_unlock();
    system_state = SYSTEM_SCHEDULING;
    complete(&kthreadd_done);
    schedule_preempt_disabled();
    /* Call into cpu_idle with preempt disabled */
    cpu_startup_entry(CPUHP_ONLINE);
}

pid = kernel_thread(kernel_init, NULL, CLONE_FS)創建了1號進程
pid = kernel_thread(kthreadd, NULL, CLONE_FS | CLONE_FILES)創建了2號進程
cpu_startup_entry(CPUHP_ONLINE)進行cpu隊列進程的切換，將0號進程設置idle
這就是Linux下的三個特殊進程
0號進程由系統自動創建, 運行在內核態
1號進程由idle通過kernel_thread創建，在內核空間完成初始化后, 加載init程序, 並最終在用戶空間
2號進程由idle通過kernel_thread創建，並始終運行在內核空間, 負責所有內核線程的調度和管理

參考資料
https://blog.csdn.net/gatieme/article/details/51484562
https://github.com/mengning/net/tree/master/lab3