linux shell 多線程執行程序

Shell中並沒有真正意義的多線程，要實現多線程可以啟動多個后端進程，最大程度利用cpu性能。

直接看代碼示例吧。

(1) 順序執行的代碼

#!/bin/bash
date
for i in `seq 1 5`
do
{
    echo "sleep 5"
    sleep 5
}
done
date 

輸出：

Sat Nov 19 09:21:51 CST 2016
sleep 5
sleep 5
sleep 5
sleep 5
sleep 5
Sat Nov 19 09:22:16 CST 2016

(2) 並行代碼

使用'&'+wait 實現“多進程”實現

#!/bin/bash
date
for i in `seq 1 5`
do
{  6     echo "sleep 5"
    sleep 5
} &
done
wait  ##等待所有子后台進程結束
date

輸出：

Sat Nov 19 09:25:07 CST 2016
sleep 5
sleep 5
sleep 5
sleep 5
sleep 5
Sat Nov 19 09:25:12 CST 2016

 (3) 對於大量處理任務如何實現啟動后台進程的數量可控？

　　簡單的方法可以使用2層for/while循環實現，每次wait內層循環的多個后台程序執行完成。

　　但是這種方式的問題是，如果內層循環有“慢節點”可能導致整個任務的執行執行時間長。

　　更高級的實現可以看(4)

(4) 使用命名管道(fifo)實現每次啟動后台進程數量可控。 

#!/bin/bash

function my_cmd(){
    t=$RANDOM
    t=$[t%15]
    sleep $t
    echo "sleep $t s"
}

tmp_fifofile="/tmp/$$.fifo" 
mkfifo $tmp_fifofile      # 新建一個fifo類型的文件
exec 6<>$tmp_fifofile     # 將fd6指向fifo類型
rm $tmp_fifofile    #刪也可以

thread_num=5  # 最大可同時執行線程數量
job_num=100   # 任務總數

#根據線程總數量設置令牌個數
for ((i=0;i<${thread_num};i++));do
    echo
done >&6 

for ((i=0;i<${job_num};i++));do # 任務數量
    # 一個read -u6命令執行一次，就從fd6中減去一個回車符，然后向下執行，
    # fd6中沒有回車符的時候，就停在這了，從而實現了線程數量控制
    read -u6 

    #可以把具體的需要執行的命令封裝成一個函數
    {   
        my_cmd
    } &

    echo >&6 # 當進程結束以后，再向fd6中加上一個回車符，即補上了read -u6減去的那個
done

wait
exec 6>&- # 關閉fd6
echo "over"

 

參考:http://lawrence-zxc.github.io/2012/06/16/shell-thread/