shell——並發工具parallel

官方文檔：https://www.gnu.org/software/parallel/parallel_tutorial.html

 

安裝

(wget -O - pi.dk/3 || curl pi.dk/3/ ||  fetch -o - http://pi.dk/3) | bash

安裝完成后就是一個一萬多行的perl腳本，把腳本復制到其他機器一樣可以用。

 

各種應用請查看官方文檔。

各種參數請查看man文檔。

這里引用random233的博客https://www.jianshu.com/p/c5a2369fa613的用法示例：

1.  傳參數模式

seq 5 |parallel echo test_{} 2>/dev/null

#結果
test_1
test_2
test_3
test_4
test_5

#由於使用parallel命令會打印出一大堆作者的話，所以直接把標准錯誤丟棄，以屏蔽這些沒用的輸出。
#{}是占位符，表示傳參數的位置。

 

2. 管道模式

cat mylog | grep pattern
cat my_large_log | parallel --pipe grep pattern

#以上兩條結果相同，只是parallel會多核並行執行。

 

3. random233還提到一個很有用的用法，測並發。

seq 3 |parallel -n 0 curl -I www.baidu.com

#-n 傳遞的最大參數個數。-n 0表示不傳參數。