linux-shell腳本高並發對文本url批量下載

實踐出真知

樣例

http://xxxx.file.myqcloud.com/yyy/xxxxx/xxxx.jpg

#注意xxx，yyy都是馬賽克

需求：  

1、url條數130萬左右,圖片都說16kB左右的小圖片  

2、需要對下載的圖片命令成yyy.jpg   注意:yyy是具有唯一性特征的

 

#不限制進程，默認按實際最大創建
前提是高性能的linux主機，放開速度跑。帶寬、cpu、內存、處理器，都相對好點

#!/bin/bash
#des 單線程讀取文件url
mkdir smrz
while read -r i
do
        ii=`echo ${i#*file.myqcloud.com/}`
        id=`echo ${ii%%/*}`.jpg
        curl  -s -o smrz/$id  $i
done < smrz_download_url.txt

 對線程並發下載文件

#!/bin/bash
#des 不限制進程，默認按實際最大創建
#mkdir smrz_ff
while read -r i
do {        
ii=`echo ${i#*file.myqcloud.com/}`       
id=`echo ${ii%%/*}`.jpg        
curl -s -o smrz_ff/$id  $i 
}&  #執行循環丟進后台創建進程
done < xaf
wait

 

shell行讀取文件：http://www.jb51.net/article/59041.htm

shell並發執行參考：http://blog.csdn.net/wangjin2891/article/details/51699860