python檢查URL是否能正常訪問

https://blog.csdn.net/u010798367/article/details/53008439

 

今天，項目經理問我一個問題，問我這里有2000個URL要檢查是否能正常打開，其實我是拒絕的，我知道因為要寫代碼了，正好學了點python，一想，python處理起來容易，就選了python，開始把思路想好：

1.首先2000個URL。可以放在一個txt文本內

2.通過python 把內容內的URL一條一條放進數組內

3.打開一個模擬的瀏覽器，進行訪問。

4.如果正常訪問就輸出正常，錯誤就輸出錯誤

直接簡單粗暴甩代碼。因為涉及到隱私，圖片打了碼

 

 

1.  
   import urllib.request
2.  
   import time
3.  
    
4.  
   opener = urllib.request.build_opener()
5.  
   opener.addheaders = [( 'User-agent', 'Mozilla/49.0.2')]
6.  
   #這個是你放網址的文件名，改過來就可以了
7.  
   file = open( 'test.txt')
8.  
   lines = file.readlines()
9.  
   aa=[]
10.  
    for line in lines:
11.  
    temp=line.replace( '\n','')
12.  
    aa.append(temp)
13.  
    print(aa)
14.  
     
15.  
    print( '開始檢查：')
16.  
    for a in aa:
17.  
    tempUrl = a
18.  
    try :
19.  
    opener.open(tempUrl)
20.  
    print(tempUrl+ '沒問題')
21.  
    except urllib.error.HTTPError:
22.  
    print(tempUrl+ '=訪問頁面出錯')
23.  
    time.sleep( 2)
24.  
    except urllib.error.URLError:
25.  
    print(tempUrl+ '=訪問頁面出錯')
26.  
    time.sleep( 2)
27.  
    time.sleep( 0.1)