Python爬取網頁信息的步驟
以爬取英文名字網站（https://nameberry.com/）中每個名字的評論內容，包括英文名，用戶名，評論的時間和評論的內容為例。
1、確認網址
在瀏覽器中輸入初始網址，逐層查找鏈接，直到找到需要獲取的內容。
在打開的界面中，點擊鼠標右鍵，在彈出的對話框中，選擇“檢查”，則在界面會顯示該網頁的源代碼，在具體內容處點擊查找，可以定位到需要查找的內容的源碼。
注意：代碼顯示的方式與瀏覽器有關，有些瀏覽器不支持顯示源代碼功能（360瀏覽器，谷歌瀏覽器，火狐瀏覽器等是支持顯示源代碼功能）
步驟圖：
1)首頁，獲取A~Z的頁面鏈接
2)名字鏈接頁，獲取每個字母中的名字鏈接（存在翻頁情況）
3)名字內容頁，獲取每個名字的評論信息
2、編寫測試代碼
1)獲取A~Z鏈接，在爬取網頁信息時，為了減少網頁的響應時間，可以根據已知的信息，自動生成對應的鏈接，這里采取自動生成A~Z之間的連接，以pandas的二維數組形式存儲
1 def get_url1(): 2 urls=[] 3 # A,'B','C','D','E','F','G','H','I','J','K','L','M','N','O','P','Q','R','S','T','U','V','W','X','Y','Z' 4 a=['A','B','C','D','E','F','G','H','I','J','K','L','M','N','O','P','Q','R','S','T','U','V','W','X','Y','Z']
#自動生成A~Z的鏈接 5 for i in a: 6 urls.append("https://nameberry.com/search/baby_names_starting_with/%s" %i) 7 dp=pd.DataFrame(urls) 8 dp.to_csv("A~Z_Link1.csv",mode="a",encoding='utf_8_sig')
#循環用於在每個字母鏈接下，調用爬取名字鏈接的頁面的函數，即函數嵌套 9 for j in urls: 10 get_pages_Html(j) 11 return urls
2)獲取名字鏈接，根據網頁源碼分析出包含名字鏈接的標簽，編寫代碼，名字鏈接用直接存儲的方式存儲，方便讀取名字鏈接進行對名字的評論內容的獲取
1 #獲取頁數 2 def get_pages_Html(url1): 3 req = requests.get(url1) 4 soup=BeautifulSoup(req.text) 5 #異常處理，為解決頁面不存在多頁的問題，使用re正則表達式獲取頁面數 6 try: 7 lastpage = soup.find(class_="last").find("a")['href'] 8 str1='{}'.format(lastpage) 9 b=re.findall('\\d+', str1 ) 10 for page in b: 11 num=page 12 except: 13 num=1 14 get_pages(num,url1) 15 return num 16 17 def get_pages(n,url): 18 pages=[] 19 for k in range(1,int(n)+1): 20 pages.append("{}?page={}".format(url,k)) 21 dp=pd.DataFrame(pages) 22 dp.to_csv("NUM_pages_1.csv",mode="a",encoding='utf_8_sig') 23 #函數調用 24 for l in pages: 25 parse_HTML2(l) 26 return pages 27 28 29 # 名字的鏈接，根據網頁源碼的標簽，確定名字鏈接的位置 30 def parse_HTML2(url2): 31 try: 32 req = requests.get(url2) 33 req.encoding = req.apparent_encoding 34 soup = BeautifulSoup(req.text) 35 except: 36 dp=pd.DataFrame(url2) 37 dp.to_csv("Error_pages_1.csv",mode="a",encoding='utf_8_sig') 38 name_data_l=[] 39 error=[] 40 li_list = soup.find_all('li',class_="Listing-name pt-15 pb-15 bdb-gray-light w-100pct flex border-highlight") 41 try: 42 for li in li_list: 43 nameList=li.find('a',class_='flex-1')['href'] 44 name_data_l.append('https://nameberry.com/'+nameList) 45 time.sleep(1) 46 cun(name_data_l,'Name_List_1') 47 except: 48 dp=pd.DataFrame(name_data_l) 49 dp.to_csv("Error_Name_List_1.csv",mode="a",encoding='utf_8_sig') 50 # cun(url2,'Error_link_Q') 51 # dp=pd.DataFrame(name_data_l) 52 # dp.to_csv("Name_List.csv",mode="a",encoding='utf_8_sig') 53 # for i in name_data_l: 54 # parse_HTML3(i) 55 return name_data_l 56
3)獲取名字評論的內容，采用字典形式寫入文件
1 # 名字里的內容 2 def parse_HTML3(url3): 3 count=0 4 req = requests.get(url3) 5 req.encoding = req.apparent_encoding 6 soup = BeautifulSoup(req.text) 7 error=[] 8 try: 9 Name=soup.find('h1',class_='first-header').find("a").get_text().replace(",","").replace("\n","") 10 except: 11 error.append(url3) 12 cun(error,"Error_Link_Comment") 13 li_list = soup.find_all('div',class_="comment") 14 for li in li_list: 15 Title=li.find("h4").get_text().replace(",","").replace("\n","") 16 Time=li.find("p",class_='meta').get_text().replace(",","").replace("\n","") 17 Comments=li.find("div",class_='comment-text').get_text().replace(",","").replace("\n","") 18 dic2={ 19 "Name":Name, 20 "Title":Title, 21 "Time":Time, 22 "Comments":Comments 23 } 24 time.sleep(1) 25 count=count+1 26 save_to_csv(dic2,"Name_data_comment") 27 print(count) 28 return 1
3、測試代碼
1)代碼編寫完成后，具體的函數調用邏輯，獲取鏈接時，為直接的函數嵌套，獲取內容時，為從文件中讀取出名字鏈接，在獲取名字的評論內容。避免因為逐層訪問，造成訪問網頁超時，出現異常。
如圖：
2)測試結果
4、小結
在爬取網頁內容時，要先分析網頁源碼，再進行編碼和調試，遵從爬蟲協議（嚴重者會被封號），在爬取的數據量非常大時，可以設置順序部分請求（一部分的進行爬取網頁內容）。
總之，爬蟲有風險，測試需謹慎！！！