舊版Python中urllib模塊內有一個urlopen方法可打開網頁,但新版python中沒有了,新版的urllib模塊里面只有4個子模塊(error,request,response,parse),urlopen方法位於request子模塊下。
urllib提供的功能就是利用程序去執行各種HTTP請求。如果要模擬瀏覽器完成特定功能,需要把請求偽裝成瀏覽器。偽裝的方法是先監控瀏覽器發出的請求,再根據瀏覽器的請求頭來偽裝,User-Agent頭就是用來標識瀏覽器的。
1 # -*- coding: utf-8 -*- 2 from urllib import request 3 url = "http://www.cnblogs.com/sangern/p/7766247.html" #網頁地址 4 wp = request.urlopen(url) #打開連接 5 content = wp.read() #獲取頁面內容 6 fp = open("test.htm","w+b") #打開一個文本文件 7 fp.write(content) #寫入數據 8 fp.close() #關閉文件