Python3讀取網頁HTML代碼,並保存在本地文件中


舊版Python中urllib模塊內有一個urlopen方法可打開網頁,但新版python中沒有了,新版的urllib模塊里面只有4個子模塊(error,request,response,parse),urlopen方法位於request子模塊下。

urllib提供的功能就是利用程序去執行各種HTTP請求。如果要模擬瀏覽器完成特定功能,需要把請求偽裝成瀏覽器。偽裝的方法是先監控瀏覽器發出的請求,再根據瀏覽器的請求頭來偽裝,User-Agent頭就是用來標識瀏覽器的。

1 # -*- coding: utf-8 -*-
2 from urllib import request
3 url = "http://www.cnblogs.com/sangern/p/7766247.html" #網頁地址
4 wp = request.urlopen(url) #打開連接
5 content = wp.read() #獲取頁面內容
6 fp = open("test.htm","w+b") #打開一個文本文件
7 fp.write(content) #寫入數據
8 fp.close() #關閉文件

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM