python2中的urlib和urlib2
1.分分鍾扒一個網頁下來
怎樣扒網頁呢？其實就是根據URL來獲取它的網頁信息，雖然我們在瀏覽器中看到的是一幅幅優美的畫面，但是其實是由瀏覽器解釋才呈現出來的，實質它是一段HTML代碼，加 JS、CSS，如果把網頁比作一個人，那么HTML便是他的骨架，JS便是他的肌肉，CSS便是它的衣服。所以最重要的部分是存在於HTML中的，下面我們就寫個例子來扒一個網頁下來。
import urllib2
response = urllib2.urlopen("http://www.baidu.com")
print response.read()
2.分析扒網頁的方法
那么我們來分析這兩行代碼，第一行
response = urllib2.urlopen("http://www.baidu.com")
首先我們調用的是urllib2庫里面的urlopen方法，傳入一個URL，這個網址是百度首頁，協議是HTTP協議，當然你也可以把HTTP換做FTP,FILE,HTTPS 等等，只是代表了一種訪問控制協議，urlopen一般接受三個參數，它的參數如下：
urlopen（url,data,timeout）
第一個參數url即為URL，第二個參數data是訪問URL時要傳送的數據，第三個timeout是設置超時時間。
第二三個參數是可以不傳送的，data默認為空None，timeout默認為 socket._GLOBAL_DEFAULT_TIMEOUT
第一個參數URL是必須要傳送的，在這個例子里面我們傳送了百度的URL，執行urlopen方法之后，返回一個response對象，返回信息便保存在這里面。
3.構造Request
其實上面的urlopen參數可以傳入一個request請求,它其實就是一個Request類的實例，構造時需要傳入Url,Data等等的內容。比如上面的兩行代碼，我們可以這么改寫
import urllib2
request = urllib2.Request("http://www.baidu.com")
response = urllib2.urlopen(request)
print response.read()
運行結果是完全一樣的，只不過中間多了一個request對象，推薦大家這么寫，因為在構建請求時還需要加入好多內容，通過構建一個request，服務器響應請求得到應答，這樣顯得邏輯上清晰明確。
4.POST和GET數據傳送
上面的程序演示了最基本的網頁抓取，不過，現在大多數網站都是動態網頁，需要你動態地傳遞參數給它，它做出對應的響應。所以，在訪問時，我們需要傳遞數據給它。最常見的情況是什么？對了，就是登錄注冊的時候呀。
把數據用戶名和密碼傳送到一個URL，然后你得到服務器處理之后的響應，這個該怎么辦？下面讓我來為小伙伴們揭曉吧！
數據傳送分為POST和GET兩種方式，兩種方式有什么區別呢？
最重要的區別是GET方式是直接以鏈接形式訪問，鏈接中包含了所有的參數，當然如果包含了密碼的話是一種不安全的選擇，不過你可以直觀地看到自己提交了什么內容。POST則不會在網址上顯示所有的參數，不過如果你想直接查看提交了什么就不太方便了，大家可以酌情選擇。
POST方式：
上面我們說了data參數是干嘛的？對了，它就是用在這里的，我們傳送的數據就是這個參數data，下面演示一下POST方式。
import urllib
import urllib2
values = {"username":"1016903103@qq.com","password":"XXXX"}
data = urllib.urlencode(values)
url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
request = urllib2.Request(url,data)
response = urllib2.urlopen(request)
print response.read()
我們引入了urllib庫，現在我們模擬登陸CSDN，當然上述代碼可能登陸不進去，因為CSDN還有個流水號的字段，沒有設置全，比較復雜在這里就不寫上去了，在此只是說明登錄的原理。一般的登錄網站一般是這種寫法。
我們需要定義一個字典，名字為values，參數我設置了username和password，下面利用urllib的urlencode方法將字典編碼，命名為data，構建request時傳入兩個參數，url和data，運行程序，返回的便是POST后呈現的頁面內容。
注意上面字典的定義方式還有一種，下面的寫法是等價的
import urllib
import urllib2
values = {}
values['username'] = "1016903103@qq.com"
values['password'] = "XXXX"
data = urllib.urlencode(values)
url = "http://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
request = urllib2.Request(url,data)
response = urllib2.urlopen(request)
print response.read()
以上方法便實現了POST方式的傳送
GET方式：
至於GET方式我們可以直接把參數寫到網址上面，直接構建一個帶參數的URL出來即可。
import urllib
import urllib2
values={}
values['username'] = "1016903103@qq.com"
values['password']="XXXX"
data = urllib.urlencode(values)
url = "http://passport.csdn.net/account/login"
geturl = url + "?"+data
request = urllib2.Request(geturl)
response = urllib2.urlopen(request)
print response.read()
#讀取內容常見的有三種方式：
① 、file.read()讀取文件的全部內容，並且會把讀取到的內容賦值給一個字符串變量。
② 、file.readlines()讀取文件的全部內部，並且將讀取到的內容賦值給列表變量。
③ 、file.readline()讀取文件的一行內容。
4、 將爬取到的網頁保存到本地
fhandle=open(“D:\\pyton\\菜鳥學數據\\1.html”,“wb”)
fhandle.write(data)
fhandle.close()
你可以print geturl，打印輸出一下url，發現其實就是原來的url加？然后加編碼后的參數
http://passport.csdn.net/account/login?username=1016903103%40qq.com&password=XXXX