使用Fiddler抓包工具找到在豆瓣網的cookie。 把cookie鍵值對（一個）寫在headers 發起請求 self.headers = { "User-Agent": "Mozihttps://accounts.douban.com/j ...

前面（1）（2）的內容已經足夠爬蟲如鏈家網之類的不需要登錄可以直接獲取數據的網站。 而要爬取社交網站比較鮮明的特點就是需要登錄，否則很多東西都無法獲取。經過測試發現，微博，知乎都不是很好登錄，知乎有時候的驗證碼會類似12306那樣，而微博除了驗證碼，在傳遞參數的時候會對用戶名進行base64加密 ...

前言： 什么是cookie? Cookie，指某些網站為了辨別用戶身份、進行session跟蹤而儲存在用戶本地終端上的數據（通常經過加密）。 比如說有些網站需要登錄后才能訪問某個頁面，在登錄之前，你想抓取某個頁面內容是不允許的。那么我們可以利用Urllib庫保存我們登錄的Cookie，然后再 ...

...

注意: 1、cookie通過發送請求后，在抓包工具中獲得，比如fiddler或者charles 2、這里的cookie並非發送登錄請求時的cookie，而是你要通過登錄后訪問的那個頁面請求的cookie 3、不一定所有的網站都能通過cookie的方式實現登錄，比如那些大型 ...

...

1.首先在瀏覽器中進入WAP版微博的網址，因為手機版微博的內容較為簡潔，方便后續使用正則表達式或者beautifulSoup等工具對所需要內容進行過濾 https://login.weibo.cn/login/ 2.人工輸入賬號、密碼、驗證字符，最后最重要的是勾選（記住登錄 ...

https://movie.douban.com/ 直奔主題，給個要爬取的豆瓣電影地址，爬取熱門電影名字。 右鍵選擇查看網頁源碼，我們可以發現在網頁靜態源碼里，是找不到‘來電狂想’這些關鍵字的。 通過檢查網頁，查看network下的XHR，我們可以找到對應的信息。說明我們想要爬 ...