爬蟲實例(一)：模擬登錄CSDN

1.采用python模擬登錄CSDN的時候分為三步走：

1.獲取url=https://passport.csdn.net/account/login；

2.分析登錄信息：從網頁中得到username,password和hideen標簽隱藏的屬性，在CSDN中有三個隱藏標簽，lt，execution,_eventId  //注意這三個標簽是動態的比能夠寫死

3.POST數據分析：

1.構造屬於hearder,同時大部分網站登錄需要cookie，必須設置cookie處理器暴走cookie，使用Session模塊會自動將cookies保存，會自動將數據保存,Session能夠自動保持其中會話過程（學習Java中網絡編程），在登錄CSDN過程中有Js編寫出來的jsessionid動態的網頁密碼，在訪問過程中要將其加入到URL+‘;’+'jsessionid'形式。

但是此爬蟲過程中沒有圖片或者驗證碼之類的東西，還需要深入研究。。。。下節再看

#----coding-GBK----

import requests
from lxml import html
import re

Username="XXXXXX"
PassWord="XXXXXXX"

url="https://passport.csdn.net/account/login"
def craw_csdn():
    s=requests.Session()
    datas={'username':Username,'password':PassWord}
    head={'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'}
    
    b=s.post(url,data=datas)
    ##print (b.text)
    tree=html.fromstring(b.text)
    lt=list(set(tree.xpath("//input[@name='lt']/@value")))[0]
    
    execution=list(set(tree.xpath("//input[@name='execution']/@value")))[0]
      
    eventid=list(set(tree.xpath("//input[@name='_eventId']/@value")))[0]
    jsessionid=list(set(tree.xpath("//link/@href")))[0]
    jsessionid=str(re.findall('jsessionid=(.*)',jsessionid)[0])
    
    post_url=url+';'+'jsessionid='+jsessionid
    print (post_url)
    payload={
             'username':Username,
             'password':PassWord,
             'lt':lt,
             'execution':execution,
             '_eventId':eventid
             }
    
    agent='Mozilla/5.0 (Windows NT 6.1; WOW64; rv:48.0) Gecko/20100101 Firefox/48.0'
    head={
      'Accept':"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
      'User-Agent':agent,
      'Host':'passport.csdn.net',
      'Referer':'https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn',
      
      }
    r=s.post(post_url,data=payload,headers=head)
    print(r.text)
　　if __name__=="__main__"：
47     craw_csdn()

結果顯示出來登錄的是CSDN中HTML還要web流程中深入挖掘其他的東西：

 

 4.網易雲課堂上第二課爬取到的第二關的代碼：

#--coding:utf-8-----
#!/usr/bin/env python
import requests
from lxml import html 
from _cffi_backend import string

url='http://www.heibanke.com/accounts/login'
logurl='http://www.heibanke.com/lesson/crawler_ex02/'

##采用嘗試方式發送數據得到其中cirf值
def post_data_url(s,url,data):
    b=s.get(url)
    
    tree=html.fromstring(b.text)
    auth_token=list(set(tree.xpath("//input[@name='csrfmiddlewaretoken']/@value")))[0]
    print auth_token
    
    ##使用這句話將cookies保存下來
    params={'csrfmiddlewaretoken':b.cookies.get('csrftoken')}
    params.update(data)##將csrf加入到payload中

    r=s.post(url,data=params)##post向服務器發送的請求
    return r,s

s=requests.Session()
payload={
         'username':'test',
         'password':'test123'
         }
r,s=post_data_url(s,url,payload)

print r.status_code

for i in range(30):
    rr,s=post_data_url(s,logurl,{'username':'heibanke','password':str(i)})
    if rr.text.find(u'錯誤')>0:
        print i,"no correct"
        i+=1
    else:
        print rr.text
        break
    
    

 5.模擬登錄CSDN的時候，采用requests_Session()模塊，采用httpfix抓取：

從其中得到的信息中：post數據包，同時發現post 的url中有一段就jessionId的動態碼，在python書寫過程中必須要將其加入到url中同時得到post數據包提交的方法：

post -Data：

 紅色箭頭表示post的url，發現自動加上jessionid的東西