python爬取考研專業信息

伴隨着2021考研成績的公布，2021考研國家線也即將到來。大家是否有過考研的想法了？如果想考研我們就需要了解很多的信息，但是百度的上有太多信息需要我們去一一的鑒別，是比較浪費時間的。所以我們可以學習下簡單的數據采集，這樣我們就可以快速的從魚龍混雜的信息中得到有價值的信息。我們也可以通過爬蟲看看研招網有哪些專業，這樣也可以快速的幫助想考研的同學進行專業的選擇。這里分享用Python寫的幾行代碼，很簡單，以下是代碼部分：

   #! -*- encoding:utf-8 -*-  

  import requests

  import random    

# 要訪問的目標頁面  

targetUrl = "https://yz.chsi.com.cn/zsml/code/zy.do"  

  # 要訪問的目標HTTPS頁面  

# targetUrl = "https://httpbin.org/ip"  

 # 代理服務器(產品官網 www.16yun.cn)  

 proxyHost = "t.16yun.cn"  

 proxyPort = "31111"  

 # 代理驗證信息  

proxyUser = "username"  

 proxyPass = "password"  

  proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {    

   "host" : proxyHost,    

   "port" : proxyPort,      

 "user" : proxyUser,    

  "pass" : proxyPass,    }

   # 設置 http和https訪問都是用HTTP代理  

proxies = {      

"http"  : proxyMeta,    

  "https" : proxyMeta,    }  

 #  設置IP切換頭  

tunnel = random.randint(1,10000)  

 headers = {"Proxy-Tunnel": str(tunnel)}  

 resp = requests.get(targetUrl, proxies=proxies, headers=headers)

   print resp.status_code  

print resp.text