中国大学排名（定向爬虫）实例
获取中国大学排名的爬虫实例，采用了requests和BeautifulSoup4函数库
中国大学排名网址：http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html
功能描述：
输入：大学排名URL连接
输出：大学排名信息的屏幕输出（排名，大学名称，总分）
技术路线：requests和bs4
定向爬虫：仅对输入URL进行爬取，不扩展爬取
robots协议：
定向爬虫网址是否提供robots协议的约定，由于我们只访问了这个网站的一个链接，可以手动查看。
输入：http://www.zuihaodaxue.cn/robots.txt
发现网页不存在（如下图）
说明这个网站并没有通过robots协议对爬虫进行相应的限制，因此我们对大学排名的爬取是可以实现的。
程序结构设计：
步骤1：从网络上获取大学排名网页内容：def getHTMLText(url)
步骤2：提取网页内容中信息到合适的数据结构：def fillUnivList(ulist, html)
步骤3：利用数据结构展示并输出结果：def printUnivList(ulist, num)
完整代码：
1 #CrawUnivRankingB.py
2 import requests 3 from bs4 import BeautifulSoup 4 import bs4 5
6 # 将网页中的信息爬去出来并返回，，从网络中获取大学排名网页内容
7 def getHTMLText(url): 8 try: 9 r = requests.get(url, timeout=30) 10 r.raise_for_status()#异常信息
11 r.encoding = r.apparent_encoding 12 return r.text 13 except: 14 return ""
15
16 # 提取html内容中信息到合适的数据结构中
17 def fillUnivList(ulist, html): 18 soup = BeautifulSoup(html, "html.parser") 19 for tr in soup.find('tbody').children: 20 # 检测tr标签的类型，如果tr标签的类型不是bs4类型
21 if isinstance(tr, bs4.element.Tag): 22 tds = tr('td') 23 ulist.append([tds[0].string, tds[1].string, tds[3].string]) 24
25 # 利用数据结构展示并输出结果
26 def printUnivList(ulist, num): 27 tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
28 print(tplt.format("排名","学校名称","总分",chr(12288))) 29 for i in range(num): 30 u=ulist[i] 31 print(tplt.format(u[0],u[1],u[2],chr(12288))) 32
33 def main(): 34 uinfo = [] 35 url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html'
36 html = getHTMLText(url) 37 fillUnivList(uinfo, html) 38 printUnivList(uinfo, 20) #20个学校信息
39 main()