碼上歡樂
相關內容    簡體    繁體

python我的一個爬蟲和測試

本文轉載自   查看原文   2020-05-14 10:30   981 

一、

使用request庫的get()函數訪問360搜索網頁20次並且打印返回狀態，text內容,計算text()屬性和content()屬性所返回網頁內容的長度。

對360搜索主頁進行爬蟲：

利用request庫的get函數訪問google 20次，輸入代碼為：

import requests
wan="https://www.so.com/"
def pac(wan):
    print("第",i+1,"次訪問")
    r=requests.get(wan,timeout=30)
    r.raise_for_status()
    print("text編碼方式為",r.encoding)
    print("網絡狀態碼為:",r.status_code)
    print("text屬性:",r.text)
    print("content屬性:",r.content)
    return r.text
for i in range(20):
    print(pac(wan))

由於結果太長，這里將代碼改為打印text屬性和content屬性的長度后展示最后一次訪問的結果，代碼改動：

print("text屬性長度:",len(r.text))
print("content屬性長度:",len(r.content))
第 20 次訪問
text編碼方式為 ISO-8859-1
網絡狀態碼為: 200
text屬性長度: 5294
content屬性長度: 5294
<!DOCTYPE html><!--[if lt IE 7 ]><html class="ie6"><![endif]--><!--[if IE 7 ]><html class="ie7"><![endif]--><!--[if IE 8 ]><html class="ie8"><![endif]--><!--[if IE 9 ]><html class="ie9"><![endif]--><!--[if (gt IE 9)|!(IE)]><!--><html class="w3c"><!--<![endif]--><head><meta charset="utf-8"><title>360搜索</title><link rel="dns-prefetch" href="//s0.qhimg.com"><link rel="dns-prefetch" href="//s1.qhimg.com"><link rel="dns-prefetch" href="//p0.qhimg.com"><link rel="dns-prefetch" href="//p1.qhimg.com">
<meta name="keywords" content="360搜索,360搜索,网页搜索,视频搜索,图片搜索,音乐搜索,新闻搜索,软件搜索,学术搜索">
<meta name="description" content="360搜索是安å
¨ã€ç²¾å‡†ã€å¯ä¿¡èµ–的新一代搜索引擎，依托于360母品牌的安å
¨ä¼˜åŠ¿ï¼Œå
¨é¢æ‹¦æˆªå„类钓鱼欺诈等恶意网站，提供更放心的搜索服务。 360搜索 soé è°±ã€‚">
<style type="text/css">html,body{height:100%}html,body,form,input,span,p,img,ul,ol,li,dl,dt,dd{margin:0;padding:0;border:0}ul,ol{list-style:none}body{background:#fff;font:12px/1.5 arial,sans-serif;text-align:center}a{text-decoration:none}a:hover{text-decoration:underline}.page-wrap{position:relative;min-height:100%;_height:100%}#main{width:700px;margin:0 auto;padding:100px 0}#logo{margin:0 auto 55px;position:relative;left:-10px}#logo div{width:203px;height:72px;background-image:url(http://p0.qhimg.com/t01cbf97e6893738583.png);background-image:-webkit-image-set(url(http://p1.qhimg.com/t01cbf97e6893738583.png) 1x,url(http://p0.qhimg.com/t015dc0adab50c8e912.png) 2x);margin:0 auto}#so-nav-tabs{font-size:14px;text-align:left;padding-left:75px;position:relative;z-index:999}#so-nav-tabs a,#so-nav-tabs strong{height:31px;line-height:31px;display:inline-block;margin-right:18px;*margin-right:15px;color:#666}#so-nav-tabs a:hover{color:#3eaf0e;text-decoration:none}#so-nav-tabs strong{color:#3eaf0e}#search-box{padding-left:40px;text-align:left}#input-container{width:500px;height:36px;display:inline-block;border:1px solid #bbb;box-shadow:0 2px 1px #f0f0f0;position:relative;z-index:1}#suggest-align{height:32px;position:relative}#input{width:485px;height:22px;margin:7px 0 5px 8px;outline:0;background:#fff;font-size:16px;line-height:22px;vertical-align:top}#search-button{width:100px;height:38px;_height:40px;display:inline-block;margin-left:5px;outline:0;border:1px solid #3eaf0e;*border:0;box-shadow:0 1px 1px rgba(0,0,0,0.2);-webkit-box-shadow:0 1px 1px rgba(0,0,0,0.2);-moz-box-shadow:0 1px 1px rgba(0,0,0,0.2);background:url(http://p1.qhimg.com/d/_onebox/btn-98-114.png) no-repeat #3eaf0e;color:#fff;font:bold 16px arial,sans-serif;vertical-align:top;cursor:pointer}#search-button.hover{border:1px solid #4bbe11;*border:0;background-position:0 -38px}#search-button.mousedown{border:1px solid #4bbe11;*border:0;background-position:0 -76px}#footer{width:100%;height:36px;line-height:36px;text-align:left;color:#eaeaea;position:absolute;left:0;bottom:0}#footer p{margin:0 20px}#footer a{color:#959595;margin:0 5px 0 3px}#footer span{float:right;font-style:normal;color:#959595}</style>
</head>
<body>
<div class="page-wrap">
    <div id="main">
        <div id="logo"><div></div></div>
        <div id="so-nav-tabs">
            <a href="http://sh.qihoo.com/?src=tab_web">新闻</a>
            <strong>网页</strong>
            <a href="http://wenda.so.com/?src=tab_web">问答</a>
            <a href="http://video.so.com/?src=tab_web">视频</a>
            <a href="http://image.so.com/?src=tab_web">图片</a>
            <a href="http://music.so.com/?src=tab_web">音乐</a>
            <a href="http://map.so.com/?src=tab_web">地图</a>
            <a href="http://baike.so.com/?src=tab_web">百科</a>
            <a href="http://ly.so.com/?src=tab_web">良医</a>
        </div>
        <div id="search-box">
            <form action="/s">
                <span id="input-container">
                    <input type="hidden" name="ie" value="utf-8">
                    <input type="hidden" name="shb" value="1">
                    <input type="hidden" name="src" id="from" value="noscript_home">                    
                    <div id="suggest-align">
                        <input type="text" name="q" id="input"  suggestWidth="501px" autocomplete="off" x-webkit-speech><cite id="suggest-tp"></cite>
                    </div>
                    <div id="sug-arrow"><span id="sug-new"></span></div>
                </span><input type="submit" id="search-button" value="搜一下">
            </form>
        </div>
    </div>
    <div id="footer">
        <p>
            <span>Copyright&nbsp;&copy;&nbsp;360.CN&nbsp;&nbsp;京ICP备08010314号-19&nbsp;&nbsp;京å
¬ç½‘安备110000000006号</span>
            <a href="http://info.so.com/feedback.html">意见反馈</a>|
            <a href="http://zhanzhang.so.com">站长平台</a>|
            <a href="http://info.so.com/about.html">å
³äºŽæˆ‘们</a>|
            <a href="http://www.so.com/help/help_1_1.html">使用帮助</a>|
            <a href="http://www.so.com/help/help_iduty.html">使用前å¿
读</a>|
            <a href="http://e.360.cn?src=srp">推广合作</a>
        </p>
    </div>
</div>
<img src="//s.qhupdate.com/so/click.gif?pro=so&pid=home&mod=noscriptpage" style="display:none">
</body>
</html>
 

二、

這是一個簡單的html頁面，請保持為字符串，完成后面的計算要求。

a.打印head標簽內容和你的學號后兩位

b 獲取body標簽內容

c 獲取id為first的標簽對象

d 獲取並打印html頁面中的中文字符

html為:

 1 <!DOCTYPE html>
 2 
 3 <html>
 4 
 5 <head>
 6 
 7 <meta charset="utf-8">
 8 
 9 <title>菜鳥教程（runoob.com)</title>
10 
11 </head>
12 
13 <body>
14 
15          <hl>我的第一個標題學號25</hl>
16 
17          <p id="first">我的第一個段落。</p>
18 
19 </body>
20 
21                   <table border="1">
22 
23           <tr>
24 
25                   <td>row 1, cell 1</td>
26 
27                   <td>row 1, cell 2</td>
28 
29          </tr>
30 
31          <tr>
32 
33                   <td>row 2, cell 1</td>
34 
35                   <td>row 2, cell 2</td>
36 
37          <tr>
38 
39 </table>
40 
41 </html>

菜鳥教程運行結果：

 

相關計算代碼：

from bs4 import BeautifulSoup
import re
soup=BeautifulSoup('''<!DOCTYPE html>
                   <html1>
                   <head>
                   <meta charset="utf-8">
                   <title>菜鳥教程(runoob.com)</title>
                   </head>
                   <body>
                       <hl>我的第一標題</hl>
                       <p id="first">我的第一個段落。</p>
                   </body>
                           <table border="1">
                       <tr>
                           <td>row 1, cell 1</td>
                           <td>row 1, cell 2</td>
                       </tr>
                       <tr>
                           <td>row 2, cell 1</td>
                           <td>row 2, cell 2</td>
                       <tr>
                   </table>
                   </html>''')
print("打印head標簽和我的學號")
print(soup.head,"我的學號：07") 
print("獲取body標簽內容",soup.body) 
print("獲取id為first的標簽對象",soup.find_all(id="first")) 
st=soup.text
pp = re.findall(u'[\u1100-\uFFFDh]+?',st)
print("獲取並打印html頁面中的中文字符")
print(pp)

 

運行結果：

 

三、爬中國大學排名網站內容（http://www.zuihaodaxue.cn/zuihaodaxuepaiming2018.html）

把爬取的數據，存為csv文件。

代碼：

import csv
import os
import requests
from bs4 import BeautifulSoup
allUniv = []
def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding ='utf-8'
        return r.text
    except:
        return ""
def fillUnivList(soup):
    data = soup.find_all('tr')
    for tr in data:
        ltd = tr.find_all('td')
        if len(ltd)==0:
            continue
        singleUniv = []
        for td in ltd:
            singleUniv.append(td.string)
        allUniv.append(singleUniv)
def writercsv(save_road,num,title):
    if os.path.isfile(save_road):
        with open(save_road,'a',newline='')as f:
            csv_write=csv.writer(f,dialect='excel')
            for i in range(num):
                u=allUniv[i]
                csv_write.writerow(u)
    else:
        with open(save_road,'w',newline='')as f:
            csv_write=csv.writer(f,dialect='excel')
            csv_write.writerow(title)
            for i in range(num):
                u=allUniv[i]
                csv_write.writerow(u)
title=["排名","學校名稱","省市","總分","生源質量","培養結果","科研規模",
       "科研質量","頂尖成果","頂尖人才","科技服務","產學研究合作","成果轉化","學生國際化"]
save_road="D:\\pm.csv"
def main():
    url = 'http://www.zuihaodaxue.com/zuihaodaxuepaiming2018.html'
    html = getHTMLText(url)
    soup = BeautifulSoup(html, "html.parser")
    fillUnivList(soup)
    writercsv(save_road,20,title)
main()
結果：

 


免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。



猜您在找 非常適合新手的一個Python爬蟲項目: 打造一個英文詞匯量測試腳本! Python網絡爬蟲 - 一個簡單的爬蟲例子 python爬蟲 一個security的RSA加密爬蟲 python爬蟲（二）——第一個爬蟲程序 python爬蟲__第一個爬蟲程序 $python爬蟲系列（1）——一個簡單的爬蟲實例 一個簡單的python爬蟲程序 用Python寫一個小爬蟲吧！ 一個python爬蟲小程序 Python之小測試：用正則表達式寫一個小爬蟲用於保存貼吧里的所有圖片
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM