最近痴迷於Python的邏輯控制,還有爬蟲的一方面,原本的目標是拷貝老師上課時U盤的數據。后來發現基礎知識掌握的並不是很牢固。便去借了一本Python基礎和兩本爬蟲框架的書。便開始了自己的入坑之旅
言歸正傳
前期准備
Import requests;我們需要引入這個包。但是有些用戶環境並不具備這個包,那么我們就會在引入的時候報錯
這個樣子相信大家都不願意看到那么便出現了一下解決方案
我們需要打開Cmd 然后進入到我們安裝Python的Scripts目錄下輸入指令
pip install requests
當然還會出現下面的情況
又是一個報錯是不是很煩 那么我們按它的提示升級一下組件 輸入命令
python -m pip install --upgrade pip
安裝成功后我們便可以正常的導入 requests
那么我們是不是就可以做一下什么了?比如說爬取一個網站的所有信息爬取下來?
import requests;
//導入我們需要的庫
def GetName(url):
//定義一個函數並且傳入參數Url
resp=requests.get(url);
//獲取網頁上的所有信息
//以文本的模型返回
return resp.text;
//定義一個字符串也就是我們要爬取的地址
url="https:xxxxxxxxxx";
//函數方法
def xieru():
//打開一個文本,以寫入的方式寫入二級制文本
fi=open('E://1.txt',"wb+");
//接受
con = GetName(url);
//返還的文本轉換編碼格式
ss=con.encode('utf-8')
//寫入打開的文本中
fi.write(ss);
return 0;
xieru();
哈哈 上面的網址就打碼了哦,大家自己腦補。
這是我爬取的內容