什么是爬蟲
網絡爬蟲（又稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。（來自百度百科）
為什么要學爬蟲
如今，大數據時代，很多公司都在進行着與人工智能和大數據相關的業務，大數據給人工智能提供數據基礎，而數據從何而來，我們隨手可得的當然是從網絡中而來，因此學習爬蟲的目的就是為了批量獲取數據，進而通過各種手段來對數據進行分析，來服務於人工智能等各種技術，這是對爬蟲最好的解釋。
爬蟲的分類和流程
網絡爬蟲按照系統結構和實現技術，大致可以分為以下幾種類型：通用網絡爬蟲（General Purpose Web Crawler）、聚焦網絡爬蟲（Focused Web Crawler）、增量式網絡爬蟲（Incremental Web Crawler）、深層網絡爬蟲（Deep Web Crawler）。 實際的網絡爬蟲系統通常是幾種爬蟲技術相結合實現的
通用網絡爬蟲：通用網絡爬蟲又稱全網爬蟲（Scalable Web Crawler），爬行對象從一些種子 URL 擴充到整個 Web，主要為門戶站點搜索引擎和大型 Web 服務提供商采集數據。
聚焦網絡爬蟲：聚焦網絡爬蟲（Focused Crawler），又稱主題網絡爬蟲（Topical Crawler），是指選擇性地爬行那些與預先定義好的主題相關頁面的網絡爬蟲。 和通用網絡爬蟲相比，聚焦爬蟲只需要爬行與主題相關的頁面，極大地節省了硬件和網絡資源，保存的頁面也由於數量少而更新快，還可以很好地滿足一些特定人群對特定領域信息的需求
增量式網絡爬蟲：增量式網絡爬蟲（Incremental Web Crawler）是 指 對 已 下 載 網 頁 采 取 增 量式更新和只爬行新產生的或者已經發生變化網頁的爬蟲，它能夠在一定程度上保證所爬行的頁面是盡可能新的頁面。
Deep Web 爬蟲：Web 頁面按存在方式可以分為表層網頁（Surface Web）和深層網頁（Deep Web，也稱 Invisible Web Pages 或 Hidden Web）。 表層網頁是指傳統搜索引擎可以索引的頁面，以超鏈接可以到達的靜態網頁為主構成的 Web 頁面。Deep Web 是那些大部分內容不能通過靜態鏈接獲取的、隱藏在搜索表單后的，只有用戶提交一些關鍵詞才能獲得的 Web 頁面。例如那些用戶注冊后內容才可見的網頁就屬於 Deep Web。
HTTP和HTTPS的介紹
HTTP：http是一個簡單的請求-響應協議，它通常運行在TCP之上。它指定了客戶端可能發送給服務器什么樣的消息以及得到什么樣的響應。請求和響應消息的頭以ASCII碼形式給出；而消息內容則具有一個類似MIME的格式。這個簡單模型是早期Web成功的有功之臣，因為它使得開發和部署是那么的直截了當。
HTTPS：HTTPS （全稱：Hyper Text Transfer Protocol over SecureSocket Layer），是以安全為目標的 HTTP 通道，在HTTP的基礎上通過傳輸加密和身份認證保證了傳輸過程的安全性 。HTTPS 在HTTP 的基礎下加入SSL 層，HTTPS 的安全基礎是 SSL，因此加密的詳細內容就需要 SSL。 HTTPS 存在不同於 HTTP 的默認端口及一個加密/身份驗證層（在 HTTP與 TCP 之間）。這個系統提供了身份驗證與加密通訊方法。它被廣泛用於萬維網上安全敏感的通訊，例如交易支付等方面 。
HTTP缺點：HTTP 協議雖然使用極為廣泛, 但是卻存在不小的安全缺陷, 主要是其數據的明文傳送和消息完整性檢測的缺乏。
HTTPS相對於HTTP的改進目標：
HTTPS 協議是由 HTTP 加上 TLS/SSL 協議構建的可進行加密傳輸、身份認證的網絡協議，主要通過數字證書、加密算法、非對稱密鑰等技術完成互聯網數據傳輸加密，實現互聯網傳輸安全保護。設計目標主要有三個。
（1）數據保密性：保證數據內容在傳輸的過程中不會被第三方查看。就像快遞員傳遞包裹一樣，都進行了封裝，別人無法獲知里面裝了什么 。
（2）數據完整性：及時發現被第三方篡改的傳輸內容。就像快遞員雖然不知道包裹里裝了什么東西，但他有可能中途掉包，數據完整性就是指如果被掉包，我們能輕松發現並拒收 。
（3）身份校驗安全性：保證數據到達用戶期望的目的地。就像我們郵寄包裹時，雖然是一個封裝好的未掉包的包裹，但必須確定這個包裹不會送錯地方，通過身份校驗來確保送對了地方 。
爬蟲的用途
搶票、投票、搶課、爬妹子圖片（手動滑稽）、下載小說……
看到這里ヽ(￣▽￣)ﾉ
————————————————————————————
其實作者是奔着爬妹子圖去學的爬蟲，后來爬下來了，但是還是不滿足，於是就把目標投向了這個(*￣︶￣)
后來就走上了一條爬蟲的不歸路，至於用什么語言爬蟲，，當然是我大python了
至於我寫博客的水平，實在是太垃圾了
在此勞煩大佬們多多指正
以后堅持寫博客，來記錄我的學習歷程，奧利給！！！
