寫在前面 從今天開始的幾篇文章，我將就國內目前比較主流的一些在線學習平台數據進行抓取，如果時間充足的情況下，會對他們進行一些簡單的分析，好了，平台大概有51CTO學院，CSDN學院，網易雲課堂，慕課網等平台，數據統一抓取到mongodb里面，如果對上述平台造成了困擾，請見 ...

1. CSDN學院課程數據-寫在前面 今天又要抓取一個網站了，選擇恐懼症使得我不知道該拿誰下手，找來找去，算了，還是抓取CSDN學院吧，CSDN學院的網站為 https://edu.csdn.net/courses 我看了一下這個網址，課程數量也不是很多，大概有 6000+ 門課程，數據量 ...

寫在前面 今天咱們抓取一下網易雲課堂的課程數據，這個網站的數據量並不是很大，我們只需要使用requests就可以快速的抓取到這部分數據了。 你第一步要做的是打開全部課程的地址，找出爬蟲規律， 地址如下： https://study.163.com/courses/ 我簡單的看了一下，頁面 ...

寫在前面 美好的一天又開始了，今天咱繼續爬取IT在線教育類網站，慕課網，這個平台的數據量並不是很多，所以爬取起來還是比較簡單的 准備爬取 打開我們要爬取的頁面，尋找分頁點和查看是否是異步加載的 ...

驗證碼探究 如果你是一個數據挖掘愛好者，那么驗證碼是你避免不過去的一個天坑，和各種驗證碼斗爭，必然是你成長的一條道路，接下來的幾篇文章，我會盡量的找到各種驗證碼，並且去嘗試解決掉它，中間有些技術甚至我都沒有見過，來吧，一起Coding吧 數字+字母的驗證碼 我隨便在百度圖片搜索了一個驗證碼 ...

寫在前面 很高興我這系列的文章寫道第18篇了，今天寫一個爬蟲愛好者特別喜歡的網站煎蛋網http://jandan.net/ooxx，這個網站其實還是有點意思的，網站很多人寫了N多的教程了，各種方式的都有，當然網站本身在爬蟲愛好者的不斷進攻下，也在不斷的完善，反爬措施也很多，今天 ...

1. 高考派大學數據----寫在前面 終於寫到了scrapy爬蟲框架了，這個框架可以說是python爬蟲框架里面出鏡率最高的一個了，我們接下來重點研究一下它的使用規則。 安裝過程自己百度一下，就能找到3種以上的安裝手法，哪一個都可以安裝上 可以參考 https ...

1. B站博人傳評論數據爬取簡介 今天想了半天不知道抓啥，去B站看跳舞的小姐姐，忽然看到了評論，那就抓取一下B站的評論數據，視頻動畫那么多，也不知道抓取哪個，選了一個博人傳跟火影相關的，抓取看看。網址： https://www.bilibili.com/bangumi/media/md5978 ...