原文:爬蟲再探實戰(五)———爬取APP數據——超級課程表【一】

關於爬蟲,開始以為只能爬取網頁數據,后來知道APP也能抓取。於是,在學校利用空閑時間,耗時兩周實現了數據的抓取和簡單的數據分析。 目標,抓取超級課程表XX大學 其實是我們大學啦。。。 學生 條發帖信息。思路如下: STEP :為我們的爬蟲找到入口 APP請求數據,也是通過網絡協議,這樣,我們就抓包來定位入口,這里我用的是fiddler。關於設置手機和fiddler的關聯,請參考這篇文章。 找到登 ...

2016-07-28 12:57 1 16766 推薦指數:

查看詳情

爬蟲實戰(五)———APP數據——超級課程表【二】——詞頻分析

    上一篇已經將數據抓到手了,那么來分析一下吧。這里是用python簡單處理數據,之后用EXCEL 作圖,沒錯,,,還是EXCEL。其實分析這些數據有更好的工具,比如R。。。不過目前不會啊,就先EXCEL湊活着用吧。     這里一共分析了三個方面:TOP10 word;時間與發帖量的關系 ...

Thu Jul 28 21:29:00 CST 2016 0 1674
爬蟲實戰(三)———動態加載頁面——selenium

    自學python爬蟲也快半年了,在目前看來,我面臨着三個待解決的爬蟲技術方面的問題:動態加載,多線程並發抓取,模擬登陸。目前正在不斷學習相關知識。下面簡單寫一下用selenium處理動態加載頁面相關的知識。目標——抓取頁面所有的高考錄取分數信息。     對於動態加載,開始的時候是看到 ...

Sat Jul 23 07:01:00 CST 2016 6 21358
爬蟲實戰(一)——智聯招聘職位信息

  本人呢,算是學統計的,就想着一下智聯的統計崗位信息,嗯,崗位很強勢。。。   這里用了requests,bs4進行抓取與解析,數據存入mysql數據庫。代碼比較亂,先湊和着看,有時間整理吧。。。 import requests from bs4 import ...

Sun Jul 10 19:00:00 CST 2016 3 5484
爬蟲實戰(四)———動態加載頁面——請求json

    還是上次的那個網站,就是它.現在嘗試用另一種辦法——直接請求json文件,來獲取要抓取的信息。     第一步,檢查元素,看圖如下:     過濾出JS文件,並找出包含要抓取信息的js ...

Sat Jul 23 08:39:00 CST 2016 2 9908
學校教務系統的課程表

課程作業需要實現一個課程表,我負責完成學校的教務系統中課程表的導入工作。 需要解決兩個問題,第一個是教務系統訪問課程表所在url時,會被告知需要先加載某框架,這讓我很困擾,不知道如何用urlopen去解決這個問題;第二個問題是,不同的課程對應的課時是不一樣的,意味着顯示的時候rowspan值 ...

Thu Mar 12 00:15:00 CST 2020 0 889
我在 超級課程表 實習的那個月

離開公司已經十天,前段時間一直忙於准備考試,如今剩下最后一科,暫時緩一緩,寫一下實習總結。 超級課程表,相信90后的大學生都聽說過這個應用,這是一個十分優秀的應用,如果說全國每三位大學生就有一位在用超級課程表真的不過分,事實確實如此,產品和推廣運營都做得十分到位。同時,在公司實習的一個月 ...

Sat Jun 20 06:23:00 CST 2015 6 2220
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM