一、選題的背景 為什么要選擇此選題？要達到的數據分析的預期目標是什么？（10 分） 為了通過爬取網站獲取的信息來分析現在網絡上社會、經濟、技術等各種信息網站的影響力排行，以此了解人們對哪種信息網站更青睞，訪問的更加頻繁。 二、主題式網絡爬蟲設計方案（10 分） 1.主題式網絡爬蟲名稱 ...

...

一、序言 　　最近看了極客學院的視頻教程，相當不錯，渴望把視頻下載到本地。手動下載耗時耗力，因而決定研究一番，寫一程序自動下載，終於小有成果！有圖為證： 二、技術難點 　　既然要實現自動下載 ...

一：selenium 庫 selenium 每次模擬瀏覽器打開頁面，xpath 匹配需要抓取的內容。可以，但是特別慢，相當慢。作為一個對技術有追求的爬蟲菜雞，狂補了一些爬蟲知識。甚至看了 scrapy 框架，驚呆了，真棒！ 網上很多關於 selenium 庫的詳細介紹，這里略過此方法 ...

寫在前面 今天咱們抓取一下網易雲課堂的課程數據，這個網站的數據量並不是很大，我們只需要使用requests就可以快速的抓取到這部分數據了。 你第一步要做的是打開全部課程的地址，找出爬蟲規律， 地址如下： https://study.163.com/courses/ 我簡單的看了一下，頁面 ...

　　　　關於爬蟲，開始以為只能爬取網頁數據，后來知道APP也能抓取。於是，在學校利用空閑時間，耗時兩周實現了數據的抓取和簡單的數據分析。 　　　　目標，抓取超級課程表XX大學（其實是我們大學啦。。。）學生20000條發帖信息。思路如下： 　　　　STEP1:為我們的爬蟲找到入口 ...

　　　　上一篇已經將數據抓到手了，那么來分析一下吧。這里是用python簡單處理數據，之后用EXCEL 作圖，沒錯，，，還是EXCEL。其實分析這些數據有更好的工具，比如R。。。不過目前不會啊，就先E ...

　　　　仔細看的話，會發現之前的詞頻分析並沒有什么卵用。。。文本分析真正的大哥是NLP，不過，這個坑太大，小白不大敢跳。。。不過還是忍不住在坑邊上往下瞅瞅2333. 言歸正傳，今天剛了解到boson ...