一、选题的背景 为什么要选择此选题？要达到的数据分析的预期目标是什么？（10 分） 为了通过爬取网站获取的信息来分析现在网络上社会、经济、技术等各种信息网站的影响力排行，以此了解人们对哪种信息网站更青睐，访问的更加频繁。 二、主题式网络爬虫设计方案（10 分） 1.主题式网络爬虫名称 ...

...

一、序言 　　最近看了极客学院的视频教程，相当不错，渴望把视频下载到本地。手动下载耗时耗力，因而决定研究一番，写一程序自动下载，终于小有成果！有图为证： 二、技术难点 　　既然要实现自动下载 ...

一：selenium 库 selenium 每次模拟浏览器打开页面，xpath 匹配需要抓取的内容。可以，但是特别慢，相当慢。作为一个对技术有追求的爬虫菜鸡，狂补了一些爬虫知识。甚至看了 scrapy 框架，惊呆了，真棒！ 网上很多关于 selenium 库的详细介绍，这里略过此方法 ...

写在前面 今天咱们抓取一下网易云课堂的课程数据，这个网站的数据量并不是很大，我们只需要使用requests就可以快速的抓取到这部分数据了。 你第一步要做的是打开全部课程的地址，找出爬虫规律， 地址如下： https://study.163.com/courses/ 我简单的看了一下，页面 ...

　　　　关于爬虫，开始以为只能爬取网页数据，后来知道APP也能抓取。于是，在学校利用空闲时间，耗时两周实现了数据的抓取和简单的数据分析。 　　　　目标，抓取超级课程表XX大学（其实是我们大学啦。。。）学生20000条发帖信息。思路如下： 　　　　STEP1:为我们的爬虫找到入口 ...

　　　　上一篇已经将数据抓到手了，那么来分析一下吧。这里是用python简单处理数据，之后用EXCEL 作图，没错，，，还是EXCEL。其实分析这些数据有更好的工具，比如R。。。不过目前不会啊，就先E ...

　　　　仔细看的话，会发现之前的词频分析并没有什么卵用。。。文本分析真正的大哥是NLP，不过，这个坑太大，小白不大敢跳。。。不过还是忍不住在坑边上往下瞅瞅2333. 言归正传，今天刚了解到boson ...