仔细看的话,会发现之前的词频分析并没有什么卵用。。。文本分析真正的大哥是NLP,不过,这个坑太大,小白不大敢跳。。。不过还是忍不住在坑边上往下瞅瞅2333. 言归正传,今天刚了解到boson公司有python关于自然语言处理的API,于是试着用了一下,官方文档很不错,简单明了。首先是 ...
上一篇已经将数据抓到手了,那么来分析一下吧。这里是用python简单处理数据,之后用EXCEL 作图,没错,,,还是EXCEL。其实分析这些数据有更好的工具,比如R。。。不过目前不会啊,就先EXCEL凑活着用吧。 这里一共分析了三个方面:TOP word 时间与发帖量的关系,日期与发帖量的关系。 PROJECT :TOP WORD 注意这里的top words.txt是我用xlrd取出文字后保存 ...
2016-07-28 13:29 0 1674 推荐指数:
仔细看的话,会发现之前的词频分析并没有什么卵用。。。文本分析真正的大哥是NLP,不过,这个坑太大,小白不大敢跳。。。不过还是忍不住在坑边上往下瞅瞅2333. 言归正传,今天刚了解到boson公司有python关于自然语言处理的API,于是试着用了一下,官方文档很不错,简单明了。首先是 ...
关于爬虫,开始以为只能爬取网页数据,后来知道APP也能抓取。于是,在学校利用空闲时间,耗时两周实现了数据的抓取和简单的数据分析。 目标,抓取超级课程表XX大学(其实是我们大学啦。。。)学生20000条发帖信息。思路如下: STEP1:为我们的爬虫找到入口 ...
自学python爬虫也快半年了,在目前看来,我面临着三个待解决的爬虫技术方面的问题:动态加载,多线程并发抓取,模拟登陆。目前正在不断学习相关知识。下面简单写一下用selenium处理动态加载页面相关的知识。目标——抓取页面所有的高考录取分数信息。 对于动态加载,开始的时候是看到 ...
本人呢,算是学统计的,就想着爬一下智联的统计岗位信息,嗯,岗位很强势。。。 这里用了requests,bs4进行抓取与解析,数据存入mysql数据库。代码比较乱,先凑和着看,有时间再整理吧。。。 import requests from bs4 import ...
还是上次的那个网站,就是它.现在尝试用另一种办法——直接请求json文件,来获取要抓取的信息。 第一步,检查元素,看图如下: 过滤出JS文件,并找出包含要抓取信息的js ...
课程作业需要实现一个课程表,我负责完成学校的教务系统中课程表的导入工作。 需要解决两个问题,第一个是教务系统访问课程表所在url时,会被告知需要先加载某框架,这让我很困扰,不知道如何用urlopen去解决这个问题;第二个问题是,不同的课程对应的课时是不一样的,意味着显示的时候rowspan值 ...
Java爬虫爬取旧版正方教务系统课程表、成绩表 一、项目展示 1.正方教务系统 首页 2.爬虫系统 首页: 成绩查询: 课表查询: 二、项目实现 1.爬取思路描述 无论是成绩查询或课表查询亦或者其它的信息查询 ...
离开公司已经十天,前段时间一直忙于准备考试,如今剩下最后一科,暂时缓一缓,写一下实习总结。 超级课程表,相信90后的大学生都听说过这个应用,这是一个十分优秀的应用,如果说全国每三位大学生就有一位在用超级课程表真的不过分,事实确实如此,产品和推广运营都做得十分到位。同时,在公司实习的一个月 ...