使用Python3 urllib.request中的Requests()和urlopen()方法获取页面源码，并用re正则进行正则匹配查找需要的数据。 运行：python forex.py 输出： Hexun ERUUSD:Cur | Open ...

　　　　自学python爬虫也快半年了,在目前看来，我面临着三个待解决的爬虫技术方面的问题：动态加载，多线程并发抓取，模拟登陆。目前正在不断学习相关知识。下面简单写一下用selenium处理动态加载页面相关的知识。目标——抓取页面所有的高考录取分数信息。 　　　　对于动态加载，开始的时候是看到 ...

前言：上周使用motan是通过group远程调用超级土豆的服务，但是因为我需要写一些服务，不得不在本地启动服务，于是就详细的自己配置了一次motan。 上一篇博客也说到了，motan主要有3部分组成 ...

　　　　关于爬虫，开始以为只能爬取网页数据，后来知道APP也能抓取。于是，在学校利用空闲时间，耗时两周实现了数据的抓取和简单的数据分析。 　　　　目标，抓取超级课程表XX大学（其实是我们大学啦。。。）学生20000条发帖信息。思路如下： 　　　　STEP1:为我们的爬虫找到入口 ...

　　　　上一篇已经将数据抓到手了，那么来分析一下吧。这里是用python简单处理数据，之后用EXCEL 作图，没错，，，还是EXCEL。其实分析这些数据有更好的工具，比如R。。。不过目前不会啊，就先EXCEL凑活着用吧。 　　　　这里一共分析了三个方面：TOP10 word；时间与发帖量的关系 ...

　　　　仔细看的话，会发现之前的词频分析并没有什么卵用。。。文本分析真正的大哥是NLP，不过，这个坑太大，小白不大敢跳。。。不过还是忍不住在坑边上往下瞅瞅2333. 言归正传，今天刚了解到boson公司有python关于自然语言处理的API，于是试着用了一下，官方文档很不错，简单明了。首先是 ...

　　本人呢，算是学统计的，就想着爬一下智联的统计岗位信息，嗯，岗位很强势。。。 　　这里用了requests,bs4进行抓取与解析，数据存入mysql数据库。代码比较乱，先凑和着看，有时间再整理吧。。。 import requests from bs4 import ...

　　　　还是上次的那个网站，就是它.现在尝试用另一种办法——直接请求json文件，来获取要抓取的信息。 　　　　第一步，检查元素，看图如下： 　　　　过滤出JS文件，并找出包含要抓取信息的js ...