title: python爬虫 爬去58同城二手平板电脑信息 tags: python,爬虫 grammar_cjkRuby: true 爬去http://bj.58.com/pbdn/0/pn2/中除转转、推广商品以外的产品信息 ...

1,通过url获取html 2,headers的改变 因为爬到第二面被挡住了，就加了改了个headers 3,正则表达式的匹配 根据这段信息得出re表达式 4,excel的写入 5,二级网页的爬取 因为薪资 ...

附上数据库爬取的结果 ...

1.用于爬取58上的租房信息，限成都，其他地方的，可以把网址改改； 2.这个爬虫有一点问题，就是没用多线程，因为我用了之后总是会报： 'module' object has no attribute '_strptime'这个奇怪的错误，挣扎了许久，放弃； 如有大神看到这篇帖子，希望可以指点 ...

一 .创建一个爬虫工程 　　scrapy startproject tongcheng 　　#创建一只爬虫 　　scrapy genspider zufang 域名（xa.58.com/zufang/） 二.配置setting文件 　　ROBOTSTXT_OBEY ...

我们首先打开58同城的网站：观察网站的版面： 发现所有的title都是以h3开头，并且具有class为“ ” 因此我们可以编写这样的程序即可得到整个版面的title，在程序当中使用Xpath表达式即可，使用起来非常方便： 打印出来结果如下： ...

1.大体框架列出+爬取网页： #数据可视化 from pyecharts import Bar #用来url连接登陆等功能 import requests #解析数据 from bs4 import BeautifulSoup #用来存取爬取到的数据 data = [] def ...