...

python爬虫，顾名思义是爬取信息的。大数据时代，信息的获取是非常关键的，它甚至能决定一个公司大发展的方向与未来，互联网就好像一张大网，人们想要获取信息就要从这张大网里爬取，这种手段也可以称为搜索引擎，百度搜狗等属于广义爬虫，姑且这么叫吧，广义爬虫可以在各大网站的允许范围内进行限制性 ...

转自： http://xace.iteye.com/blog/481814/ URL出现了有+，空格，/，?，%，#，&，=等特殊符号的时候，可能在服务器端无法获得正确的参数值，如何是好？ 解决办法：将这些字符转化成服务器可以识别的字符，对应关系如下： URL中的特殊字符 有些符号 ...

1.爬虫定义 网络爬虫，即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页 ...

如果连接直接这样写，看上去很直观，不过参数替换不是很方便，而且看着不舒服 可以使用如下方式美化代码 ...

前言：python使用selenium库时需要安装chromedriver以及对应的chrome版本 代码块 ...

案例：爬取使用搜狗根据指定词条搜索到的页面数据（例如爬取词条为‘周杰伦'的页面数据） import urllib.request # 1.指定url url = 'https://www.sogou.com/web?query=周杰伦' ''' 2.发起请求:使用urlopen函数对指定的url ...

写在前面 我们利用python爬虫技术获取到了图片或视频的url直链，那么如何根据url来下载图片或视频。图片是小文件，大小一般在5MB以内，我们直接下载即可。视频是大文件，大小一般在100MB以上，所以建议采用分块下载的方法，避免内存溢出。 安装依赖 下载图片 测试样例 ...