网络爬虫： 　　网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 以上是网络爬虫的百度，下面开始介绍使用Python进行网络爬虫来获取数据 ...

import requestsfrom retrying import retryfrom lxml import etreeimport json class DaCheng(object): 　 ...

# coding=utf-8import requestsfrom lxml import etreeimport json class TianYuan: 　　def __init__( ...

# coding=utf-8import requestsimport jsonfrom retrying import retryimport re class TyY: 　　def __ ...

Urllib库 它是python内置的HTTP请求库，使用它发送Request。它主要包含以下几个基本模块： urllib.request：请求库，模拟打开网页的过程。 urllib.error:异常处理模块，捕集，处理返回的错误值。 urllib.parse：解析模块，提供 ...

有时候，我们天真无邪的使用urllib库或Scrapy下载HTML网页时会发现，我们要提取的网页元素并不在我们下载到的HTML之中，尽管它们在浏览器里看起来唾手可得。 这说明我们想要的元素是在我们的某些操作下通过js事件动态生成的。举个例子，我们在刷QQ空间或者微博评论 ...

...

参考： https://blog.csdn.net/qq_37616069/article/details/80376776 https://www.cnblogs.com/zhuosanxun/p/12641052.html ...