10~15行代码，当实例化对象时，如果driver参数为None（默认），则调用set_driver方法设置webdriver，否则设置对象的driver属性为传入的driver参数。 使用方法如下： 在ecs_manager_page作为主测对象 ...

由于工作需要，需要提取到天猫400个指定商品页面中指定的信息，于是有了这个爬虫。这是一个使用 selenium 爬取天猫商品信息的爬虫，虽然功能单一，但是也算是 selenium 爬虫的基本用法了。 源码展示 源码解析 这个爬虫主要由三个步骤构成： 读取文本中商品ID ...

某个操作点击之后形成第二个标签就可以进行下方的代码的书写 index = self.driver.current_window_handle handles = se ...

爬虫新手大坑：爬取数据的时候一定要设置header伪装成浏览器！！！！ 在爬取某财经网站数据时由于没有设置Header信息，直接被封掉了ip 后来设置了Accept、Connection、User-Agent三个参数后换了个ip登录，成功请求到几次数据后又被封掉ip 最后 ...

...

渲染方法将爬取动态网页变成爬取静态网页。 我们可以用 Python 的 Selenium 库模拟浏览 ...

在上一篇博客中使用redis所维护的代理池抓取微信文章，开始运行良好，之后运行时总是会报501错误，我用浏览器打开网页又能正常打开，调试了好多次都还是会出错，既然这种方法出错，那就用selenium模拟浏览器获取搜狗微信文章的详情页面信息，把这个详情页面信息获取后，仍然用pyquery库进行解析 ...

前几天有位微信读者问我一个爬虫的问题，就是在爬去百度贴吧首页的热门动态下面的图片的时候，爬取的图片总是爬取不完整，比首页看到的少。原因他也大概分析了下，就是后面的图片是动态加载的。他的问题就是这部分动态加载的图片该怎么爬取到。 分析 他的代码比较简单，主要有以下的步骤：使用 ...