点击评论，出现异步加载的请求 ...

PS： 　　1、爬取的内容里面还有链接没有处理干净，虽然别人给了个源码，但是自己看不懂！（还要加油！↖(^ω^)↗↖(^ω^)↗） 　　2、视频里面说要模拟浏览器登入，但是我这里没有模拟还是可以正常的爬取（我用的是Python3） 　　 　　 ...

先上完整代码 View Code 如果遇到以下问题，只要将py脚本转一下编码就行了 SyntaxError: Non-UTF-8 code starting with '\xbf' in file python ...

一、前言 大概是一个月前就开始做淘宝的爬虫了，从最开始的用selenium用户配置到selenium模拟登录，再到这次的post请求模拟登录。一共是三篇博客，记录了我爬取淘宝网的经历。期间也有朋友向我提出了不少问题，比如滑块失败，微博登录失败等，可以说用selenium模拟登录这方面，坑特别 ...

一个简单的python爬虫,爬取知乎 主要实现 爬取一个收藏夹 里 所有问题答案下的 图片 文字信息暂未收录，可自行实现，比图片更简单 具体代码里有详细注释，请自行阅读 项目源码： 很多初学者，对Python的概念都是模糊不清的，C ...

由于在爬取知乎是在伯乐在线之后的，需要参考前面的代码，有相同的部分就没有再加入。 在zhihu.py 中 import scrapy import re from urllib import parse from selenium import webdriver from ...

原来打开淘宝网页发现不登陆也可以查看商品信息，以为不用登录也可以爬取数据，但是后来发现需要登录才能爬取信息。并且淘宝的登录名和密码都是经过算法加密的。所以需要得到加密后的登录名和密码。刚开始用谷歌浏览器和IE浏览器都不能找到有用的信息。安装上火狐浏览器后才按照教程得到了相关信息。 https ...

需求：模拟登录知乎，因为知乎首页需要登录才可以查看，所以想爬知乎上的内容首先需要登录，那么问题来了，怎么用python进行模拟登录以及会遇到哪些问题？ 前期准备： 环境：ubuntu，python2.7 需要的包：requests包、正则表达式包 安装requests：pip ...