n+=30 #url链接 url1=url.format(word=keyword,pageNum=str(n)) ...

...

#爬取当当网图书，未使用框架 #main是主函数 #KindLinks.py和 获取数据信息.py 是2个封装的类 #KindLinks只有一个方法，它返回的是 listUrl ...

jq 允许你直接在命令行下对 JSON 进行操作，包括分片、过滤、转换等等。让我们通过几个例子来说明 jq 的功能：一、输出格式化，漂亮的打印效果如果我们用文本编辑器打开 JSON，有时候可能看 ...

抓取摩拜单车API数据，并做可视化分析 纵聊天下 百家号|04-19 15:16 ...

由于项目需要，最近需要从网上爬数据，也因此对爬数据这一块进行了一些了解。 关于爬虫，主要说说在实验过程中几个重要的点 1.伪装浏览器访问 一开始没注意这个问题，导致多次访问不是很顺畅，有时候需要 ...

...

这是今两天瞎鼓捣弄出来的代码，函数名、变量名的定义存在问题。 最开始利用requests.get(url)获得文本之后，不明白为什么需要text._raise_for_status( ...

使用Fiddler抓包工具找到在豆瓣网的cookie。 把cookie键值对（一个）写在headers 发起请求 self.headers = { " ...

上一篇说到对付反爬虫有一个很关键的方法就是使用IP代理，那么我们应该如何获取这些可用的IP代理呢？这里分享一下自己这两天的一些爬取IP代理的心得体会。 1 步骤 　　1.找到几个提供免费IP代理的 ...