快 快了 啊 嘿 小老弟 想啥呢 今天这篇爬虫教程的主题就是一个字 快 想要做到秒爬 就需要 ...

一：前言 本次爬取的是喜马拉雅的热门栏目下全部电台的每个频道的信息和频道中的每个音频数据的各种信息，然后把爬取的数据保存到mongodb以备后续使用。这次数据量在70万左右。音频数据包括音频下载地址，频道信息，简介等等，非常多。昨天进行了人生中第一次面试，对方是一家人工智能大数据公司，我准备在这 ...

一、什么是多进程？ 　　像电脑上同时运行多个软件，比如在打开微信的同时，也打开了QQ与钉钉，这就是多进程。 二、什么是多线程？ 　　一个进程中可以进行多种操作，即在QQ上既可以发送消息也可视频/语音，这就是多线程。 三、主进程/子进程 　　主进程下面可能会有好多子进程，即不一定一个运行 ...

抓取“xmly”鬼故事音频 ...

　　最近花些时间学习了一下Python，并写了一个多线程的爬虫程序来获取电影天堂上资源的迅雷下载地址，代码已经上传到GitHub上了，需要的同学可以自行下载。刚开始学习python希望可以获得宝贵的意见。 　　先来简单介绍一下，网络爬虫的基本实现原理吧。一个爬虫首先要给它一个起点，所以需要精心 ...

临近期末考试，但是根本不想复习！啊啊啊啊啊啊啊！！！！ 于是做了一个爬虫，网址为 https://yande.re，网页图片为动漫美图（图片带点颜色........宅男福利 github项目地址为：https://github.com/MyBules/yande_pider 多线程代码分为 ...

　　小爬最近受同事所托，帮忙写个爬虫来获取某个网站的公开数据，该网站没有文件导出功能，后台返回的也不是完美的json格式数据，每页且只能显示不超过22行数据，合计有2200多页，约50000条数据，这就让手工取数变得遥不可及。 　　小爬原本想用python+selenium思路来低效爬取，实际 ...