为了学习机器学习深度学习和文本挖掘方面的知识，需要获取一定的数据，新浪微博的大量数据可以作为此次研究历程的对象 一、环境准备 python 2.7 scrapy框架的部署（可以查看上一篇博客的简要操作，传送门： 点击打开链接） mysql的部署（需要的资源 ...

一、写在前面 首先呢，由于之前重装系统，又要重新配置环境，然后还有一些别的事，导致我一直没有写爬虫了，不过现在又可以继续写了。 然后我这次说的模拟登录新浪微博呢，不是使用Selenium模拟浏览器操作，毕竟Selenium的效率是真的有些低，所以我选择用Python发送请求实现模拟登录，整个 ...

fiddler 之前了解了一些常见到的反爬措施，JS加密算是比较困难，而微博的登录中正是用JS加密来反爬，今天来了解一下。 分析过程 首先我们去抓包，从登录到微博首页加载出来的过程。我们重点关注一下登录操作，其次是首页的请求，登录一般是POST请求。我们搜索一下： 得知登录的url ...

Python爬虫教程-34-分布式爬虫介绍 分布式爬虫在实际应用中还算是多的，本篇简单介绍一下分布式爬虫 什么是分布式爬虫 分布式爬虫就是多台计算机上都安装爬虫程序，重点是联合采集。单机爬虫就是只在一台计算机上的爬虫。 其实搜索引擎都是爬虫，负责从世界各地的网站上爬 ...

当我们要爬取新浪微博内容时，有时候就没必要自己去写了，就用现成的，推荐一个我看到的一个github微博爬虫i项目 https://github.com/dataabc/weiboSpider 其实教程的话，我在网上找这个的时候就跟原版的不一样，毕竟人家要更新换代嘛，具体的自己点击上方的链接 ...

redis分布式部署 - 概念：可以将一组程序执行在多台机器上（分布式机群），使其进行数据的分布爬取。 1.scrapy框架是否可以自己实现分布式？ 　　其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台 ...

第一：Redis 是什么？ Redis是基于内存、可持久化的日志型、Key-Value数据库 高性能存储系统，并提供多种语言的API. 第二：出现背景 数据结构(Data Structur ...

1.首先在浏览器中进入WAP版微博的网址，因为手机版微博的内容较为简洁，方便后续使用正则表达式或者beautifulSoup等工具对所需要内容进行过滤 https://login.weibo.cn/login/ 2.人工输入账号、密码、验证字符，最后最重要的是勾选（记住登录 ...