常见的登录方式有以下两种： 查看登录页面，csrf,cookie;授权；cookie 直接发送post请求,获取cookie 上面只是简单的描述，下面是详细的针对两种登录方式的时候爬虫的处理方法 第一种情况 这种例子其实也比较多，现在很多网站的登录都是第一种的方法 ...

整理这番外篇的原因是希望能够让爬虫的朋友更加理解这块内容，因为爬虫爬取数据可能很简单，但是如何高效持久的爬，利用进程，线程，以及异步IO,其实很多人和我一样，故整理此系列番外篇 一、进程 程序并不能单独和运行只有将程序装载到内存中，系统为他分配资源才能运行，而这种执行的程序就称之为进程。程序 ...

关于cookie和session估计很多程序员面试的时候都会被问到，这两个概念在写web以及爬虫中都会涉及，并且两者可能很多人直接回答也不好说的特别清楚，所以整理这样一篇文章，也帮助自己加深理解 什么是Cookie 其实简单的说就是当用户通过http协议访问一个服务器 ...

　　学完了面向对象的三大特性，已经get了所有屌丝技能的我们也当一回文艺小青年，来看看类的成员和成员修饰符。 　　今天‘三’这个数字好亲和~~~类成员可以分为三类：字段、方法和属性 一、字段 　 ...

同步IO和异步IO，阻塞IO和非阻塞IO分别是什么，到底有什么区别？不同的人在不同的上下文下给出的答案是不同的。所以先限定一下本文的上下文。 本文讨论的背景是Linux环境下的network IO。 ...

经常使用的是Mac版python3，但Mac坑爹的自带python2.7导致走了都弯路...今天细说pip3的安装。 1、sudo easy_install pip 这个会默认安装pip2 查看pip版本 pip2无用，卸载之... 2、使用get-pip.py的方法 经验贴 ...

什么是静态字段 　　在开始之前，先上图，解释一下什么是类的静态字段（我有的时候会叫它类的静态变量，总之说的都是它。后面大多数情况可能会简称为类变量。）： 　　 　　我们看上面的例子，这里的mon ...

今天是2017-03-04，我1号辞职的，今天第4天没上班了。在公司我工作也刚好5年了，这5年来换了几个工作，但是中间没有停留超过1个月的。我虽换工作频繁，但是走的一直是技术路线，且都是C#桌面软 ...