此次要实现的目标是登录12306网站和查看火车票信息。 具体步骤 一、登录 登录功能是通过使用selenium实现的，用到了超级鹰来识别验证码。没有超级鹰账号的先注册一个账号，充值一点题分，然后把下载这个Python接口文件，再在里面添加一个use_cjy的函数，以后使用的时候传入 ...

一.网络爬虫（Web Crawler） 1.网络爬虫：是一种按照一定的规则，自动地抓取网上信息的程序或者脚本。 2.爬虫：为了获取网上大量的我们能看的到或看不到的数据 3.基本步骤：（1）定位要爬的网页地址；（2）获取网址的html文档；（3）解析网址的html文档；（4）搜寻要下载的数据 ...

最近在抽空学了一下python，于量就拿爬是练了下手，不得不说python的上手非常简单。在网上找了一下，大都是python2的帖子，于是随手写了个python3的。代码非常简单就不解释了，直接贴代码。 #test rdp import urllib.request import re ...

在网上找到了一份斗鱼弹幕服务器第三方接入协议v1.6.2，有了第三方接口，做起来就容易多了。 一、协议分析 斗鱼后台协议头设计如下： 这里的消息长度是我们发送的数据部分的长度和头部的 ...

一、什么是爬虫　　 　　首先简单的理解一下爬虫。即请求网站并且提取自己所需的数据的一个过程。至于怎么爬，将是后面进行学习的内容，暂且不必深究。通过我们的程序，可以代替我们向服务器发送请求，然后进行批量、大量的数据的下载。 二、爬虫的基本流程 发起请求：通过url向服务器发起 ...

Infi-chu: http://www.cnblogs.com/Infi-chu/ 一、设置代理 1.urllib #HTTP代理类型 from urllib.error impor ...

　　关于请求网页，不得不提requests这个库，这是爬虫经常用到的一个第三方库，用pip安装即可。 requests用法很多，这里只写一些基础的，其他高级功能可参考官方文档。 　　关于requests还有一些其他用法对我们已有的爬虫程序也很有 ...