爬虫的难点 1，数据量小，其实没什么，难在数据量大了怎么办？百万级别的呢？ 2，数据量大了还好，但是还要效率呢？短时间内要大量数据 3，这些都还好，但是还要稳定性呢，你的爬虫系统稳定吗？这是一个难点， 4，这些都还好，还有就是别人有反爬虫，这是难点，因为爬虫是有成本了，目的是低成本的获取 ...

Requests高级用法 1.文件上传 　　我们知道requests可以模拟提交一些数据。假如有的网站需要上传文件，我们也可以用requests来实现。 　　上一篇博客中，我们保存了一个favicon.ico文件，这次用它来模拟文件上传的过程。favicon.ico文件需要 ...

上一篇文章中我们介绍了爬虫的实现，及爬虫爬取数据的功能，这里会遇到几个问题，比方站点中robots.txt文件，里面有禁止爬取的URL。还有爬虫是否支持代理功能。及有些站点对爬虫的风控措施。设计的爬虫下载限速功能。 1、解析robots.txt 首先，我们须要解析 ...

Django内置的Admin是对于model中对应的数据表进行增删改查提供的组件，使用方式有： 依赖 一. 配置路由 urlpatterns = [ url(r '^admin/' , admin.site.urls ...

一、什么是爬虫，爬虫能做什么 爬虫，即网络爬虫，大家可以理解为在网络上爬行的一直蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛咯，如果它遇到资源，那么它就会抓取下来。比如它在抓取一个网页，在这个网中他发现了一条道路，其实就是指向网页的超链接，那么它就可以爬到另一张网上来获取数据 ...

前戏 WEB框架简介 具体介绍Django之前，必须先介绍WEB框架等概念。 web框架： 别人已经设定好的一个web网站模板，你学习它的规则，然后“填空”或“修改”成你自己需要的样子。 一般web框架的架构是这样的： Django简介 Django是一个开放源代码的Web ...

一 模版 一模版的组成 HTML代码＋逻辑控制代码 二 逻辑控制代码的组成 1 变量（使用双大括号来引用变量） {{var_name}} 2 标签(tag)的使 ...

一 介绍 官网链接：http://docs.python-requests.org/en/master/ 二 基于GET请求 1、基本请求 2、带参数的GET请求- ...