前言：目标确定 （1）、创建项目 scrapy startproject qsbk （2）、技术路线 scrapy框架的使用 （3）、创建爬虫 scrapy genspider spider qiushibaike.com （爬虫名不能与项目名重名） （3）、实战 改写 ...

（1）、前言 动态页面：HTML文档中的部分是由客户端运行JS脚本生成的，即服务器生成部分HTML文档内容，其余的再由客户端生成 静态页面：整个HTML文档是在服务器端生成的，即服务器生成好了，再发送给我们客户端 这里我们可以观察一个典型的供我们练习爬虫技术的网站 ...

（1）、前言 原理分析：我们编写代码模拟向网站发出登录请求，也就是提交包含登录信息的表单（用户名、密码等）。 实现方式：当我们想在请求数据时发送post请求，这时候需要借助Request的子类FormRequest来实现，如果想进一步在爬虫一开始时就发送post请求，那么我们需要重写 ...

之前在写爬虫时，都是自己写整个爬取过程，例如向目标网站发起请求、解析网站、提取数据、下载数据等，需要自己定义这些实现方法等 这个周末把之前买的一个scrapy爬虫课程翻了出来(拉钩教育《52讲轻松搞定网络爬虫》，有兴趣的可以去看看)，初步学习了一下scrapy的使用方法，刚好把以前写好的一个爬虫 ...

一、话说爬虫 　　先说说爬虫，爬虫常被用来抓取特定网站网页的HTML数据，定位在后端数据的获取,而对于网站而言，爬虫给网站带来流量的同时，一些设计不好的爬虫由于爬得太猛，导致给网站来带很大的负担，当然再加上一些网站并不希望被爬取，所以就出现了许许多多的反爬技术。 二、安装模块 1. ...

爬虫 今日内容 1、爬虫介绍 2、爬取汽车之家 3、requests 4、bs4 5、内容编码改为utf-8 掌握requests /bs4 不考虑验证码和性能基本网页都能爬取 以后实际工作中这两个脚本加scrapy框架就可以了 一、爬虫介绍 ...

...

的图片 static是静态资源页面 eg.js是下载图片示例（node eg.js） img.j ...