一、前言 由于最近使用Python爬虫框架scrapy练习爬虫，在爬取动态网页的时候，需要用到splash，进行对动态网页进行JavaScript渲染，但是使用splash又必须安装Docker。因为对Docker比较陌生，只能进行恶补。其中很多教程是基础Linux和windows环境下的安装 ...

如果没有安装docker，就先安装docker 1、安装docker 安装docker可以使用 apt 进行安装，更加便捷的是使用Docker 官方的安装脚本，Ubuntu 系统上可以使用这套脚本安装，另外可以通过 --mirror 选项使用国内源进行安装： 1.1、安装校验 ...

一、splash介绍 Splash是一个Javascript渲染服务。它是一个实现了HTTP API的轻量级浏览器，基于Python3和Twisted引擎，可以异步处理任务，并发性能好。 二、splash的产生 由于目前很多的网页通过javascript ...

...

在windows10 下安装docker: 1.进入官方网站安装：https://docs.docker.com/docker-for-windows/install/ 注：仔细阅读文档，会发现：运行 Docker for Windows 仅支持win10专业版 。所以可以查看自己的电脑 ...

这次记录的scrapy-splash的安装和使用基本上是两种情况：一是win10比较新的版本+docker for windows；二是win10家庭版，win7（理论上win8也是）+docker toolbox 首先是win10比较新的版本+docker for windows： 前面 ...

所需要环境：ubuntu16.04 第一步用：sudo apt install docker.io 第二步：完成后查看一下有没有成功 命令：docker -v,如果是输入错了写成了大V他会提示你有哪些命令，这里需要注意的是v是小写的 小v看版 第三步：启动docker ...

scrapy-splash的介绍   在前面的博客中，我们已经见识到了Scrapy的强大之处。但是，Scrapy也有其不足之处，即Scrapy没有JS engine, 因此它无法爬取JavaScript生成的动态网页，只能爬取静态网页，而在现代的网络世界中，大部分网页都会采用JavaScript ...