安装kubernetes遇见问题 kubectl describe pod coredns -n kube-system, 查看发现coredns readiness 一直unhealthy， 并且一直报503 kubectl logs --tail coredns -n ...

　　这些天应朋友的要求抓取某个论坛帖子的信息，网上搜索了一下开源的爬虫资料，看了许多对于开源爬虫的比较发现开源爬虫scrapy比较好用。但是以前一直用的java和php，对python不熟悉，于是花一天时间粗略了解了一遍python的基础知识。然后就开干了，没想到的配置一个运行环境就花了我一天 ...

1. 爬虫出现Forbidden by robots.txt 解决方法：setting.py ROBOTSTXT_OBEY = True 改成False 原因：scrapy抓包时的输出就能发现，在请求我们设定的url之前，它会先向服务器根目录请求一个txt文件 这个文件中规定了本站点允许 ...

在windows下： pip install scrapy 最后一步报错： 本来以为是缺少 Microsoft Visual C++ 14.0 这个库，一看下载需要400多M，算了再看下报错。。。 感觉是少了twisted这个包 然后找到了这个网址》》》 https ...

Scrapy 这个爬网框架真心不错，但在OSX上安装总是会出现各种的问题，在这里就作一个收集汇总。我的系统环境是 OS X El Capitan (10.11.1) 首先要保证 pip , virtualenv 和 setuptools 是最新版本 如果你能直接运行以下的安装指令，只能 ...

1.先看官方文档： 官方效果： 注意：如果你直接把文档中这块代码粘贴过去是不会有效果的，如果问为什么，下面是原因： 说的很清楚了，必须有form进行渲染，也就 ...

　　查阅文档后，以为table表格设置宽度只用给其中td设置宽度就行了，th宽度会根据td自动增加，然后table宽度也就被撑开了。可设置好td宽度后发现table宽度是会根据屏幕尺寸伸缩的，如下图： ...

scrapy 基础教程 1. 认识Scrapy: 来一张图了解一下scrapy工作流程：(这张图是在百度下载的) scrapy 各部分的功能： 　　1. Scrapy Engine(引擎): 负责Spider,Item Pipeline,Downloader,Scheduler 中间 ...