python爬虫面试题集锦及答案
1.爬取数据后使用哪个数据库存储数据的，为什么？ - 2.你用过的爬虫框架或者模块有哪些？优缺点？ - 3.写爬虫是用多进程好？还是多线程好？ - 4.常见的反爬虫和应对方法？ - 5.需要登录的网页，如何解决同时限制ip，cookie,session - 6.验证码的解决? - 7.“极验 ...
原文：python面试题——爬虫相关
接触过几种爬虫模块 urllib requests这两种爬虫模块。 robots协议是什么 它就是一个防君子不防小人的协议，网站有一些数据不想被爬虫程序爬取，可以编写robots协议文件，明确指明哪些内容可以爬取哪些不可以爬取。 requests模块中并没有使用硬性的语法对该协议进行生效操作。 在Scrapy框架中在settings.py文件中使用了硬性语法对该协议进行了生效。 如何处理验证码 ...
2018-12-09 14:12 0 614 推荐指数：
相关推荐
python爬虫常见面试题（一）
前言 之所以在这里写下python爬虫常见面试题及解答，一是用作笔记，方便日后回忆；二是给自己一个和大家交流的机会，互相学习、进步，希望不正之处大家能给予指正；三是我也是互联网寒潮下岗的那批人之一，为了找工作而做准备。 一、题目部分 1、python中常用的数据结构有哪些？请简要介绍一下 ...
python爬虫常见面试题（二）
前言 之所以在这里写下python爬虫常见面试题及解答，一是用作笔记，方便日后回忆；二是给自己一个和大家交流的机会，互相学习、进步，希望不正之处大家能给予指正；三是我也是互联网寒潮下岗的那批人之一，为了找工作而做准备。 一、题目部分 1、scrapy框架专题部分（很多面试都会涉及到这部 ...
python面试题-django相关
1、中间件 中间件一般做认证或批量请求处理，django中的中间件，其实是一个类，在请求和结束后，django会根据自己的规则在合适的时机执行中间件中相应的方法， 如请求过来 执行process_ ...
爬虫面试题
1. http 基于 tcp/ip 协议 2. 百度是通用性爬虫 3. http 返回的状态码代表成功的是 200 4. 网页编码使用的函数式 encode() 5. 解码使用的函数式是 decode() 6. 爬虫又叫 网页蜘蛛、网络机器人 7. 什么是爬虫并解释其概念 ...
爬虫面试题
scrapy框架的工作流程？ a、spider解析下载器下下来的response，返回item或是links b、item或者link经过spidermiddleware的pro ...
面试题（四）爬虫
一、试列出至少三种目前流行的大型数据库的名称:________、_________、__________,其中您最熟悉的是__________,从__________年开始使用。 ...
面试题（五）爬虫
1、 post、get有什么区别？ 答案 2、 http、https协议有什么区别？ 答案 3、 域名和IP之间有什么关 ...