应领导要求使用 selenium grid 搭建分布式测试平台，于是有了以下操作： 第一步：准备2台电脑，且2台电脑都安装好jdk，都准备好selenium-server-standalone-2.40.0.jar，IEDriver, ChromeDriver等工具，注意chrome版本 ...

最近需要测试zoom视频会议，同时模拟100个人加入会议。经过了解，zoom提供了直接通过url链接加入会议的方式（只能通过chrome浏览器或者FireFox浏览器，因为用的协议是webrtc）。 顺着这个思路考虑可以通过Selenium自动化，同时启动多个浏览器进程，每个进程代表一个视频会议 ...

Selenium Grid简介 Selenium Grid实际上是基于Selenium RC的，而所谓的分布式结构就是由一个hub节点和若干个node代理节点组成。Hub用来管理各个代理节点的注册信息和状态信息，并且接受远程客户端代码的请求调用，然后把请求的命令转发给代理节点来执行(官方说明 ...

本文对Selenium Grid进行了完整的介绍，从环境准备到使用Selenium Grid进行一次完整的多节点分布式测试。 运行环境为Windows 10，Selenium版本为 3.5.0，Chrome版本为62，Firefox版本为56，IE版本为11。 1. ...

pip search kafka可以搜索到很多kafka的python插件，选择一个大家用的比较多的 celery结合kafka使用 使用kafka扩展python logging集中式日志收集 redis做消息队列的话，存在丢消息的情况 kafka可以做到保证消息不丢失 参考 ...

　　本文章只做docker搭建selenium grid 分布式环境步骤说明，对于selenium grid中的参数、流程、原理等不做说明。selenium grid的详细情况可查看官方文档https://wizardforcel.gitbooks.io/selenium ...

redis分布式部署 - 概念：可以将一组程序执行在多台机器上（分布式机群），使其进行数据的分布爬取。 1.scrapy框架是否可以自己实现分布式？ 　　其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台 ...

转载 permike 原文 Python分布式爬虫原理 首先，我们先来看看，如果是人正常的行为，是如何获取网页内容的。 (1)打开浏览器，输入URL，打开源网页 (2)选取我们想要的内容，包括标题，作者，摘要，正文等信息 (3)存储到硬盘中 上面的三个过程，映射到技术层面 ...