爬虫的终极形态：nightmare nightmare 是一个基于 electron 的自动化库（意思是说它自带浏览器），用于实现爬虫或自动化测试。相较于传统的爬虫框架（scrapy/pyspider），或者dom操作库（cheerio/jsdom ...

前言 美团商家页分析 需要爬取的数据有（这里没有按人数爬） 爬虫工具选取 pysipder scrapy nightmare 同步任务 js动态加载 中断继续 爬坑总结 示例代码 前言 上学的时候自己写过一些爬虫 ...

目标 　　以腾讯滚动新闻为例，利用nightmare模拟点击下一页，爬取所有页面的信息。首先得感谢node社区godghdai的帮助，开始接触不太熟悉nightmare，感觉很高大上，自己写代码的时候问题也很多，多亏大神的指点。 一、选择模拟的原因 　　腾讯滚动新闻，是每六十秒更新一次 ...

目标： 　　解决页面加载更多问题。笔记三中，我们只爬取到网页的部分信息，而点击加载更多后的页面内容是没有提取到的。开始我的想法是找到加载更多的数据接口（可参照：http://www.jianshu. ...

最近看过不少讲爬虫的教程[1][2]，基本都是一个模式： 开始先来拿正则、lxml、jquery/pyquery等等教大家从页面上抠出一个一个的值来 然后深入一些在讲讲http 协议，讲讲怎么拿出 cookie 来模拟登录之类的，讲讲基本的反爬虫和反反爬虫的方法 最后在上一个 简单 ...

Electron框架应用的安全测试 0.Electron相关简介 electron.js是一个运行时框架，它在设计之初就结合了当今最好的Web技术，核心是使用HTML、CSS、JavaScript构建跨平台的桌面应用。 作为一个跨平台的“集成框架”，它能轻松和多平台兼容。而所谓的“集成 ...

最近意外发现了这个框架,从这框架的说明和我的实践来看,确实是以后 PC 端的主流框架, 大家都知道 electron 的唯二缺点: 1. 性能较差 2.包的尺寸太大.下面给出使用 tauri 的理由 tauri 介绍 以下介绍来自官方说明: 为什么使用 tauri 原始 ...

一、electron+vue是什么 electron+vue 是一个结合 vue-cli 与 electron 的项目，主要避免了使用 vue 手动建立起 electron 应用程序，该程序包含了 vue-loader 的 webpack、electron ...