分布式单点登录框架XXL-SSO
《分布式单点登录框架XXL-SSO》 一、简介 1.1 概述 XXL-SSO 是一个分布式单点登录框架。只需要登录一次就可以访问所有相互信任的应用系统。 拥有"轻量级、分布式、跨域、Cookie+Token均支持、Web+APP均支持"等特性；。现已开放源代码，开箱即用。 1.2 ...
原文：分布式爬虫框架XXL-CRAWLER
分布式爬虫框架XXL CRAWLER 一 简介 . 概述 XXL CRAWLER 是一个分布式爬虫框架。一行代码开发一个分布式爬虫，拥有 多线程 异步 IP动态代理 分布式 JS渲染 等特性 . 特性 简洁：API直观简洁，可快速上手 轻量级：底层实现仅强依赖jsoup，简洁高效 模块化：模块化的结构设计，可轻松扩展 面向对象：支持通过注解，方便的映射页面数据到PageVO对象，底层自动完成Pa ...
2017-11-03 11:40 3 4235 推荐指数：
相关推荐
分布式服务框架XXL-RPC
《分布式服务框架XXL-RPC》 [TOCM] [TOC] 一、简介 1.1 概述 XXL-RPC 是一个分布式服务框架，提供稳定高性能的RPC远程服务调用功能。拥有"高性能、分布式、注册中心、负载均衡、服务治理"等特性。现已开放源代码，开箱即用。 1.2 特性 ...
分布式单点登录框架xxl-sso
1. 分布式单点登录框架xxl-sso https://gitee.com/xuxueli0323/xxl-sso 1.1. 实战运行 1.1.1. 说明 从上述地址下载源码 重点是运行xxl ...
xxl-job 分布式任务调度框架
spring传统的定时任务@Scheduled，但是这样存在这一些问题 ： 做集群任务的重复执行问题；（某个微服务要做集群，每一个微服务下都有当前的任务，这是应该如何解决重复执行的问题呢？可以使用分布式锁，但是比较麻烦） cron表达式定义在代码之中，修改不方便 ...
基于scrapy框架的分布式爬虫
分布式 概念：可以使用多台电脑组件一个分布式机群，让其执行同一组程序，对同一组网络资源进行联合爬取。 原生的scrapy是无法实现分布式 调度器无法被共享 管道无法被共享 基于 scrapy+redis（scrapy& ...
python的分布式爬虫框架
scrapy + celery: Scrapy原生不支持js渲染，需要单独下载[scrapy-splash](GitHub - scrapy-plugins/scrapy-splash: Scrap ...
Java任务调度框架之分布式调度框架XXL-Job介绍
Java任务调度框架之分布式调度框架XXL-Job介绍及快速入门 调度器使用场景： Java开发中经常会使用到定时任务：比如每月1号凌晨生成上个月的账单、比如每天凌晨1点对上一天的数据进行对账操作，在比如每天凌晨5点给180天未登陆过的用户发送邮件提醒 ...
分布式爬虫
一 介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy ...