分布式單點登錄框架XXL-SSO
《分布式單點登錄框架XXL-SSO》 一、簡介 1.1 概述 XXL-SSO 是一個分布式單點登錄框架。只需要登錄一次就可以訪問所有相互信任的應用系統。 擁有"輕量級、分布式、跨域、Cookie+Token均支持、Web+APP均支持"等特性；。現已開放源代碼，開箱即用。 1.2 ...
原文：分布式爬蟲框架XXL-CRAWLER
分布式爬蟲框架XXL CRAWLER 一 簡介 . 概述 XXL CRAWLER 是一個分布式爬蟲框架。一行代碼開發一個分布式爬蟲，擁有 多線程 異步 IP動態代理 分布式 JS渲染 等特性 . 特性 簡潔：API直觀簡潔，可快速上手 輕量級：底層實現僅強依賴jsoup，簡潔高效 模塊化：模塊化的結構設計，可輕松擴展 面向對象：支持通過注解，方便的映射頁面數據到PageVO對象，底層自動完成Pa ...
2017-11-03 11:40 3 4235 推薦指數：
相關推薦
分布式服務框架XXL-RPC
《分布式服務框架XXL-RPC》 [TOCM] [TOC] 一、簡介 1.1 概述 XXL-RPC 是一個分布式服務框架，提供穩定高性能的RPC遠程服務調用功能。擁有"高性能、分布式、注冊中心、負載均衡、服務治理"等特性。現已開放源代碼，開箱即用。 1.2 特性 ...
分布式單點登錄框架xxl-sso
1. 分布式單點登錄框架xxl-sso https://gitee.com/xuxueli0323/xxl-sso 1.1. 實戰運行 1.1.1. 說明 從上述地址下載源碼 重點是運行xxl ...
xxl-job 分布式任務調度框架
spring傳統的定時任務@Scheduled，但是這樣存在這一些問題 ： 做集群任務的重復執行問題；（某個微服務要做集群，每一個微服務下都有當前的任務，這是應該如何解決重復執行的問題呢？可以使用分布式鎖，但是比較麻煩） cron表達式定義在代碼之中，修改不方便 ...
基於scrapy框架的分布式爬蟲
分布式 概念：可以使用多台電腦組件一個分布式機群，讓其執行同一組程序，對同一組網絡資源進行聯合爬取。 原生的scrapy是無法實現分布式 調度器無法被共享 管道無法被共享 基於 scrapy+redis（scrapy& ...
python的分布式爬蟲框架
scrapy + celery: Scrapy原生不支持js渲染，需要單獨下載[scrapy-splash](GitHub - scrapy-plugins/scrapy-splash: Scrap ...
Java任務調度框架之分布式調度框架XXL-Job介紹
Java任務調度框架之分布式調度框架XXL-Job介紹及快速入門 調度器使用場景： Java開發中經常會使用到定時任務：比如每月1號凌晨生成上個月的賬單、比如每天凌晨1點對上一天的數據進行對賬操作，在比如每天凌晨5點給180天未登陸過的用戶發送郵件提醒 ...
分布式爬蟲
一 介紹 原來scrapy的Scheduler維護的是本機的任務隊列（存放Request對象及其回調函數等信息）+本機的去重隊列（存放訪問過的url地址） 所以實現分布式爬取的關鍵就是，找一台專門的主機上運行一個共享的隊列比如Redis，然后重寫Scrapy ...