前言 在开发十万博客系统的的过程中，前面主要分享了爬虫、缓存穿透以及文章阅读量计数等等。爬虫的目的就是解决十万+问题；缓存穿透是为了保护后端数据库查询服务；计数服务解决了接近真实阅读数以及数据库服务的压力。 架构图 限流 就拿十万博客来说，如果存在热点文章，可能会有数十万级别的并发 ...

前言 在十万博文终极架构中，我们使用了Tomcat集群，但这并不能保证系统不会出问题，为了保证系统的稳定运行，我们还需要对 Tomcat 进行有效的运维监控手段，不至于问题出现或者许久一段时间才知道。凌晨一点这个锅可谁都不想背，为此基于目前的情况搭建了以下这么一套监控预警系统。 架构图 ...

前言 在经历了，缓存、限流、布隆穿透等等一系列加强功能，十万博客基本算是成型，网站上线以后也加入了百度统计来见证十万+ 的整个过程。 但是百度统计并不能对每篇博文进行详细的浏览量统计，如果做一些热点博文排行、48小时排行之类统计，还需要引入浏览量统计功能。 设计 通常情况下，我们只需要 ...

前言 通过 Python 爬取十万博文之后，最重要的是要让互联网用户访问到，那么如何做呢？ 选型 从后台框架、前端模板、数据库连接池、缓存、代理服务、限流等组件多个维度选型。 后台框架 SpringBoot2+、JPA 前端框架 Vue 模块框架 Thymeleaf ...

前言 这里以爬取博客园文章为例，仅供学习参考，某些AD满天飞的网站太浪费爬虫的感情了。 爬取 使用 BeautifulSoup 获取博文 通过 html2text 将 Html 转 Markdown 保存 Markdown 到本地文件 下载 ...

一. 缓存穿透 （请求数据缓存大量不命中） 缓存穿透是指查询一个一定不存在的数据，由于缓存不命中，并且出于容错考虑， 如果从存储层查不到数据则不写入缓存，这将导致这个不存在的数据每次请求都要到存储层去查询，失去了缓存的意义。 例如：下图是一个比较典型的cache-storage架构，cache ...

什么是缓存穿透? 发生场景 　　缓存穿透的概念很简单，用户想要查询一个数据，发现redis内存数据库没有，也就是缓存没有命中，于是向持久层数据库查询。 发现也没有，于是本次查询失败。当用户很多的时候，缓存都没有命中，于是都去请求了持久层数据库。 这会给持久层数据库造成很大的压力，这时候 ...

缓存雪崩 ---摘录自github Libin Yang 对于系统 A，假设每天高峰期每秒 5000 个请求，本来缓存在高峰期可以扛住每秒 4000 个请求，但是缓存机器意外发生了全盘宕机。缓存挂了，此时 1 秒 5000 个请求全部落数据库，数据库必然扛不住，它会报一下警，然后就挂了。此时 ...