前言 通過 Python 爬取十萬博文之后，最重要的是要讓互聯網用戶訪問到，那么如何做呢？ 選型 從后台框架、前端模板、數據庫連接池、緩存、代理服務、限流等組件多個維度選型。 后台框架 SpringBoot2+、JPA 前端框架 Vue 模塊框架 Thymeleaf ...

、爬蟲造成大量空的命中，會對數據庫造成很大壓力 博客架構 案例分析 由於文章的地址是這樣 ...

前言 在開發十萬博客系統的的過程中，前面主要分享了爬蟲、緩存穿透以及文章閱讀量計數等等。爬蟲的目的就是解決十萬+問題；緩存穿透是為了保護后端數據庫查詢服務；計數服務解決了接近真實閱讀數以及數據庫服務的壓力。 架構圖 限流 就拿十萬博客來說，如果存在熱點文章，可能會有數十萬級別的並發 ...

前言 在十萬博文終極架構中，我們使用了Tomcat集群，但這並不能保證系統不會出問題，為了保證系統的穩定運行，我們還需要對 Tomcat 進行有效的運維監控手段，不至於問題出現或者許久一段時間才知道。凌晨一點這個鍋可誰都不想背，為此基於目前的情況搭建了以下這么一套監控預警系統。 架構圖 ...

前言 在經歷了，緩存、限流、布隆穿透等等一系列加強功能，十萬博客基本算是成型，網站上線以后也加入了百度統計來見證十萬+ 的整個過程。 但是百度統計並不能對每篇博文進行詳細的瀏覽量統計，如果做一些熱點博文排行、48小時排行之類統計，還需要引入瀏覽量統計功能。 設計 通常情況下，我們只需要 ...

1.前言 最新在公司做一個項目，需要一些文章類的數據，當時就想到了用網絡爬蟲去一些技術性的網站爬一些，當然我經常去的就是博客園，於是就有下面的這篇文章。 程序源碼:CSDN下載地址 2.准備工作 我需要把我從博客園爬取的數據，保存起來，最好的方式當然是保存到數據庫中去了，好了我們先建一個 ...

網絡爬蟲（又被稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。 Requests Python標准庫中提供了：urllib、urllib2 ...

首先要連接自己的數據庫 幾個基本操作 import re庫 一、re.search(匹配規則,要匹配的字符串名稱) 功能：掃描整個字符串返回第一個成功匹 ...