小白學 Python 爬蟲(5):前置准備(四)數據庫基礎


人生苦短,我用 Python

前文傳送門:

小白學 Python 爬蟲(1):開篇

小白學 Python 爬蟲(2):前置准備(一)基本類庫的安裝

小白學 Python 爬蟲(3):前置准備(二)Linux基礎入門

小白學 Python 爬蟲(4):前置准備(三)Docker基礎入門

本篇文章,我們接着介紹基礎內容,數據庫。

爬蟲將數據爬取完成后,總要有地方存放吧,這個數據存在哪里呢?

當然是數據庫中,那個說放在 Excel 里的,你給我站住!

當然 Excel 也是可以使用的,並且第三方也對 Excel 的操作提供了類庫支持,但是,SQL 庫還是一個老碼農的堅持。

數據庫現在分為關系型數據庫,非關系型數據庫和新型數據庫。

還是換英文吧,說中文感覺不大對,防止小編說錯,下面使用英文再介紹一遍。

  • SQL(Structured Query Language):數據庫,指關系型數據庫。主要代表: SQL Server 、 Oracle 、 MySQL 、 PostgreSQL 。

  • NoSQL(Not Only SQL):泛指非關系型數據庫。主要代表: MongoDB 、 Redis 、 CouchDB 。

  • NewSQL:對各種新的可擴展/高性能數據庫的簡稱。主要代表: Clustrix 、 GenieDB 、 TiDB 。

本系列文章會用到的數據庫主要有 Mysql 和 Redis 。

下面,我們開始愉快的裝起來。

Mysql 安裝

Mysql 在 Win 環境下,可以找到 .exe 的安裝包,但是小編不建議大家這么直接安裝,這時,前面我們介紹的 Docker 就排上用場了,我們介紹如何在 Docker 中安裝 Mysql 。

本文系統環境將使用 Linux ,當然,在 Windows 下通過 Docker 安裝過程和命令基本一致。

首先,是將 Mysql 的鏡像從鏡像倉庫中下載到本地:

docker pull mysql:5.7

靜靜的等待進度條走完,然后我們使用命令查看下剛才下載的鏡像:

docker images

如果可以看到上圖這樣的顯示就說明下載成功了,剩下的只需要我們來啟動這個 Mysql 的鏡像了。

docker run --name mysql --restart=always -p 3306:3306 -v /www/mysql/conf.d:/etc/mysql/conf.d -v /www/mysql/mysql.conf.d:/etc/mysql/mysql.conf.d -v /www/mysql/datadir:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -e TZ=Asia/Shanghai -d mysql:5.7

我來解釋一下這里面的幾個參數的含義:

--name:這里是命名啟動后容器名稱。
--restart:自動重啟,比如服務器突然斷電,重啟服務器之后不需要重新手動啟動。
-p:指定端口號。
-v:掛載。容器中的配置包括數據是不能直接訪問的,但是可以將這些內容掛在到我們自己本機的目錄中,小編這里的目錄使用的是 linux 的文件目錄,各位同學如果要在 win 的電腦上操作記得修改。
-e:配置數據庫的 root 密碼和指定時區是亞洲的上海。
-d:作為守護線程。

然后就結束了,我們的 Mysql 就安裝完成了,可以通過命令查看一下容器是否正常啟動。

docker ps

順利完成!是不是感覺很簡單,我們只需要三個命令就搭建了一個單機版的 Mysql 服務。而且在不同的系統中通過 Docker 安裝,命令近乎一致。

但是 Mysql 裝好了,我們怎么看里面的數據呢?這個可以安裝一個客戶端軟件,叫做 Navicat ,可惜是收費的,而且還蠻貴的,那么怎么用就不用我多說了吧,自己悟。

界面還是蠻清爽的,操作也十分簡單,畢竟有中文版,具體怎么操作各位同學自己點點看大致就知道了。

另外,建議各位同學在 Linux 中安裝 Mysql 。

Redis 安裝

首先來介紹下 Redis 。

Redis 我們一般是將其當成緩存來使用的,因為它的數據是存在內存中,所以它的讀寫速度要遠遠超出 MySQL,數據在內存中,意味着一旦斷電重啟后,將會丟失所有數據。

Redis 同樣提供將數據持久化到硬盤,但是開啟數據持久化到硬盤后,將會有效降低 Redis 的性能。

同樣,我們在 Docker 中安裝 Redis 。

下載 Redis :

docker pull redis

這里先創建一個文件夾用來做 Redis 的掛載目錄,小編這里創建的文件夾目錄為 /www/redis/ ,用來存放redis的配置文件、數據等。

Redis 的啟動命令為:

docker run -d -p 6379:6379 --restart=always -v /www/redis/conf/redis.conf:/usr/local/etc/redis/redis.conf -v /www/redis/data:/data --name docker-redis redis --appendonly yes

Redis 的配置文件這里小編就不貼出來了,屬實太長了,上傳至代碼倉庫,有需要的同學自取吧。

順便這個 Redis 緩存服務給大家做個共享,在公眾號回復 redis 獲取緩存服務配置。

硬件負載較低,本共享僅做測試使用,希望各位同學不要做壓測等高危操作。

Excel 安裝

目前 Office 也是更新至了 2019 版,具體怎么裝我就不多講了,只講一個詞: Office Tool ,懂的自然懂,不懂的就去百度下,百度這個必然不會讓你失望的。

連接庫安裝

上面我們講完了數據庫的安裝,如果我們想使用 Python 連接到這些數據庫上,還需要一些第三方提供的類庫。

PyMySQL

在 Python 中,想要連接到 MySQL 進行操作,就需要安裝 PyMySQL 。

安裝命令如下:

pip install pymysql

redis-py

在 Python 中,想要連接到 Redis 進行操作,就需要安裝 redis-py 。

安裝命令如下:

pip install redis

本篇內容到這里就結束,希望各位同學可以親自動手實踐一下,謝謝~~~。

示例代碼

示例代碼-Github

示例代碼-Gitee


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM