第一篇：初識數據庫

一 數據庫管理軟件的由來

基於我們之前所學，數據要想永久保存，都是保存於文件中，毫無疑問，一個文件僅僅只能存在於某一台機器上。

如果我們暫且忽略直接基於文件來存取數據的效率問題，並且假設程序所有的組件都運行在一台機器上，那么用文件存取數據，並沒有問題。

很不幸，這些假設都是你自己意淫出來的，上述假設存在以下幾個問題。。。。。。

1、程序所有的組件就不可能運行在一台機器上

#因為這台機器一旦掛掉則意味着整個軟件的崩潰，並且程序的執行效率依賴於承載它的硬件，而一台機器機器的性能總歸是有限的，受限於目前的硬件水平，就一台機器的性能垂直進行擴展是有極限的。

#於是我們只能通過水平擴展來增強我們系統的整體性能，這就需要我們將程序的各個組件分布於多台機器去執行。

2、數據安全問題

#根據1的描述，我們將程序的各個組件分布到各台機器，但需知各組件仍然是一個整體，言外之意，所有組件的數據還是要共享的。但每台機器上的組件都只能操作本機的文件，這就導致了數據必然不一致。

#於是我們想到了將數據與應用程序分離：把文件存放於一台機器，然后將多台機器通過網絡去訪問這台機器上的文件（用socket實現），即共享這台機器上的文件,共享則意味着競爭，會發生數據不安全，需要加鎖處理。。。。

3、並發 

根據2的描述，我們必須寫一個socket服務端來管理這台機器（數據庫服務器）上的文件，然后寫一個socket客戶端，完成如下功能：

#1.遠程連接（支持並發）
#2.打開文件
#3.讀寫（加鎖）
#4.關閉文件

總結：

#我們在編寫任何程序之前，都需要事先寫好基於網絡操作一台主機上文件的程序（socket服務端與客戶端程序），於是有人將此類程序寫成一個專門的處理軟件，這就是mysql等數據庫管理軟件的由來，但mysql解決的不僅僅是數據共享的問題，還有查詢效率，安全性等一系列問題，總之，把程序員從數據管理中解脫出來，專注於自己的程序邏輯的編寫。

二 數據庫概述 

1 什么是數據（Data） 

描述事物的符號記錄稱為數據，描述事物的符號既可以是數字，也可以是文字、圖片，圖像、聲音、語言等，數據由多種表現形式，它們都可以經過數字化后存入計算機

在計算機中描述一個事物，就需要抽取這一事物的典型特征，組成一條記錄，就相當於文件里的一行內容，如：

1 egon,male,18,1999,山東,計算機系,2017,oldboy

單純的一條記錄並沒有任何意義，如果我們按逗號作為分隔，依次定義各個字段的意思，相當於定義表的標題

1 name,sex,age,birth,born_addr,major,entrance_time,school #字段
2 egon,male,18,1999,山東,計算機系,2017,oldboy #記錄

這樣我們就可以了解egon，性別為男，年齡18歲，出生於1999年，出生地為山東，2017年考入老男孩計算機系

2 什么是數據庫（DataBase，簡稱DB）

數據庫即存放數據的倉庫，只不過這個倉庫是在計算機存儲設備上，而且數據是按一定的格式存放的

過去人們將數據存放在文件櫃里，現在數據量龐大，已經不再適用

數據庫是長期存放在計算機內、有組織、可共享的數據即可。

數據庫中的數據按一定的數據模型組織、描述和儲存，具有較小的冗余度、較高的數據獨立性和易擴展性，並可為各種 用戶共享

3 什么是數據庫管理系統（DataBase Management System 簡稱DBMS）

在了解了Data與DB的概念后，如何科學地組織和存儲數據，如何高效獲取和維護數據成了關鍵

這就用到了一個系統軟件---數據庫管理系統

如MySQL、Oracle、SQLite、Access、MS SQL Server

mysql主要用於大型門戶，例如搜狗、新浪等，它主要的優勢就是開放源代碼，因為開放源代碼這個數據庫是免費的，他現在是甲骨文公司的產品。
oracle主要用於銀行、鐵路、飛機場等。該數據庫功能強大，軟件費用高。也是甲骨文公司的產品。
sql server是微軟公司的產品，主要應用於大中型企業，如聯想、方正等。

4 數據庫服務器、數據管理系統、數據庫、表與記錄的關系（重點理解！！！）

記錄：1 劉海龍  324245234 22（多個字段的信息組成一條記錄，即文件中的一行內容）

表：student,scholl,class_list（即文件）

數據庫：oldboy_stu（即文件夾）

數據庫管理系統：如mysql（是一個軟件）

數據庫服務器：一台計算機（對內存要求比較高）

總結：

    數據庫服務器-：運行數據庫管理軟件

    數據庫管理軟件：管理-數據庫

    數據庫：即文件夾，用來組織文件/表

    表：即文件，用來存放多行內容/多條記錄

5 數據庫管理技術的發展歷程(了解)

一 人工管理階段

20世紀50年代中期以前，計算機主要用於科學計算。

當時的硬件水平：外存只有紙帶、卡片、磁帶，沒有磁盤等直接存取的存儲設備

當時的軟件狀況：沒有操作系統，沒有管理數據的軟件，數據的處理方式是批處理。

人工管理數據具有以下特點：

1 數據不保存：計算機主要用於科學計算，數據臨時用，臨時輸入，不保存

2 應用程序管理數據：數據要有應用程序自己管理，應用程序需要處理數據的邏輯+物理結構，開發負擔很重

3 數據不共享：一組數據只對應一個程序，多個程序之間涉及相同數據時，必須各自定義，造成數據大量冗余

4 數據不具有獨立性：數據的邏輯結構或物理結構發生變化后，必須對應用程序做出相應的修改，開發負擔進一步加大

二 文件系統階段

20世紀50年代后期到60年代中期

硬件水平：有了磁盤、磁鼓等可直接存取的存儲設備

軟件水平：有了操作系統，並且操作系統中已經有了專門的數據管理軟件，即文件系統；處理方式上不僅有了批處理，而且能夠聯機實時處理

文件系統管理數據具有以下優點:

1 數據可以長期保存：計算機大量用於數據處理，因而數據需要長期保存，進行增刪改查操作

2 由文件系統管理數據：文件系統這個軟件，把數據組織成相對獨立的數據文件，利用按文件名，按記錄進行存取。實現了記錄內的結構性，但整體無結構。並且程序與數據之間由文件系統提供存取方法進行轉換，是應用程序與數據之間有了一定的獨立性，程序員可以不必過多考慮物理細節。

文件系統管理數據具有以下缺點：

1 數據共享性差，冗余度大：一個文件對應一個應用程序，不同應用有相同數據時，也必須建立各自的文件，不能共享相同的數據，造成數據冗余，浪費空間，且相同的數據重復存儲，各自管理，容易造成數據不一致性

2 數據獨立性差：一旦數據的邏輯結構改變，必須修改應用程序，修改文件結構的定義。應用程序的改變，也將引起文件的數據結構的改變。因此數據與程序之間缺乏獨立性。可見，文件系統仍然是一個不具有彈性的無結構的數據集合，即文件之間是孤立的，不能反映現實世界事物之間的內存聯系。

三 數據系統階段

20世紀60年代后期以來，計算機用於管理的規模越來越大，應用越來越廣泛，數據量急劇增長，同時多種應用，多種語言互相覆蓋地共享數據結合要求越來越強烈

硬件水平：有了大容量磁盤，硬件架構下降

軟件水平：軟件價格上升（開發效率必須提升，必須將程序員從數據管理中解放出來），分布式的概念盛行。

數據庫系統的特點：

1 數據結構化（如上圖odboy_stu）

2 數據共享，冗余度低，易擴充

3 數據獨立性高

4 數據由DBMS統一管理和控制

　　a：數據的安全性保護

　　b：數據的完整性檢查

　　c：並發控制

　　d：數據庫恢復

三 mysql介紹

MySQL是一個關系型數據庫管理系統，由瑞典MySQL AB 公司開發，目前屬於 Oracle 旗下公司。MySQL 最流行的關系型數據庫管理系統，在 WEB 應用方面MySQL是最好的 RDBMS (Relational Database Management System，關系數據庫管理系統) 應用軟件之一。

mysql是什么

#mysql就是一個基於socket編寫的C/S架構的軟件
#客戶端軟件
　　mysql自帶：如mysql命令，mysqldump命令等
　　python模塊：如pymysql

數據庫管理軟件分類

#分兩大類：
　　關系型：如sqllite，db2，oracle，access，sql server，MySQL，注意：sql語句通用
　　非關系型：mongodb，redis，memcache

#可以簡單的理解為：
    關系型數據庫需要有表結構
    非關系型數據庫是key-value存儲的，沒有表結構

四 下載安裝

Linux版本

#二進制rpm包安裝
yum -y install mysql-server mysql

1.解壓tar包
cd /software
tar -xzvf mysql-5.6.21-linux-glibc2.5-x86_64.tar.gz
mv mysql-5.6.21-linux-glibc2.5-x86_64 mysql-5.6.21

2.添加用戶與組
groupadd mysql
useradd -r -g mysql mysql
chown -R mysql:mysql mysql-5.6.21

3.安裝數據庫
su mysql
cd mysql-5.6.21/scripts
./mysql_install_db --user=mysql --basedir=/software/mysql-5.6.21 --datadir=/software/mysql-5.6.21/data

4.配置文件
cd /software/mysql-5.6.21/support-files
cp my-default.cnf /etc/my.cnf
cp mysql.server /etc/init.d/mysql
vim /etc/init.d/mysql   #若mysql的安裝目錄是/usr/local/mysql,則可省略此步
修改文件中的兩個變更值
basedir=/software/mysql-5.6.21
datadir=/software/mysql-5.6.21/data

5.配置環境變量
vim /etc/profile
export MYSQL_HOME="/software/mysql-5.6.21"
export PATH="$PATH:$MYSQL_HOME/bin"
source /etc/profile

6.添加自啟動服務
chkconfig --add mysql
chkconfig mysql on

7.啟動mysql
service mysql start

8.登錄mysql及改密碼與配置遠程訪問
mysqladmin -u root password 'your_password'     #修改root用戶密碼
mysql -u root -p     #登錄mysql,需要輸入密碼
mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'your_password' WITH GRANT OPTION;     #允許root用戶遠程訪問
mysql>FLUSH PRIVILEGES;     #刷新權限

1. 解壓
tar zxvf  mariadb-5.5.31-linux-x86_64.tar.gz   
mv mariadb-5.5.31-linux-x86_64 /usr/local/mysql //必需這樣，很多腳本或可執行程序都會直接訪問這個目錄

2. 權限
groupadd mysql             //增加 mysql 屬組 
useradd -g mysql mysql     //增加 mysql 用戶 並歸於mysql 屬組 
chown mysql:mysql -Rf  /usr/local/mysql    // 設置 mysql 目錄的用戶及用戶組歸屬。 
chmod +x -Rf /usr/local/mysql    //賜予可執行權限 

3. 拷貝配置文件
cp /usr/local/mysql/support-files/my-medium.cnf /etc/my.cnf     //復制默認mysql配置 文件到/etc目錄 

4. 初始化
/usr/local/mysql/scripts/mysql_install_db --user=mysql          //初始化數據庫 
cp  /usr/local/mysql/support-files/mysql.server    /etc/init.d/mysql    //復制mysql服務程序 到系統目錄 
chkconfig  mysql on     //添加mysql 至系統服務並設置為開機啟動 
service  mysql  start  //啟動mysql

5. 環境變量配置
vim /etc/profile   //編輯profile,將mysql的可執行路徑加入系統PATH
export PATH=/usr/local/mysql/bin:$PATH 
source /etc/profile  //使PATH生效。

6. 賬號密碼
mysqladmin -u root password 'yourpassword' //設定root賬號及密碼
mysql -u root -p  //使用root用戶登錄mysql
use mysql  //切換至mysql數據庫。
select user,host,password from user; //查看系統權限
drop user ''@'localhost'; //刪除不安全的賬戶
drop user root@'::1';
drop user root@127.0.0.1;
select user,host,password from user; //再次查看系統權限，確保不安全的賬戶均被刪除。
flush privileges;  //刷新權限

7. 一些必要的初始配置
1）修改字符集為UTF8
vi /etc/my.cnf
在[client]下面添加 default-character-set = utf8
在[mysqld]下面添加 character_set_server = utf8
2）增加錯誤日志
vi /etc/my.cnf
在[mysqld]下面添加：
log-error = /usr/local/mysql/log/error.log
general-log-file = /usr/local/mysql/log/mysql.log
3) 設置為不區分大小寫，linux下默認會區分大小寫。
vi /etc/my.cnf
在[mysqld]下面添加：
lower_case_table_name=1

修改完重啟：#service  mysql  restart

Window版本

#1、下載：MySQL Community Server 5.7.16
http://dev.mysql.com/downloads/mysql/

#2、解壓
如果想要讓MySQL安裝在指定目錄，那么就將解壓后的文件夾移動到指定目錄，如：C:\mysql-5.7.16-winx64

#3、添加環境變量
【右鍵計算機】--》【屬性】--》【高級系統設置】--》【高級】--》【環境變量】--》【在第二個內容框中找到 變量名為Path 的一行，雙擊】 --> 【將MySQL的bin目錄路徑追加到變值值中，用 ； 分割】
 
#4、初始化
mysqld --initialize-insecure

#5、啟動MySQL服務
mysqld # 啟動MySQL服務

#6、啟動MySQL客戶端並連接MySQL服務
mysql -u root -p # 連接MySQL服務器

上一步解決了一些問題，但不夠徹底，因為在執行【mysqd】啟動MySQL服務器時，當前終端會被hang住，那么做一下設置即可解決此問題：



注意：--install前，必須用mysql啟動命令的絕對路徑
# 制作MySQL的Windows服務，在終端執行此命令：
"c:\mysql-5.7.16-winx64\bin\mysqld" --install
 
# 移除MySQL的Windows服務，在終端執行此命令：
"c:\mysql-5.7.16-winx64\bin\mysqld" --remove



注冊成服務之后，以后再啟動和關閉MySQL服務時，僅需執行如下命令：
# 啟動MySQL服務
net start mysql
 
# 關閉MySQL服務
net stop mysql

五 mysql軟件基本管理

1. 啟動查看

[root@egon ~]# systemctl start mariadb #啟動
[root@egon ~]# systemctl enable mariadb #設置開機自啟動
Created symlink from /etc/systemd/system/multi-user.target.wants/mariadb.service to /usr/lib/systemd/system/mariadb.service.
[root@egon ~]# ps aux |grep mysqld |grep -v grep #查看進程，mysqld_safe為啟動mysql的腳本文件，內部調用mysqld命令
mysql     3329  0.0  0.0 113252  1592 ?        Ss   16:19   0:00 /bin/sh /usr/bin/mysqld_safe --basedir=/usr
mysql     3488  0.0  2.3 839276 90380 ?        Sl   16:19   0:00 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
[root@egon ~]# netstat -an |grep 3306 #查看端口
tcp        0      0 0.0.0.0:3306            0.0.0.0:*               LISTEN  
[root@egon ~]# ll -d /var/lib/mysql #權限不對，啟動不成功，注意user和group
drwxr-xr-x 5 mysql mysql 4096 Jul 20 16:28 /var/lib/mysql

安裝完mysql 之后，登陸以后，不管運行任何命令，總是提示這個
mac mysql error You must reset your password using ALTER USER statement before executing this statement.
解決方法：
step 1: SET PASSWORD = PASSWORD('your new password');
step 2: ALTER USER 'root'@'localhost' PASSWORD EXPIRE NEVER;
step 3: flush privileges;

2. 登錄，設置密碼

初始狀態下，管理員root，密碼為空，默認只允許從本機登錄localhost
設置密碼
[root@egon ~]# mysqladmin -uroot password "123"        設置初始密碼 由於原密碼為空，因此-p可以不用
[root@egon ~]# mysqladmin -uroot -p"123" password "456"        修改mysql密碼,因為已經有密碼了，所以必須輸入原密碼才能設置新密碼

命令格式:
[root@egon ~]# mysql -h172.31.0.2 -uroot -p456
[root@egon ~]# mysql -uroot -p
[root@egon ~]# mysql                    以root用戶登錄本機，密碼為空

3. 忘記密碼

linux平台下，破解密碼的兩種方式

[root@egon ~]# rm -rf /var/lib/mysql/mysql #所有授權信息全部丟失！！！
[root@egon ~]# systemctl restart mariadb
[root@egon ~]# mysql

[root@egon ~]# vim /etc/my.cnf    #mysql主配置文件
[mysqld]
skip-grant-table
[root@egon ~]# systemctl restart mariadb
[root@egon ~]# mysql
MariaDB [(none)]> update mysql.user set password=password("123") where user="root" and host="localhost";
MariaDB [(none)]> flush privileges;
MariaDB [(none)]> \q
[root@egon ~]# #打開/etc/my.cnf去掉skip-grant-table,然后重啟
[root@egon ~]# systemctl restart mariadb
[root@egon ~]# mysql -u root -p123 #以新密碼登錄

windows平台下，5.7版本mysql，破解密碼的兩種方式：

#1 關閉mysql
#2 在cmd中執行：mysqld --skip-grant-tables
#3 在cmd中執行：mysql
#4 執行如下sql：
update mysql.user set authentication_string=password('') where user = 'root';
flush privileges;

#5 tskill mysqld #或taskkill -f /PID 7832
#6 重新啟動mysql

#1. 關閉mysql，可以用tskill mysqld將其殺死
#2. 在解壓目錄下，新建mysql配置文件my.ini
#3. my.ini內容,指定
[mysqld]
skip-grant-tables

#4.啟動mysqld
#5.在cmd里直接輸入mysql登錄，然后操作
update mysql.user set authentication_string=password('') where user='root and host='localhost';

flush privileges;

#6.注釋my.ini中的skip-grant-tables，然后啟動myqsld，然后就可以以新密碼登錄了

4. 在windows下，為mysql服務指定配置文件

強調：配置文件中的注釋可以有中文，但是配置項中不能出現中文

#在mysql的解壓目錄下，新建my.ini,然后配置
#1. 在執行mysqld命令時，下列配置會生效，即mysql服務啟動時生效
[mysqld]
;skip-grant-tables
port=3306
character_set_server=utf8
default-storage-engine=innodb
innodb_file_per_table=1


#解壓的目錄
basedir=E:\mysql-5.7.19-winx64
#data目錄
datadir=E:\my_data #在mysqld --initialize時，就會將初始數據存入此處指定的目錄，在初始化之后，啟動mysql時，就會去這個目錄里找數據



#2. 針對客戶端命令的全局配置，當mysql客戶端命令執行時，下列配置生效
[client]
port=3306
default-character-set=utf8
user=root
password=123

#3. 只針對mysql這個客戶端的配置，2中的是全局配置，而此處的則是只針對mysql這個命令的局部配置
[mysql]
;port=3306
;default-character-set=utf8
user=egon
password=4573


#！！！如果沒有[mysql],則用戶在執行mysql命令時的配置以[client]為准

5. 統一字符編碼

#1. 修改配置文件
[mysqld]
default-character-set=utf8 
[client]
default-character-set=utf8 
[mysql]
default-character-set=utf8

#mysql5.5以上：修改方式有所改動
[mysqld]
character-set-server=utf8
collation-server=utf8_general_ci
[client]
default-character-set=utf8
[mysql]
default-character-set=utf8

#2. 重啟服務
#3. 查看修改結果：
\s
show variables like '%char%'

六 初識sql語句

有了mysql這個數據庫軟件，就可以將程序員從對數據的管理中解脫出來，專注於對程序邏輯的編寫

mysql服務端軟件即mysqld幫我們管理好文件夾以及文件，前提是作為使用者的我們，需要下載mysql的客戶端，或者其他模塊來連接到mysqld，然后使用mysql軟件規定的語法格式去提交自己命令，實現對文件夾或文件的管理。該語法即sql（Structured Query Language 即結構化查詢語言）

SQL語言主要用於存取數據、查詢數據、更新數據和管理關系數據庫系統,SQL語言由IBM開發。SQL語言分為3種類型：
#1、DDL語句    數據庫定義語言： 數據庫、表、視圖、索引、存儲過程，例如CREATE DROP ALTER
#2、DML語句    數據庫操縱語言： 插入數據INSERT、刪除數據DELETE、更新數據UPDATE、查詢數據SELECT
#3、DCL語句    數據庫控制語言： 例如控制用戶的訪問權限GRANT、REVOKE

#1. 操作文件夾
        增：create database db1 charset utf8;
        查：show databases;
        改：alter database db1 charset latin1;
        刪除: drop database db1;


#2. 操作文件
    先切換到文件夾下：use db1
        增：create table t1(id int,name char);
        查：show tables
        改：alter table t1 modify name char(3);
              alter table t1 change name name1 char(2);
        刪：drop table t1;
    

#3. 操作文件中的內容/記錄
        增：insert into t1 values(1,'egon1'),(2,'egon2'),(3,'egon3');
        查：select * from t1;
        改：update t1 set name='sb' where id=2;
        刪：delete from t1 where id=1;

        清空表：
            delete from t1; #如果有自增id，新增的數據，仍然是以刪除前的最后一樣作為起始。
            truncate table t1;數據量大，刪除速度比上一條快，且直接從零開始，

            auto_increment 表示：自增
            primary key 表示：約束（不能重復且不能為空）；加速查找