----------------------------------------------------------------------------------------------------------基礎部分----------------------------------------------------------------------------------------------------------------------------
1. 主鍵 超鍵 候選鍵 外鍵
主 鍵:
數據庫表中對儲存數據對象予以唯一和完整標識的數據列或屬性的組合。一個數據列只能有一個主鍵,且主鍵的取值不能缺失,即不能為空值(Null)。
超 鍵:
在關系中能唯一標識元組的屬性集稱為關系模式的超鍵。一個屬性可以為作為一個超鍵,多個屬性組合在一起也可以作為一個超鍵。超鍵包含候選鍵和主鍵。
候選鍵:
是最小超鍵,即沒有冗余元素的超鍵。
外 鍵:
在一個表中存在的另一個表的主鍵稱此表的外鍵。
2.數據庫事務的四個特性及含義
數據庫事務transanction正確執行的四個基本要素。ACID,原子性(Atomicity)、一致性(Correspondence)、隔離性(Isolation)、持久性(Durability)。
原子性:整個事務中的所有操作,要么全部完成,要么全部不完成,不可能停滯在中間某個環節。事務在執行過程中發生錯誤,會被回滾(Rollback)到事務開始前的狀態,就像這個事務從來沒有執行過一樣。
一致性:在事務開始之前和事務結束以后,數據庫的完整性約束沒有被破壞。
隔離性:隔離狀態執行事務,使它們好像是系統在給定時間內執行的唯一操作。如果有兩個事務,運行在相同的時間內,執行 相同的功能,事務的隔離性將確保每一事務在系統中認為只有該事務在使用系統。這種屬性有時稱為串行化,為了防止事務操作間的混淆,必須串行化或序列化請 求,使得在同一時間僅有一個請求用於同一數據。
持久性:在事務完成以后,該事務所對數據庫所作的更改便持久的保存在數據庫之中,並不會被回滾。
3.視圖的作用,視圖可以更改么?
視圖是虛擬的表,與包含數據的表不一樣,視圖只包含使用時動態檢索數據的查詢;不包含任何列或數據。使用視圖可以簡化復雜的sql操作,隱藏具體的細節,保護數據;視圖創建后,可以使用與表相同的方式利用它們。
視圖不能被索引,也不能有關聯的觸發器或默認值,如果視圖本身內有order by 則對視圖再次order by將被覆蓋。
創建視圖:create view XXX as XXXXXXXXXXXXXX;
對於某些視圖比如未使用聯結子查詢分組聚集函數Distinct Union等,是可以對其更新的,對視圖的更新將對基表進行更新;但是視圖主要用於簡化檢索,保護數據,並不用於更新,而且大部分視圖都不可以更新。
4.drop,delete與truncate的區別
drop直接刪掉表 truncate刪除表中數據,再插入時自增長id又從1開始 delete刪除表中數據,可以加where字句。
(1) DELETE語句執行刪除的過程是每次從表中刪除一行,並且同時將該行的刪除操作作為事務記錄在日志中保存以便進行進行回滾操作。TRUNCATE TABLE 則一次性地從表中刪除所有的數據並不把單獨的刪除操作記錄記入日志保存,刪除行是不能恢復的。並且在刪除的過程中不會激活與表有關的刪除觸發器。執行速度快。
(2) 表和索引所占空間。當表被TRUNCATE 后,這個表和索引所占用的空間會恢復到初始大小,而DELETE操作不會減少表或索引所占用的空間。drop語句將表所占用的空間全釋放掉。
(3) 一般而言,drop > truncate > delete
(4) 應用范圍。TRUNCATE 只能對TABLE;DELETE可以是table和view
(5) DELETE只刪除數據,而DROP則刪除整個表(結構和數據)。
(6) truncate與不帶where的delete :只刪除數據,而不刪除表的結構(定義)drop語句將刪除表的結構被依賴的約束(constrain),觸發器(trigger)索引(index);依賴於該表的存儲過程/函數將被保留,但其狀態會變為:invalid。
(7) delete語句為DML(data maintain Language),這個操作會被放到 rollback segment中,事務提交后才生效。如果有相應的 tigger,執行的時候將被觸發。
(8) truncate、drop是DLL(data define language),操作立即生效,原數據不放到 rollback segment中,不能回滾
(9) 在沒有備份情況下,謹慎使用 drop 與 truncate。要刪除部分數據行采用delete且注意結合where來約束影響范圍。回滾段要足夠大。要刪除表用drop;若想保留表而將表中數據刪除,如果於事務無關,用truncate即可實現。如果和事務有關,或老師想觸發trigger,還是用delete。
(10) Truncate table 表名 速度快,而且效率高,因為:
truncate table 在功能上與不帶 WHERE 子句的 DELETE 語句相同:二者均刪除表中的全部行。但 TRUNCATE TABLE 比 DELETE 速度快,且使用的系統和事務日志資源少。DELETE 語句每次刪除一行,並在事務日志中為所刪除的每行記錄一項。TRUNCATE TABLE 通過釋放存儲表數據所用的數據頁來刪除數據,並且只在事務日志中記錄頁的釋放。
(11) TRUNCATE TABLE 刪除表中的所有行,但表結構及其列、約束、索引等保持不變。新行標識所用的計數值重置為該列的種子。如果想保留標識計數值,請改用 DELETE。如果要刪除表定義及其數據,請使用 DROP TABLE 語句。
(12) 對於由 FOREIGN KEY 約束引用的表,不能使用 TRUNCATE TABLE,而應使用不帶 WHERE 子句的 DELETE 語句。由於 TRUNCATE TABLE 不記錄在日志中,所以它不能激活觸發器。
5.索引的工作原理及其種類
數據庫索引,是數據庫管理系統中一個排序的數據結構,以協助快速查詢、更新數據庫表中數據。索引的實現通常使用B樹及其變種B+樹。
在數據之外,數據庫系統還維護着滿足特定查找算法的數據結構,這些數據結構以某種方式引用(指向)數據,這樣就可以在這些數據結構上實現高級查找算法。這種數據結構,就是索引。
為表設置索引要付出代價的:一是增加了數據庫的存儲空間,二是在插入和修改數據時要花費較多的時間(因為索引也要隨之變動)。
圖展示了一種可能的索引方式。左邊是數據表,一共有兩列七條記錄,最左邊的是數據記錄的物理地址(注意邏輯上相鄰的記錄在磁盤上也並不是一定物理相鄰的)。為了加快Col2的查找,可以維護一個右邊所示的二叉查找樹,每個節點分別包含索引鍵值和一個指向對應數據記錄物理地址的指針,這樣就可以運用二叉查找在O(log2n)的復雜度內獲取到相應數據。
創建索引可以大大提高系統的性能。
第一,通過創建唯一性索引,可以保證數據庫表中每一行數據的唯一性。
第二,可以大大加快數據的檢索速度,這也是創建索引的最主要的原因。
第三,可以加速表和表之間的連接,特別是在實現數據的參考完整性方面特別有意義。
第四,在使用分組和排序子句進行數據檢索時,同樣可以顯著減少查詢中分組和排序的時間。
第五,通過使用索引,可以在查詢的過程中,使用優化隱藏器,提高系統的性能。
也許會有人要問:增加索引有如此多的優點,為什么不對表中的每一個列創建一個索引呢?因為,增加索引也有許多不利的方面。
第一,創建索引和維護索引要耗費時間,這種時間隨着數據量的增加而增加。
第二,索引需要占物理空間,除了數據表占數據空間之外,每一個索引還要占一定的物理空間,如果要建立聚簇索引,那么需要的空間就會更大。
第三,當對表中的數據進行增加、刪除和修改的時候,索引也要動態的維護,這樣就降低了數據的維護速度。
索引是建立在數據庫表中的某些列的上面。在創建索引的時候,應該考慮在哪些列上可以創建索引,在哪些列上不能創建索引。一般來說,應該在這些列上創建索引:在經常需要搜索的列上,可以加快搜索的速度;在作為主鍵的列上,強制該列的唯一性和組織表中數據的排列結構;在經常用在連接的列上,這些列主要是一些外鍵,可以加快連接的速度;在經常需要根據范圍進行搜索的列上創建索引,因為索引已經排序,其指定的范圍是連續的;在經常需要排序的列上創建索引,因為索引已經排序,這樣查詢可以利用索引的排序,加快排序查詢時間;在經常使用在WHERE子句中的列上面創建索引,加快條件的判斷速度。
同樣,對於有些列不應該創建索引。一般來說,不應該創建索引的的這些列具有下列特點:
第一,對於那些在查詢中很少使用或者參考的列不應該創建索引。這是因為,既然這些列很少使用到,因此有索引或者無索引,並不能提高查詢速度。相反,由於增加了索引,反而降低了系統的維護速度和增大了空間需求。
第二,對於那些只有很少數據值的列也不應該增加索引。這是因為,由於這些列的取值很少,例如人事表的性別列,在查詢的結果中,結果集的數據行占了表中數據行的很大比例,即需要在表中搜索的數據行的比例很大。增加索引,並不能明顯加快檢索速度。
第三,對於那些定義為text, image和bit數據類型的列不應該增加索引。這是因為,這些列的數據量要么相當大,要么取值很少。
第四,當修改性能遠遠大於檢索性能時,不應該創建索引。這是因為,修改性能和檢索性能是互相矛盾的。當增加索引時,會提高檢索性能,但是會降低修改性能。當減少索引時,會提高修改性能,降低檢索性能。因此,當修改性能遠遠大於檢索性能時,不應該創建索引。
根據數據庫的功能,可以在數據庫設計器中創建三種索引:唯一索引、主鍵索引和聚集索引。
唯一索引
唯一索引是不允許其中任何兩行具有相同索引值的索引。
當現有數據中存在重復的鍵值時,大多數數據庫不允許將新創建的唯一索引與表一起保存。數據庫還可能防止添加將在表中創建重復鍵值的新數據。例如,如果在employee表中職員的姓(lname)上創建了唯一索引,則任何兩個員工都不能同姓。 主鍵索引 數據庫表經常有一列或列組合,其值唯一標識表中的每一行。該列稱為表的主鍵。 在數據庫關系圖中為表定義主鍵將自動創建主鍵索引,主鍵索引是唯一索引的特定類型。該索引要求主鍵中的每個值都唯一。當在查詢中使用主鍵索引時,它還允許對數據的快速訪問。 聚集索引 在聚集索引中,表中行的物理順序與鍵值的邏輯(索引)順序相同。一個表只能包含一個聚集索引。
如果某索引不是聚集索引,則表中行的物理順序與鍵值的邏輯順序不匹配。與非聚集索引相比,聚集索引通常提供更快的數據訪問速度。
局部性原理與磁盤預讀
由於存儲介質的特性,磁盤本身存取就比主存慢很多,再加上機械運動耗費,磁盤的存取速度往往是主存的幾百分分之一,因此為了提高效率,要盡量減少磁盤I/O。為了達到這個目的,磁盤往往不是嚴格按需讀取,而是每次都會預讀,即使只需要一個字節,磁盤也會從這個位置開始,順序向后讀取一定長度的數據放入內存。這樣做的理論依據是計算機科學中著名的局部性原理:當一個數據被用到時,其附近的數據也通常會馬上被使用。程序運行期間所需要的數據通常比較集中。
由於磁盤順序讀取的效率很高(不需要尋道時間,只需很少的旋轉時間),因此對於具有局部性的程序來說,預讀可以提高I/O效率。
預讀的長度一般為頁(page)的整倍數。頁是計算機管理存儲器的邏輯塊,硬件及操作系統往往將主存和磁盤存儲區分割為連續的大小相等的塊,每個存儲塊稱為一頁(在許多操作系統中,頁得大小通常為4k),主存和磁盤以頁為單位交換數據。當程序要讀取的數據不在主存中時,會觸發一個缺頁異常,此時系統會向磁盤發出讀盤信號,磁盤會找到數據的起始位置並向后連續讀取一頁或幾頁載入內存中,然后異常返回,程序繼續運行。
B-/+Tree索引的性能分析
到這里終於可以分析B-/+Tree索引的性能了。
上文說過一般使用磁盤I/O次數評價索引結構的優劣。先從B-Tree分析,根據B-Tree的定義,可知檢索一次最多需要訪問h個節點。數據庫系統的設計者巧妙利用了磁盤預讀原理,將一個節點的大小設為等於一個頁,這樣每個節點只需要一次I/O就可以完全載入。為了達到這個目的,在實際實現B-Tree還需要使用如下技巧:
每次新建節點時,直接申請一個頁的空間,這樣就保證一個節點物理上也存儲在一個頁里,加之計算機存儲分配都是按頁對齊的,就實現了一個node只需一次I/O。
B-Tree中一次檢索最多需要h-1次I/O(根節點常駐內存),漸進復雜度為O(h)=O(logdN)。一般實際應用中,出度d是非常大的數字,通常超過100,因此h非常小(通常不超過3)。
而紅黑樹這種結構,h明顯要深的多。由於邏輯上很近的節點(父子)物理上可能很遠,無法利用局部性,所以紅黑樹的I/O漸進復雜度也為O(h),效率明顯比B-Tree差很多。
綜上所述,用B-Tree作為索引結構效率是非常高的。
6.連接的種類
查詢分析器中執行:
--建表table1,table2:
create table table1(id int,name varchar(10))
create table table2(id int,score int)
insert into table1 select 1,'lee'
insert into table1 select 2,'zhang'
insert into table1 select 4,'wang'
insert into table2 select 1,90
insert into table2 select 2,100
insert into table2 select 3,70
如表
-------------------------------------------------
table1 | table2 |
-------------------------------------------------
id name |id score |
1 lee |1 90|
2 zhang| 2 100|
4 wang| 3 70|
-------------------------------------------------
以下均在查詢分析器中執行
一、外連接
1.概念:包括左向外聯接、右向外聯接或完整外部聯接
2.左連接:left join 或 left outer join
(1)左向外聯接的結果集包括 LEFT OUTER 子句中指定的左表的所有行,而不僅僅是聯接列所匹配的行。如果左表的某行在右表中沒有匹配行,則在相關聯的結果集行中右表的所有選擇列表列均為空值(null)。
(2)sql 語句
select * from table1 left join table2 on table1.id=table2.id
-------------結果-------------
idnameidscore
------------------------------
1lee190
2zhang2100
4wangNULLNULL
------------------------------
注釋:包含table1的所有子句,根據指定條件返回table2相應的字段,不符合的以null顯示
3.右連接:right join 或 right outer join
(1)右向外聯接是左向外聯接的反向聯接。將返回右表的所有行。如果右表的某行在左表中沒有匹配行,則將為左表返回空值。
(2)sql 語句
select * from table1 right join table2 on table1.id=table2.id
-------------結果-------------
idnameidscore
------------------------------
1lee190
2zhang2100
NULLNULL370
------------------------------
注釋:包含table2的所有子句,根據指定條件返回table1相應的字段,不符合的以null顯示
4.完整外部聯接:full join 或 full outer join
(1)完整外部聯接返回左表和右表中的所有行。當某行在另一個表中沒有匹配行時,則另一個表的選擇列表列包含空值。如果表之間有匹配行,則整個結果集行包含基表的數據值。
(2)sql 語句
select * from table1 full join table2 on table1.id=table2.id
-------------結果-------------
idnameidscore
------------------------------
1lee190
2zhang2100
4wangNULLNULL
NULLNULL370
------------------------------
注釋:返回左右連接的和(見上左、右連接)
二、內連接
1.概念:內聯接是用比較運算符比較要聯接列的值的聯接
2.內連接:join 或 inner join
3.sql 語句
select * from table1 join table2 on table1.id=table2.id
-------------結果-------------
idnameidscore
------------------------------
1lee190
2zhang2100
------------------------------
注釋:只返回符合條件的table1和table2的列
4.等價(與下列執行效果相同)
A:select a.*,b.* from table1 a,table2 b where a.id=b.id
B:select * from table1 cross join table2 where table1.id=table2.id (注:cross join后加條件只能用where,不能用on)
三、交叉連接(完全)
1.概念:沒有 WHERE 子句的交叉聯接將產生聯接所涉及的表的笛卡爾積。第一個表的行數乘以第二個表的行數等於笛卡爾積結果集的大小。(table1和table2交叉連接產生3*3=9條記錄)
2.交叉連接:cross join (不帶條件where...)
3.sql語句
select * from table1 cross join table2
-------------結果-------------
idnameidscore
------------------------------
1lee190
2zhang190
4wang190
1lee2100
2zhang2100
4wang2100
1lee370
2zhang370
4wang370
------------------------------
注釋:返回3*3=9條記錄,即笛卡爾積
4.等價(與下列執行效果相同)
A:select * from table1,table2
7.數據庫范式
1 第一范式(1NF)
在任何一個關系數據庫中,第一范式(1NF)是對關系模式的基本要求,不滿足第一范式(1NF)的數據庫就不是關系數據庫。
所謂第一范式(1NF)是指數據庫表的每一列都是不可分割的基本數據項,同一列中不能有多個值,即實體中的某個屬性不能有多個值或者不能有重復的屬性。如果出現重復的屬性,就可能需要定義一個新的實體,新的實體由重復的屬性構成,新實體與原實體之間為一對多關系。在第一范式(1NF)中表的每一行只包含一個實例的信息。簡而言之,第一范式就是無重復的列。
2 第二范式(2NF)
第二范式(2NF)是在第一范式(1NF)的基礎上建立起來的,即滿足第二范式(2NF)必須先滿足第一范式(1NF)。第二范式(2NF)要求數據庫表中的每個實例或行必須可以被惟一地區分。為實現區分通常需要為表加上一個列,以存儲各個實例的惟一標識。這個惟一屬性列被稱為主關鍵字或主鍵、主碼。
第二范式(2NF)要求實體的屬性完全依賴於主關鍵字。所謂完全依賴是指不能存在僅依賴主關鍵字一部分的屬性,如果存在,那么這個屬性和主關鍵字的這一部分應該分離出來形成一個新的實體,新實體與原實體之間是一對多的關系。為實現區分通常需要為表加上一個列,以存儲各個實例的惟一標識。簡而言之,第二范式就是非主屬性非部分依賴於主關鍵字。
3 第三范式(3NF)
滿足第三范式(3NF)必須先滿足第二范式(2NF)。簡而言之,第三范式(3NF)要求一個數據庫表中不包含已在其它表中已包含的非主關鍵字信息。例如,存在一個部門信息表,其中每個部門有部門編號(dept_id)、部門名稱、部門簡介等信息。那么在員工信息表中列出部門編號后就不能再將部門名稱、部門簡介等與部門有關的信息再加入員工信息表中。如果不存在部門信息表,則根據第三范式(3NF)也應該構建它,否則就會有大量的數據冗余。簡而言之,第三范式就是屬性不依賴於其它非主屬性。(我的理解是消除冗余)
8.數據庫優化的思路
這個我借鑒了慕課上關於數據庫優化的課程。
1.SQL語句優化
1)應盡量避免在 where 子句中使用!=或<>操作符,否則將引擎放棄使用索引而進行全表掃描。
2)應盡量避免在 where 子句中對字段進行 null 值判斷,否則將導致引擎放棄使用索引而進行全表掃描,如:
select id from t where num is null
可以在num上設置默認值0,確保表中num列沒有null值,然后這樣查詢:
select id from t where num=0
3)很多時候用 exists 代替 in 是一個好的選擇
4)用Where子句替換HAVING 子句 因為HAVING 只會在檢索出所有記錄之后才對結果集進行過濾
2.索引優化
看上文索引
3.數據庫結構優化
1)范式優化: 比如消除冗余(節省空間。。) 2)反范式優化:比如適當加冗余等(減少join) 3)拆分表: 分區將數據在物理上分隔開,不同分區的數據可以制定保存在處於不同磁盤上的數據文件里。這樣,當對這個表進行查詢時,只需要在表分區中進行掃描,而不必進行全表掃描,明顯縮短了查詢時間,另外處於不同磁盤的分區也將對這個表的數據傳輸分散在不同的磁盤I/O,一個精心設置的分區可以將數據傳輸對磁盤I/O競爭均勻地分散開。對數據量大的時時表可采取此方法。可按月自動建表分區。
4)拆分其實又分垂直拆分和水平拆分: 案例: 簡單購物系統暫設涉及如下表: 1.產品表(數據量10w,穩定) 2.訂單表(數據量200w,且有增長趨勢) 3.用戶表 (數據量100w,且有增長趨勢) 以mysql為例講述下水平拆分和垂直拆分,mysql能容忍的數量級在百萬靜態數據可以到千萬 垂直拆分:解決問題:表與表之間的io競爭 不解決問題:單表中數據量增長出現的壓力 方案: 把產品表和用戶表放到一個server上 訂單表單獨放到一個server上 水平拆分: 解決問題:單表中數據量增長出現的壓力 不解決問題:表與表之間的io爭奪
方案: 用戶表通過性別拆分為男用戶表和女用戶表 訂單表通過已完成和完成中拆分為已完成訂單和未完成訂單 產品表 未完成訂單放一個server上 已完成訂單表盒男用戶表放一個server上 女用戶表放一個server上(女的愛購物 哈哈)
4.服務器硬件優化
這個么多花錢咯!
9.存儲過程與觸發器的區別
觸發器與存儲過程非常相似,觸發器也是SQL語句集,兩者唯一的區別是觸發器不能用EXECUTE語句調用,而是在用戶執行Transact-SQL語句時自動觸發(激活)執行。觸發器是在一個修改了指定表中的數據時執行的存儲過程。通常通過創建觸發器來強制實現不同表中的邏輯相關數據的引用完整性和一致性。由於用戶不能繞過觸發器,所以可以用它來強制實施復雜的業務規則,以確保數據的完整性。觸發器不同於存儲過程,觸發器主要是通過事件執行觸發而被執行的,而存儲過程可以通過存儲過程名稱名字而直接調用。當對某一表進行諸如UPDATE、INSERT、DELETE這些操作時,SQLSERVER就會自動執行觸發器所定義的SQL語句,從而確保對數據的處理必須符合這些SQL語句所定義的規則。
---------------------------------------------------------------------------------------------------------高級篇------------------------------------------------------------------------------------------------------------------------
1、MySQL的復制原理以及流程
(1)、復制基本原理流程
1. 主:binlog線程——記錄下所有改變了數據庫數據的語句,放進master上的binlog中; 2. 從:io線程——在使用start slave 之后,負責從master上拉取 binlog 內容,放進 自己的relay log中; 3. 從:sql執行線程——執行relay log中的語句;
(2)、MySQL復制的線程有幾個及之間的關聯
MySQL 的復制是基於如下 3 個線程的交互( 多線程復制里面應該是 4 類線程): 1. Master 上面的 binlog dump 線程,該線程負責將 master 的 binlog event 傳到slave; 2. Slave 上面的 IO 線程,該線程負責接收 Master 傳過來的 binlog,並寫入 relay log; 3. Slave 上面的 SQL 線程,該線程負責讀取 relay log 並執行; 4. 如果是多線程復制,無論是 5.6 庫級別的假多線程還是 MariaDB 或者 5.7 的真正的多線程復制, SQL 線程只做 coordinator,只負責把 relay log 中的 binlog讀出來然后交給 worker 線程, woker 線程負責具體 binlog event 的執行;
(3)、MySQL如何保證復制過程中數據一致性及減少數據同步延時
一致性主要有以下幾個方面:
1.在 MySQL5.5 以及之前, slave 的 SQL 線程執行的 relay log 的位置只能保存在文件( relay-log.info)里面,並且該文件默認每執行 10000 次事務做一次同步到磁盤, 這意味着 slave 意外 crash 重啟時, SQL 線程執行到的位置和數據庫的數據是不一致的,將導致復制報錯,如果不重搭復制,則有可能會 導致數據不一致。 MySQL 5.6 引入參數 relay_log_info_repository,將該參數設置為 TABLE 時, MySQL 將 SQL 線程執行到的位置存到mysql.slave_relay_log_info 表,這樣更新該表的位置和 SQL 線程執行的用戶事務綁定成一個事務,這樣 slave 意外宕機后, slave 通過 innodb 的崩潰 恢復可以把 SQL 線程執行到的位置和用戶事務恢復到一致性的狀態。 2. MySQL 5.6 引入 GTID 復制,每個 GTID 對應的事務在每個實例上面最多執行一次, 這極大地提高了復制的數據一致性; 3. MySQL 5.5 引入半同步復制, 用戶安裝半同步復制插件並且開啟參數后,設置超時時間,可保證在超時時間內如果 binlog 不傳到 slave 上面,那么用戶提交事務時不會返回,直到超時后切成異步復制,但是如果切成異步之前用戶線程提交時在 master 上面等待的時候,事務已經提交,該事務對 master 上面的其他 session 是可見的,如果這時 master 宕機,那么到 slave 上面該事務又不可見了,該問題直到 5.7 才解決; 4. MySQL 5.7 引入無損半同步復制,引入參 rpl_semi_sync_master_wait_point,該參數默認為 after_sync,指的是在切成半同步之前,事務不提交,而是接收到 slave 的 ACK 確認之后才提交該事務,從此,復制真正可以做到無損的了。 5.可以再說一下 5.7 的無損復制情況下, master 意外宕機,重啟后發現有 binlog沒傳到 slave 上面,這部分 binlog 怎么辦???分 2 種情況討論, 1 宕機時已經切成異步了, 2 是宕機時還沒切成異步??? 這個怎么判斷宕機時有沒有切成異步呢??? 分別怎么處理???
延時性:
5.5 是單線程復制, 5.6 是多庫復制(對於單庫或者單表的並發操作是沒用的), 5.7 是真正意義的多線程復制,它的原理是基於 group commit, 只要 master 上面的事務是 group commit 的,那 slave 上面也可以通過多個 worker線程去並發執行。 和 MairaDB10.0.0.5 引入多線程復制的原理基本一樣。
(4)、工作遇到的復制 bug 的解決方法
5.6 的多庫復制有時候自己會停止,我們寫了一個腳本重新 start slave;待補充…
2、MySQL中myisam與innodb的區別,至少5點
(1)、問5點不同
1.InnoDB支持事物,而MyISAM不支持事物 2.InnoDB支持行級鎖,而MyISAM支持表級鎖 3.InnoDB支持MVCC, 而MyISAM不支持 4.InnoDB支持外鍵,而MyISAM不支持 5.InnoDB不支持全文索引,而MyISAM支持。
6.InnoDB不能通過直接拷貝表文件的方法拷貝表到另外一台機器, myisam 支持
7.InnoDB表支持多種行格式, myisam 不支持
8.InnoDB是索引組織表, myisam 是堆表
(2)、innodb引擎的4大特性
1.插入緩沖(insert buffer) 2.二次寫(double write) 3.自適應哈希索引(ahi) 4.預讀(read ahead)
(3)、各種不同 mysql 版本的Innodb的改進
MySQL5.6 下 Innodb 引擎的主要改進: ( 1) online DDL ( 2) memcached NoSQL 接口 ( 3) transportable tablespace( alter table discard/import tablespace) ( 4) MySQL 正常關閉時,可以 dump 出 buffer pool 的( space, page_no),重啟時 reload,加快預熱速度 ( 5) 索引和表的統計信息持久化到 mysql.innodb_table_stats 和mysql.innodb_index_stats,可提供穩定的執行計划 ( 6) Compressed row format 支持壓縮表
MySQL 5.7 innodb 引擎主要改進 ( 1) 修改 varchar 字段長度有時可以使用 online DDL ( 2) Buffer pool 支持在線改變大小 ( 3) Buffer pool 支持導出部分比例 ( 4) 支持新建 innodb tablespace,並可以在其中創建多張表 ( 5) 磁盤臨時表采用 innodb 存儲,並且存儲在 innodb temp tablespace 里面,以前是 myisam 存儲 ( 6) 透明表空間壓縮功能
(4)、2者select count(*)哪個更快,為什么
myisam更快,因為myisam內部維護了一個計數器,可以直接調取。
(5)、2 者的索引的實現方式
都是 B+樹索引, Innodb 是索引組織表, myisam 是堆表, 索引組織表和堆表的區別要熟悉
3、MySQL中varchar與char的區別以及varchar(50)中的50代表的涵義
(1)、varchar與char的區別
在單字節字符集下, char( N) 在內部存儲的時候總是定長, 而且沒有變長字段長度列表中。 在多字節字符集下面, char(N)如果存儲的字節數超過 N,那么 char( N)將和 varchar( N)沒有區別。在多字節字符集下面,如果存 儲的字節數少於 N,那么存儲 N 個字節,后面補空格,補到 N 字節長度。 都存儲變長的數據和變長字段長度列表。 varchar(N)無論是什么字節字符集,都是變長的,即都存儲變長數據和變長字段長度列表。
(2)、varchar(50)中50的涵義
最多存放50個字符,varchar(50)和(200)存儲hello所占空間一樣,但后者在排序時會消耗更多內存,因為order by col采用fixed_length計算col長度(memory引擎也一樣)。在早期 MySQL 版本中, 50 代表字節數,現在代表字符數。
(3)、int(20)中20的涵義
是指顯示字符的長度 不影響內部存儲,只是影響帶 zerofill 定義的 int 時,前面補多少個 0,易於報表展示
(4)、mysql為什么這么設計
對大多數應用沒有意義,只是規定一些工具用來顯示字符的個數;int(1)和int(20)存儲和計算均一樣;
4、innodb的事務與日志的實現方式
(1)、有多少種日志
redo和undo
(2)、日志的存放形式
redo:在頁修改的時候,先寫到 redo log buffer 里面, 然后寫到 redo log 的文件系統緩存里面(fwrite),然后再同步到磁盤文件( fsync)。 Undo:在 MySQL5.5 之前, undo 只能存放在 ibdata*文件里面, 5.6 之后,可以通過設置 innodb_undo_tablespaces 參數把 undo log 存放在 ibdata*之外。
(3)、事務是如何通過日志來實現的,說得越深入越好
基本流程如下: 因為事務在修改頁時,要先記 undo,在記 undo 之前要記 undo 的 redo, 然后修改數據頁,再記數據頁修改的 redo。 Redo(里面包括 undo 的修改) 一定要比數據頁先持久化到磁盤。 當事務需要回滾時,因為有 undo,可以把數據頁回滾到前鏡像的 狀態,崩潰恢復時,如果 redo log 中事務沒有對應的 commit 記錄,那么需要用 undo把該事務的修改回滾到事務開始之前。 如果有 commit 記錄,就用 redo 前滾到該事務完成時並提交掉。
5、MySQL binlog的幾種日志錄入格式以及區別
(1)、 各種日志格式的涵義
1.Statement:每一條會修改數據的sql都會記錄在binlog中。 優點:不需要記錄每一行的變化,減少了binlog日志量,節約了IO,提高性能。(相比row能節約多少性能 與日志量,這個取決於應用的SQL情況,正常同一條記錄修改或者插入row格式所產生的日志量還小於Statement產生的日志量,
但是考慮到如果帶條 件的update操作,以及整表刪除,alter表等操作,ROW格式會產生大量日志,因此在考慮是否使用ROW格式日志時應該跟據應用的實際情況,其所 產生的日志量會增加多少,以及帶來的IO性能問題。) 缺點:由於記錄的只是執行語句,為了這些語句能在slave上正確運行,因此還必須記錄每條語句在執行的時候的 一些相關信息,以保證所有語句能在slave得到和在master端執行時候相同 的結果。另外mysql 的復制,
像一些特定函數功能,slave可與master上要保持一致會有很多相關問題(如sleep()函數, last_insert_id(),以及user-defined functions(udf)會出現問題). 使用以下函數的語句也無法被復制: * LOAD_FILE() * UUID() * USER() * FOUND_ROWS() * SYSDATE() (除非啟動時啟用了 --sysdate-is-now 選項) 同時在INSERT ...SELECT 會產生比 RBR 更多的行級鎖 2.Row:不記錄sql語句上下文相關信息,僅保存哪條記錄被修改。 優點: binlog中可以不記錄執行的sql語句的上下文相關的信息,僅需要記錄那一條記錄被修改成什么了。所以rowlevel的日志內容會非常清楚的記錄下 每一行數據修改的細節。而且不會出現某些特定情況下的存儲過程,或function,以及trigger的調用和觸發無法被正確復制的問題 缺點:所有的執行的語句當記錄到日志中的時候,都將以每行記錄的修改來記錄,這樣可能會產生大量的日志內容,比 如一條update語句,修改多條記錄,則binlog中每一條修改都會有記錄,這樣造成binlog日志量會很大,特別是當執行alter table之類的語句的時候,
由於表結構修改,每條記錄都發生改變,那么該表每一條記錄都會記錄到日志中。 3.Mixedlevel: 是以上兩種level的混合使用,一般的語句修改使用statment格式保存binlog,如一些函數,statement無法完成主從復制的操作,則 采用row格式保存binlog,MySQL會根據執行的每一條具體的sql語句來區分對待記錄的日志形式,
也就是在Statement和Row之間選擇 一種.新版本的MySQL中隊row level模式也被做了優化,並不是所有的修改都會以row level來記錄,像遇到表結構變更的時候就會以statement模式來記錄。至於update或者delete等修改數據的語句,還是會記錄所有行的變更。
(2)、適用場景
在一條 SQL 操作了多行數據時, statement 更節省空間, row 更占用空間。但是 row模式更可靠。
(3)、結合第一個問題,每一種日志格式在復制中的優劣
Statement 可能占用空間會相對小一些,傳送到 slave 的時間可能也短,但是沒有 row模式的可靠。 Row 模式在操作多行數據時更占用空間, 但是可靠。
6、下MySQL數據庫cpu飆升到500%的話他怎么處理?
當 cpu 飆升到 500%時,先用操作系統命令 top 命令觀察是不是 mysqld 占用導致的,如果不是,找出占用高的進程,並進行相關處理。如果是 mysqld 造成的, show processlist,看看里面跑的 session 情況,是不是有消耗資源的 sql 在運行。找出消耗高的 sql,
看看執行計划是否准確, index 是否缺失,或者實在是數據量太大造成。一般來說,肯定要 kill 掉這些線程(同時觀察 cpu 使用率是否下降),等進行相應的調整(比如說加索引、改 sql、改內存參數)之后,再重新跑這些 SQL。也有可能是每個 sql 消耗資源並不多,但是突然之間, 有大量的 session 連進來導致 cpu 飆升,這種情況就需要跟應用一起來分析為何連接數會激增,再做出相應的調整,比如說限制連接數等
7、sql優化
(1)、explain出來的各種item的意義
id:每個被獨立執行的操作的標志,表示對象被操作的順序。一般來說, id 值大,先被執行;如果 id 值相同,則順序從上到下。 select_type:查詢中每個 select 子句的類型。 table:名字,被操作的對象名稱,通常的表名(或者別名),但是也有其他格式。 partitions:匹配的分區信息。 type:join 類型。 possible_keys:列出可能會用到的索引。 key:實際用到的索引。 key_len:用到的索引鍵的平均長度,單位為字節。 ref:表示本行被操作的對象的參照對象,可能是一個常量用 const 表示,也可能是其他表的 key 指向的對象,比如說驅動表的連接列。 rows:估計每次需要掃描的行數。 filtered:rows*filtered/100 表示該步驟最后得到的行數(估計值)。 extra:重要的補充信息。
(2)、profile的意義以及使用場景
Profile 用來分析 sql 性能的消耗分布情況。當用 explain 無法解決慢 SQL 的時候,需要用profile 來對 sql 進行更細致的分析,找出 sql 所花的時間大部分消耗在哪個部分,確認 sql的性能瓶頸。
(3)、explain 中的索引問題
Explain 結果中,一般來說,要看到盡量用 index(type 為 const、 ref 等, key 列有值),避免使用全表掃描(type 顯式為 ALL)。比如說有 where 條件且選擇性不錯的列,需要建立索引。 被驅動表的連接列,也需要建立索引。被驅動表的連接列也可能會跟 where 條件列一起建立聯合索引。當有排序或者 group by 的需求時,也可以考慮建立索引來達到直接排序和匯總的需求。
8、備份計划,mysqldump以及xtranbackup的實現原理
(1)、備份計划
視庫的大小來定,一般來說 100G 內的庫,可以考慮使用 mysqldump 來做,因為 mysqldump更加輕巧靈活,備份時間選在業務低峰期,可以每天進行都進行全量備份(mysqldump 備份 出來的文件比較小,壓縮之后更小)。100G 以上的庫,可以考慮用 xtranbackup 來做,備份速度明顯要比 mysqldump 要快。一般是選擇一周一個全備,其余每天進行增量備份,備份時間為業務低峰期。
(2)、備份恢復時間
物理備份恢復快,邏輯備份恢復慢
這里跟機器,尤其是硬盤的速率有關系,以下列舉幾個僅供參考 20G的2分鍾(mysqldump) 80G的30分鍾(mysqldump) 111G的30分鍾(mysqldump) 288G的3小時(xtra) 3T的4小時(xtra) 邏輯導入時間一般是備份時間的5倍以上
(3)、備份恢復失敗如何處理
首先在恢復之前就應該做足准備工作,避免恢復的時候出錯。比如說備份之后的有效性檢查、權限檢查、空間檢查等。如果萬一報錯,再根據報錯的提示來進行相應的調整。
(4)、mysqldump和xtrabackup實現原理
mysqldump
mysqldump 屬於邏輯備份。加入--single-transaction 選項可以進行一致性備份。后台進程會先設置 session 的事務隔離級別為 RR(SET SESSION TRANSACTION ISOLATION LEVELREPEATABLE READ),
之后顯式開啟一個事務(START TRANSACTION /*!40100 WITH CONSISTENTSNAPSHOT */),這樣就保證了該事務里讀到的數據都是事務事務時候的快照。之后再把表的數據讀取出來。 如果加上--master-data=1 的話,在剛開始的時候還會加一個數據庫的讀鎖 (FLUSH TABLES WITH READ LOCK),等開啟事務后,再記錄下數據庫此時 binlog 的位置(showmaster status),馬上解鎖,再讀取表的數據。等所有的數據都已經導完,就可以結束事務
Xtrabackup:
xtrabackup 屬於物理備份,直接拷貝表空間文件,同時不斷掃描產生的 redo 日志並保存下來。最后完成 innodb 的備份后,會做一個 flush engine logs 的操作(老版本在有 bug,在5.6 上不做此操作會丟數據),確保所有的 redo log 都已經落盤(涉及到事務的兩階段提交 概念,因為 xtrabackup 並不拷貝 binlog,所以必須保證所有的 redo log 都落盤,否則可能會丟最后一組提交事務的數據)。這個時間點就是 innodb 完成備份的時間點,數據文件雖然不是一致性的,但是有這段時間的 redo 就可以讓數據文件達到一致性(恢復的時候做的事 情)。然后還需要 flush tables with read lock,把 myisam 等其他引擎的表給備份出來,備份完后解鎖。 這樣就做到了完美的熱備。
9、mysqldump中備份出來的sql,如果我想sql文件中,一行只有一個insert....value()的話,怎么辦?如果備份需要帶上master的復制點信息怎么辦?
--skip-extended-insert [root@helei-zhuanshu ~]# mysqldump -uroot -p helei --skip-extended-insert Enter password: KEY `idx_c1` (`c1`), KEY `idx_c2` (`c2`) ) ENGINE=InnoDB AUTO_INCREMENT=51 DEFAULT CHARSET=latin1; /*!40101 SET character_set_client = @saved_cs_client */; -- -- Dumping data for table `helei` -- LOCK TABLES `helei` WRITE; /*!40000 ALTER TABLE `helei` DISABLE KEYS */; INSERT INTO `helei` VALUES (1,32,37,38,'2016-10-18 06:19:24','susususususususususususu'); INSERT INTO `helei` VALUES (2,37,46,21,'2016-10-18 06:19:24','susususususu'); INSERT INTO `helei` VALUES (3,21,5,14,'2016-10-18 06:19:24','susu');
10、500台db,在最快時間之內重啟
可以使用批量 ssh 工具 pssh 來對需要重啟的機器執行重啟命令。 也可以使用 salt(前提是客戶端有安裝 salt)或者 ansible( ansible 只需要 ssh 免登通了就行)等多線程工具同時操作多台服務器
11、innodb的讀寫參數優化
(1)、讀取參數
global buffer 以及 local buffer;
Global buffer:
Innodb_buffer_pool_size
innodb_log_buffer_size
innodb_additional_mem_pool_size
local buffer(下面的都是 server 層的 session 變量,不是 innodb 的):
Read_buffer_size
Join_buffer_size
Sort_buffer_size
Key_buffer_size
Binlog_cache_size
(2)、寫入參數
innodb_flush_log_at_trx_commit innodb_buffer_pool_size
insert_buffer_size
innodb_double_write
innodb_write_io_thread
innodb_flush_method
(3)、與IO相關的參數
innodb_write_io_threads = 8 innodb_read_io_threads = 8 innodb_thread_concurrency = 0
Sync_binlog
Innodb_flush_log_at_trx_commit
Innodb_lru_scan_depth
Innodb_io_capacity
Innodb_io_capacity_max
innodb_log_buffer_size
innodb_max_dirty_pages_pct
(4)、緩存參數以及緩存的適用場景
query cache/query_cache_type 並不是所有表都適合使用query cache。造成query cache失效的原因主要是相應的table發生了變更 第一個:讀操作多的話看看比例,簡單來說,如果是用戶清單表,或者說是數據比例比較固定,比如說商品列表,是可以打開的,前提是這些庫比較集中,數據庫中的實務比較小。 第二個:我們“行騙”的時候,比如說我們競標的時候壓測,把query cache打開,還是能收到qps激增的效果,當然前提示前端的連接池什么的都配置一樣。大部分情況下如果寫入的居多,訪問量並不多,那么就不要打開,例如社交網站的,10%的人產生內容,其余的90%都在消費,打開還是效果很好的,但是你如果是qq消息,或者聊天,那就很要命。 第三個:小網站或者沒有高並發的無所謂,高並發下,會看到 很多 qcache 鎖 等待,所以一般高並發下,不建議打開query cache
12、你是如何監控你們的數據庫的?你們的慢日志都是怎么查詢的?
監控的工具有很多,例如zabbix,lepus,我這里用的是lepus
13、你是否做過主從一致性校驗,如果有,怎么做的,如果沒有,你打算怎么做?
主從一致性校驗有多種工具 例如checksum、mysqldiff、pt-table-checksum等
14、表中有大字段X(例如:text類型),且字段X不會經常更新,以讀為為主,請問您是選擇拆成子表,還是繼續放一起?寫出您這樣選擇的理由
答:拆帶來的問題:連接消耗 + 存儲拆分空間;不拆可能帶來的問題:查詢性能; 如果能容忍拆分帶來的空間問題,拆的話最好和經常要查詢的表的主鍵在物理結構上放置在一起(分區) 順序IO,減少連接消耗,最后這是一個文本列再加上一個全文索引來盡量抵消連接消耗 如果能容忍不拆分帶來的查詢性能損失的話:上面的方案在某個極致條件下肯定會出現問題,那么不拆就是最好的選擇
15、MySQL中InnoDB引擎的行鎖是通過加在什么上完成(或稱實現)的?為什么是這樣子的?
答:InnoDB是基於索引來完成行鎖 例: select * from tab_with_index where id = 1 for update; for update 可以根據條件來完成行鎖鎖定,並且 id 是有索引鍵的列, 如果 id 不是索引鍵那么InnoDB將完成表鎖,,並發將無從談起
16、如何從mysqldump產生的全庫備份中只恢復某一個庫、某一張表?
全庫備份 [root@HE1 ~]# mysqldump -uroot -p --single-transaction -A --master-data=2 >dump.sql 只還原erp庫的內容 [root@HE1 ~]# mysql -uroot -pMANAGER erp --one-database <dump.sql 可以看出這里主要用到的參數是--one-database簡寫-o的參數,極大方便了我們的恢復靈活性 那么如何從全庫備份中抽取某張表呢,全庫恢復,再恢復某張表小庫還可以,大庫就很麻煩了,那我們可以利用正則表達式來進行快速抽取,具體實現方法如下: 從全庫備份中抽取出t表的表結構 [root@HE1 ~]# sed -e'/./{H;$!d;}' -e 'x;/CREATE TABLE `t`/!d;q' dump.sql DROP TABLE IF EXISTS`t`; /*!40101 SET@saved_cs_client =@@character_set_client */; /*!40101 SETcharacter_set_client = utf8 */; CREATE TABLE `t` ( `id` int(10) NOT NULL AUTO_INCREMENT, `age` tinyint(4) NOT NULL DEFAULT '0', `name` varchar(30) NOT NULL DEFAULT '', PRIMARY KEY (`id`) ) ENGINE=InnoDBAUTO_INCREMENT=4 DEFAULT CHARSET=utf8; /*!40101 SETcharacter_set_client = @saved_cs_client */; 從全庫備份中抽取出t表的內容 [root@HE1 ~]# grep'INSERT INTO `t`' dump.sql INSERT INTO `t`VALUES (0,0,''),(1,0,'aa'),(2,0,'bbb'),(3,25,'helei');
17、在當前的工作中,你碰到到的最大的 mysql db 問題以及如何解決的?
可以選擇一個處理過的比較棘手的案例,或者選擇一個老師在課程上講過的死鎖的案例;沒有及時 Purge + insert 唯一索引造成的死鎖:具體案例可以參考學委筆記。
18、請簡潔地描述下 MySQL 中 InnoDB 支持的四種事務隔離級別名稱,以及逐級之間的區別?
(1)、事物的4種隔離級別
讀未提交(read uncommitted) 讀已提交(read committed) 可重復讀(repeatable read) 串行(serializable)
(2)、不同級別的現象
Read Uncommitted:可以讀取其他 session 未提交的臟數據。 Read Committed:允許不可重復讀取,但不允許臟讀取。提交后,其他會話可以看到提交的數據。 Repeatable Read: 禁止不可重復讀取和臟讀取、以及幻讀(innodb 獨有)。 Serializable: 事務只能一個接着一個地執行,但不能並發執行。事務隔離級別最高。 不同的隔離級別有不同的現象,並有不同的鎖定/並發機制,隔離級別越高,數據庫的並發性就越差。
面試中其他的問題:
1、2 年 MySQL DBA 經驗
其中許多有水分,一看到簡歷自我介紹,說公司項目的時候,會寫上 linux 系統維護,mssql server 項目,或者 oracle data gard 項目,一般如果有這些的話,工作在 3 年到 4年的話,他的 2 年 MySQL DBA 管理經驗,是有很大的水分的。剛開始我跟領導說,這些 不用去面試了,肯定 mysql dba 經驗不足,領導說先面面看看,於是我就面了,結果很多人卡在基礎知識這一環節之上,比如: ( 1)有的卡在復制原理之上 ( 2)有的卡在 binlog 的日志格式的種類和分別 ( 3)有的卡在 innodb 事務與日志的實現上。 ( 4)有的卡在 innodb 與 myisam 的索引實現方式的理解上面。 ......... 個人覺得如果有過真正的 2 年 mysql 專職 dba 經驗,那么肯定會在 mysql 的基本原理上有所研究,因為很多問題都不得不讓你去仔細研究各種細節,而自 己研究過的細節肯定會記憶深刻,別人問起一定會說的頭頭是道,起碼一些最基本的關鍵參數比如 Seconds_Behind_Master 為 60 這個值 60 的准確涵義,面試了 10+的 mysql dba,沒有一個說的准確,有的說不知道忘記了,有的說是差了 60 秒,有的說是與主上執行時間延后了 60 秒。
2 、對於簡歷中寫有熟悉 mysql 高可用方案
我一般先問他現在管理的數據庫架構是什么,如果他只說出了主從,而沒有說任何 ha的方案,那么我就可以判斷出他沒有實際的 ha 經驗。不過這時候也不能就是 斷定他不懂mysql 高可用,也許是沒有實際機會去使用,那么我就要問 mmm 以及 mha 以及mm+keepalived 等的原理
實現方式以及它們之間的優 勢和不足了,一般這種情況下,能說出這個的基本沒有。mmm 那東西好像不靠譜,據說不穩定,但是有人在用的,我只在虛擬機上面用過,和mysql-router 比較像,都是指定可寫的機器和只讀機器。 MHA 的話一句話說不完,可以翻翻學委的筆記
3 、對於簡歷中寫有批量 MySQL 數據庫服務器的管理經驗
這個如果他說有的話,我會先問他們現在實際線上的 mysql 數據庫數量有多少,分多少個節點組,最后問這些節點組上面的 slow log 是如何組合在一起來統計分析的。如果這些他都答對了,那么我還有一問,就是現在手上有 600 台數據庫,新來的機器, Mysql 都 安裝好了,那么你如 何在最快的時間里面把這 600 台 mysql 數據庫的 mysqld 服務啟動起來。這個重點在於最快的時間,而能准確回答出清晰思路的只有 2 個人。slow log 分析:可以通過一個管理服務器定時去各台 MySQL 服務器上面 mv 並且 cp slowlog,
然后分析入庫,頁面展示。最快的時間里面啟動 600 台服務器: 肯定是多線程。 可以用 pssh, ansible 等多線程批量管理服務器的工具
4 、對於有豐富的 SQL 優化的經驗
首先問 mysql 中 sql 優化的思路,如果能准備說出來, ok,那么我就開始問 explain的各種參數了,重點是 select_type, type, possible_key, ref,rows,extra 等參數的各種 值的含義,如果他都回答正確了,那么我再問 file sort 的含義以及什么時候會出現這個分析結果,如果這里他也回答對了,那么我就准備問 profile 分析了,如果這里他也答對了,那么我就會再問一個問 題,
那是曾經 tx 問我的讓我郁悶不已的問題,一個 6 億的表 a,一個 3 億的表 b,通過外間 tid 關聯,你如何最快的查詢出滿足條件的第 50000 到第 50200中的這 200 條數據記錄。 Explain 在上面的題目中有了,這里就不說了。如何最快的查詢出滿足條件的第 50000 到第 50200 中的這 200 條數據記錄?這個我想不出來! 關於 explain 的各種參數,請參考: http://blog.csdn.net/mchdba/article/details/9190771
5、對於有豐富的數據庫設計經驗
這個對於數據庫設計我真的沒有太多的經驗,我也就只能問問最基礎的, mysql 中varchar(60) 60 是啥含義, int(30)中 30 是啥含義? 如果他都回答對了,那么我就問 mysql中為什么要這么設計呢?
如果他還回答對了,我就繼續問 int(20)存儲的數字的上限和下限是多少?這個問題難道了全部的 mysql dba 的應聘者,不得不佩服提出這個問題的金總的睿智啊,因為這個問題回答正確了,
那么他確實認認真真地研究了 mysql 的設計中關於字段類型的細節。至 於豐富的設計數據庫的經驗,不用着急,這不我上面還有更加厲害的 dba嗎,他會搞明白的,那就跟我無關了。 varchar(60)的 60 表示最多可以存儲 60 個字符。int(30)的 30 表示客戶端顯示這個字段的寬度。 為何這么設計?說不清楚,請大家補充 。 int(20)的上限為 2147483647(signed)或者4294967295(unsigned)。
6 、關於 mysql 參數優化的經驗
首先問他它們線上 mysql 數據庫是怎么安裝的,如果說是 rpm 安裝的,那么我就直接問調優參數了,如果是源碼安裝的,那么我就要問編譯中的一些參數了,比如 my.cnf 以及存儲引擎以及字符類型等等。然后從以下幾個方面問起: ( 1) mysql 有哪些 global 內存參數,有哪些 local 內存參數。 Global: innodb_buffer_pool_size/innodb_additional_mem_pool_size/innodb_log_buffer_size/key_buffer_size/query_cache_size/table_open_cache/table_definition_cache/thread_cache_size Local: read_buffer_size/read_rnd_buffer_size/sort_buffer_size/join_buffer_size/binlog_cache_size/tmp_table_size/thread_stack/bulk_insert_buffer_size
( 2) mysql 的寫入參數需要調整哪些?重要的幾個寫參數的幾個值得含義以及適用場景, 比如 innodb_flush_log_at_trx_commit 等。 (求補充) sync_binlog 設置為 1,保證 binlog 的安全性。 innodb_flush_log_at_trx_commit: 0:事務提交時不將 redo log buffer 寫入磁盤(僅每秒進行 master thread 刷新,安全 性最差,性能最好) 1:事務提交時將 redo log buffer 寫入磁盤(安全性最好,性能最差, 推薦生產使用) 2:事務提交時僅將 redo log buffer 寫入操作系統緩存(安全性和性能都居中,當 mysql宕機但是操作系統不宕機則不丟數據,如果操作系統宕機,最多丟一秒數據) innodb_io_capacity/innodb_io_capacity_max:看磁盤的性能來定。如果是 HDD 可以設置為 200-幾百不等。如果是 SSD,推薦為 4000 左右。 innodb_io_capacity_max 更大一些。 innodb_flush_method 設置為 O_DIRECT。
( 3) 讀取的話,那幾個全局的 pool 的值的設置,以及幾個 local 的 buffer 的設置。 Global: innodb_buffer_pool_size:設置為可用內存的 50%-60%左右,如果不夠,再慢慢上調。 innodb_additional_mem_pool_size:采用默認值 8M 即可。 innodb_log_buffer_size:默認值 8M 即可。 key_buffer_size:myisam 表需要的 buffer size,選擇基本都用 innodb,所以采用默認的 8M 即可。 Local: join_buffer_size: 當 sql 有 BNL 和 BKA 的時候,需要用的 buffer_size(plain index scans, range index scans 的時候可能也會用到)。默認為 256k,建議設置為 16M-32M。 read_rnd_buffer_size:當使用 mrr 時,用到的 buffer。默認為 256k,建議設置為16-32M。 read_buffer_size:當順序掃描一個 myisam 表,需要用到這個 buffer。或者用來決定memory table 的大小。或者所有的 engine 類型做如下操作:order by 的時候用 temporaryfile、 SELECT INTO … OUTFILE 'filename' 、 For caching results of nested queries。默認為 128K,建議為 16M。 sort_buffer_size: sql 語句用來進行 sort 操作(order by,group by)的 buffer。如果 buffer 不夠,則需要建立 temporary file。如果在 show global status 中發現有大量的 Sort_merge_passes 值,則需要考慮調大 sort_buffer_size。默認為 256k,建議設置為 16-32M。 binlog_cache_size: 表示每個 session 中存放 transaction 的 binlog 的 cache size。默認 32K。一般使用默認值即可。如果有大事務,可以考慮調大。 thread_stack: 每個進程都需要有,默認為 256K,使用默認值即可。
( 4) 還有就是著名的 query cache 了,以及 query cache 的適用場景了,這里有一個陷阱, 就是高並發的情況下,比如雙十一的時候, query cache 開還是不開,開了怎么保證高並發,不開又有何別的考慮?建議關閉,上了性能反而更差。
7、關於熟悉 mysql 的鎖機制
gap 鎖, next-key 鎖,以及 innodb 的行鎖是怎么實現的,以及 myisam 的鎖是怎么實現的等 Innodb 的鎖的策略為 next-key 鎖,即 record lock+gap lock。是通過在 index 上加 lock 實現的,如果 index 為 unique index,則降級為 record lock,如果是普通 index,則為 next-key lock,如果沒有 index,則直接鎖住全表。 myisam 直接使用全表掃描。
8、 關於熟悉 mysql 集群的
我就問了 ndbd 的節點的啟動先后順序,再問配置參數中的內存配置幾個重要的參數,再問 sql 節點中執行一個 join 表的 select 語句的實現流程是怎么走的? ok,能回答的也只有一個。 關於 mysql 集群入門資料,請參考: http://write.blog.csdn.net/postlist/1583151/all
9、 關於有豐富的備份經驗的
就問 mysqldump 中備份出來的 sql,如果我想 sql 文件中,一行只有一個 insert .... value()的話,怎么辦?如果備份需要帶上 master 的復制點信息怎么辦?或者 xtrabackup 中如何 做到實時在線備份的?以及 xtrabackup 是如何做到帶上 master 的復制點的信息的? 當前 xtrabackup 做增量備份的時候有何缺陷?能全部回答出來的沒有一個,不過沒有關系,只要回答出 mysqldump 或者xtrabackup 其中一個的也可以。 1). --skip-extended-insert 2). --master-date=1 3). 因為 xtrabackup 是多線程,一個線程不停地在拷貝新產生的 redo 文件,另外的線程去備份數據庫,當所有表空間備份完成的時候,它會執行 flush table with read lock 操作 鎖住所有表,然后執行 show master status; 接着執行 flush engine logs; 最后解鎖表。執行 show master status; 時就能獲取到 mster 的復制點信息,執行 flush engine logs 強制把redo 文件刷新到磁盤。 4). xtrabackup 增量備份的缺陷不了解,在線上用 xtrabackup 備份沒有發現什么缺陷。
10 、關於有豐富的線上恢復經驗的
就問你現在線上數據量有多大,如果是 100G,你用 mysqldump 出來要多久,然后 mysql進去又要多久,如果互聯網不允許延時的話,你又怎么做到 恢復單張表的時候保證 nagios不報警。如果有人說 mysqldump 出來 1 個小時就 ok 了,那么我就要問問他 db 服務器是 啥配置了,如果他說 mysql 進去 50 分鍾搞定了,那么我也要問問他 db 機器啥配置了,如果是普通的吊絲 pc server,那么真實性,大家懂得。然后如果你用 xtrabackup 備份要多久,恢復要多久,大家都知道 copy-back 這一步要很久,那么你有沒有辦法對這一塊優化。
原文鏈接
https://www.cnblogs.com/frankielf0921/p/5930743.html
https://www.cnblogs.com/panwenbin-logs/p/8366940.html