大型網站優化-memcache技術

memory+cache 內存緩存

memcache簡介

memcache是一套分布式的高速緩存系統，由LiveJournal的Brad Fitzpatrick開發，目前被許多網站使用以提升網站的訪問速度，尤其對於一些大型的、需要頻繁訪問數據庫的網站訪問速度提升效果十分顯著 。這是一套開放源代碼軟件，以BSD license授權發布。【摘取自百度百科】

官網：http://memcached.org/

 

分布式：多台Memcache服務器來管理數據的架構。

緩存系統：將用戶查詢的數據緩存到內存之中，方便下次直接從內存中獲取。減少了磁盤IO的開銷。

什么是nosql？（sql 關系型數據庫）

答：MySQL 叫做關系型數據庫（主要的特點是都是一個二維表結構（表中的行和列），表與表之間是由關系的）（oracle（Java）、db2、sqlserver）

非關系型數據：就是不使用sql語句作為查詢的數據庫（保存數據的系統），並且沒有嚴格意義上的二維表的概念。它的數據結構全部是一張巨大的hash表（key-value）

hash表好處： 時間復雜度是 0（1）：隨着數據的增加，查詢時間不會存在數量級（1s）的變化。

hash表壞處： hash碰撞 不同 key 對應同一個值

 

key1 ===MD5(sql)	Asion
key2	12
key3	shenzhen
key4	iphone

 

1. 使用原理

   在使用的時候，先從nosql數據庫里面獲取，有的話直接返回，沒有的話就先從MySQL獲取，然后緩存到memcache里面，下次直接從memcache里面返回。

    

2. memcache與MySQL的區別
3. 沒有使用SQL語句
4. memcache沒有MySQL中的表的概念，都是使用key-value來保存的
5. memcache的數據是保存到內存中的，斷電即丟失（如何保存數據的持久性？）

   1. MemcacheDB可以持久化保存數據。2. repcached也可以實現數據的持久化

    

   注意：NoSQL是否能夠取到MySQL（關系型數據庫）？

   答： nosql的存在永遠不是為了取代MySQL（關系型數據），是關系型數據的一個補充。因為關系型數據庫有它獨特的地方（事務，存儲過程）。

    

   Nosql主要使用的場景：社交型網站（人人、校內、豆瓣）

    

   課下了解：什么是C10K問題？C100K

   答：c10k 代表的含義就是當網站的並發數達到 1w 時候網站的整體架構會全部的更新，就叫做c10k，目前已經被NoSQL數據庫完美的解決。但是又有 c100k 的問題？

   架構網站：

   http://www.infoq.com/

    

   memcache安裝（使用端口11211）

6. Windows下安裝

   1.1 直接將memcached文件放置到某一文件夾下（千萬不要使用中文命名的文件夾 | 空格）

   

   1.2 在cmd下執行如下命令（不能關閉）可以使用Ctrl+c 終止

   memcache的端口 11211

   

   1.3 查看是否啟動（新開一個窗口），執行如下命令

   # netstat -an

   

    

    

7. Linux下安裝
   1. putty--》遠程連接Linux的一個客戶端工具
      1. 注意：一般連接不上（防火牆）
         1. 關閉防火牆

         

   2. selinux沒有關閉

      

          

      讓selinux立即生效

      

       

   2.1 環境准備

   在Linux環境下，需要gcc、g-c++、make（makefile）、cmake、autoconfig（configure）、libtool等工具

   在Linux下聯網的情況下，使用如下命令

   # yum install -y gcc make cmake autoconfig libtool

   -y 不需要使用確認交互式

    

   2.2 編譯安裝memcached

   memcached依賴於 libevent庫，因此需要先安裝，分別到各自的官網下載穩定版

   libevetnt官網：http://libevent.org/

   memcache官網：http://memcached.org/

    

   先編譯安裝libevent，在編譯安裝memcached，同時在安裝memcached需要指定libevent的安裝路徑

   具體步驟：

   上傳

   

8. 先下載libevent，解壓，並安裝（一般Linux下軟件安裝都是放在 /usr/local/src目錄下，安裝的軟件一般放在/usr/local/NAME）

   # ./configure --prefix=/usr/local/libevent && make && make install

   

   

   

   b. 安裝memcache，解壓、編譯、安裝

   # ./configure --prefix=/usr/local/memcached --with-libevent=/usr/local/libevent && make && make install

   

   

   

    

   2.3 memcached的啟動

   # /usr/local/memcached/bin/memcached -m 64 -p 11211 -u nobody -vv

   

   注意：此時memcached成功啟動，但把信息輸出到控制台。

   如果想讓memcached作為服務在后台啟動，只需要加上-d選項（daemon 后台）

   # /usr/local/memcached/bin/memcached -m 64 -p 11211 -u nobody -d

   

    

   如何查看服務器是否正常啟動？

   # ps axu | grep memcached

   

    

   如果需要查看參數信息，使用 memcached -h 查看幫助：

   

   操作memcache

   memcached的客戶端與服務器端的通信很簡單，基於文本的協議，類似http協議，可以直接使用Telnet來做交互

    

   使用Telnet操作（quit退出）

   # telent 服務器的IP 11211

9. Windows下

   

   連接之后 使用 ctrl + ] 打開Telnet的回顯

10. Linux下

    

     

    2. 基本命令：

    學習memcache的增刪改查命令：

    add key flag expire length

    key: 名稱

    flag: 1 memcache按照字符串的方式保存

    expire：過期時間，memcache時間

    length：數據長度（B）

    ※add 增加

    # add name 1 0 2 # 在memcache服務器上添加一個key為的name值 長度為2個字節，有效期長期有效

    

     

    如何理解expire

    設置緩存的有效期，有三種格式

11. 設置秒數，從設置開始， n秒后失效
12. 時間戳，到指定時間戳后失效
13. 設置為0，不自動失效（特別注意，不是永久有效。a. 在memcache安裝時候，指定了一個最長的有效時間，默認是30天（源代碼） b. 可能不到30天，就會被擠出去）

    最近最少使用原則

     

    ※delete 刪除

    # delete key

    

     

    ※replace 替換

    # replace key flag expire length

    

     

    ※get 獲取

    # get key

    

     

    ※set 如果數據有 replace ，沒有則 add

    # set key flag expire length

    name存在：

    

    age不存在：

    

     

    ※incr 增加

    # incr age NUMBER

    

     

    ※decr 減少

    # decr age NUMBER

    

     

    ※stats 統計memcache服務器信息

    # stats

    

     

    ※flush_all 清空所有數據

    # flush_all

    

    使用php操作memcache

14. Windows下
15. 到（http://downloads.php.net/pierre/）下載擴展dll文件
16. 將該文件放到php的extension_dir 對應的目錄下
17. 修改php.ini文件，加入 extension=php_memcache.dll，引入該文件
18. 重啟Apache

     

19. Linux下 （ 在Linux下如何為php開啟一個擴展，說一下通用方案）
    1. 到（http://pecl.php.net/package/memcache）去下載擴展源碼

    beta ：測試版：一般都有一些小bug，但是需要用戶去使用發現，如果有問題，可以給官方反饋。然后在做修復

    alpha：內部測試版：內部在開發的時候，使用的版本，一般這個版本bug眾多。但是這個版本往往有新的功能加入。（一般也是新公司才試試）alpha版本有一些補償。

    stable：穩定版：基本無bug，能夠穩定的運行。

     

    ftp使用的注意事項:

20. vsftpd 是否正常的開啟 service vsftpd status
21. 一般都只能使用普通用戶連接ftp(不能root來連接ftp)獲取使用 sudo
22. 自己家目錄的大小空間不夠（上傳文件成功，但是顯示的大小為0）
23. 防火牆是否關閉（iptables -F 關閉）（iptables -L）

     

     

    # cls

    # cd

    # vim .bashrc

    

     

    Linux下載末行模式下

    # :x 小寫 退出 wq

    linux在編輯模式下

    # Z 大寫

     

     

    1. 一般下載到 /usr/local/src 目錄下，解壓，並進入該文件夾內

    

    1. 使用當前php的phpize命令創建configure文件（ 必須在擴展目錄內）

    # /usr/local/php/bin/phpize 絕對路徑phpize

    

    

    d. 利用上面生成的configure文件，收集系統信息 不需要指定安裝路徑

    # ./configure --with-php-config=/usr/local/php/bin/php-config 告訴它如何去找php配置文件

    

    e. 執行編譯、安裝

    # make && make install

    

    

    注意：可以查看上述命令執行完成之后的結構

    # ls /usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/

    

    1. 修改php.ini配置文件，重啟Apache

     

    注意：在Linux下，如何查看php.ini配置文件的位置？

    解決：phpinfo();

    

     

    注意：在Linux下，修改配置文件之前，一定要備份

    php.ini-backup-2016-1-12

     

    注意：.so是什么文件？

    .so是Linux下的共享對象，類型Windows下的.dll文件

     

    

     

     

    注意：Linux下，關閉一個服務 可以使用

    # pkill -9 httpd

    # ps aux | grep httpd

    #ps uax | grep httpd

     

    將上面生成的地址增加到php.ini配置文件，如下

    extension_dir=/usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/

    extension=memcacahe.so

    

    1. 測試

    建立一個test.php文件，測試php是否有memcache的一個模塊

    

    

    php操作memcache，保存並獲取值

    

    memcached的內存管理與刪除機制

     

    注意：Memcache最大的value也只能是1M的空間。

     

    注意：內存碎片化永遠都存在，只是哪一種方式可以使得內存碎片最小。

     

    1. 什么是內存碎片化？

    在使用這種內存緩存系統的時候，由於不斷的申請，釋放，就會形成一些很小的內存片段，無法被利用，這種現象就叫做，內存的碎片化。這個小紅塊就是操作系統無法使用的空間。

    

     

24. 如何解決？

    memcache利用slab allocator的方式來管理（每個slab class大小為1M）

    最小的單元叫做 chunk（小塊）：存放數據的倉庫

    多個小單元組成一個chunks：多個小塊組成（所有的小塊的大小全部一致）

    每個 slab class的大小為1M

    

     

25. memcache如何選擇合適的大小？

    

    注意：如果 122Bytes的slab裝滿了，現在有一個100Bytes的數據來了，存到哪里去？

    答：肯定不會存在144，還是存在122這個chunk里面，利用LRU算法來實現數據存儲。

     

26. 固定chunk帶來的內存浪費，22B

    

     

27. factor調優

    memcached在啟動的時候，會按照一定的大小來組織slab class，可以通過-f 來指定

    默認是1.25，相鄰chunk之間的比值就是增加因子。可以根據自己網站的業務調整緩存因子的大小。

    是因為每個業務不一樣，所需要的最小的chunk是不一樣的。這個參數使得我們的系統變得更加適應自己的業務，因為數據可以自己設定大小。

     

28. memcache的 惰性刪除

    memcached內部不會監視記錄是否過期，而是在get時查看記錄的時間戳，檢查記錄是否過期。這種行為被稱為lazy（惰性）expiration。因此，好處是memcached不會在過期監視上耗費CPU時間。

    比如：有 set(name, asion, 0, 3600) 過了3600秒就失效，失效后，並不會自動刪除，只有當get查詢時，檢測是否過期，如果過期則刪除。

    例如 # add name 1 8 2 當8s后，是失效，還是不存在？通過stats分析

    分析：是失效你，而不是不存在，只有在下一次去獲取時候，memcache才會去檢測它是否過期，過期了就刪除

     

29. memcache的LRU算法

    memcached會優先使用已超時的記錄的空間，但即使如此，也會發生追加新記錄時空間不足的情況，此時就要使用名為 Least Recently Used（LRU）機制來分配空間。

    顧名思義，這是刪除"最近最少使用"的記錄的機制。因此，當memcached的內存空間不足時（無法從slab class 獲取到新的空間時），就從最近未被使用的記錄中搜索，並將其空

    間分配給新的記錄。從緩存的實用角度來看，該模型十分理想。

     

    當mecache里面的數據空間（默認是64M）已經占滿了，再繼續存儲數據能否存儲呢？

    答:能存儲，要刪除過期的數據，如果都沒有過期，則刪除最不活躍的數據，騰出空間給后面添加數據。

    例如：以122Bytes的slab舉例，當數據裝滿后，如果來了一個100Bytes數據，如何處理？（即使永久有效，也會被踢）

    分析：內存的管理 LRU算法 、FIFO算法

     

30. memcache的一些參數 Ctrl+C

    注意：在vim下如果輸入了 ctrl+s 可以使用 ctrl+q 退出

    -p 監聽的端口

    -l 連接的IP地址, 默認是本機

    -d start 啟動memcached服務

    -d restart 重起memcached服務

    -d stop|shutdown 關閉正在運行的memcached服務

    -d install 安裝memcached服務

    -d uninstall 卸載memcached服務

    -u 以的身份運行 (僅在以root運行的時候有效)

    -m 最大內存使用，單位MB。默認64MB

    注意：如果系統是32位的，則最大限制為2G，如果系統是64位，則無限制。

    -M 內存耗盡時返回錯誤，而不是刪除項

    -c 最大同時連接數，默認是1024

    -f 塊大小增長因子，默認是1.25

    -n 最小分配空間，key+value+flags默認是48

    -h 顯示幫助

    -v 輸出警告和錯誤信息

    -vv 打印客戶端的請求和返回信息

    -i 打印memcached和libevent的版權信息

     

    實際使用場景

    保存：1. 文件 2. mysql

    問題：如果一個文件夾下session文件過多，檢索變慢，如何處理？

    答：分層處理

    使用Memcache來保存，Memcache使用分布式來保存（拿多台Memcache做存儲）

     

    使用memcache保存session

     

    1. 修改php.ini文件，配置信息如下

        session.save_handler = memcache #代表使用memcache保存session

        session.save_path ="tcp://127.0.0.1:11211" # 指定memcache服務器的地址和端口

31. 測試

    1. 開啟session，保存session

    

32. 從Memcache獲取session

    

    高級特性

    分布式memcache配置

    什么是分布式？

    由於單台memcache的服務能力有限，可以使用多台memcache來提供緩存的功能，這種架構就叫做memcache的分布式緩（集群）存系統

     

    如何實現？

    可以這樣理解，如何將數據分散答各台Memcache服務器上。

     

    在客戶端實現分布式，在數據保存之前，根據一定的算法，將數據保存到那台memcache服務器上，在獲取數據的時候，按照前面相同的算法去對應的memcache服務器上獲取數據

     

    分布式算法

33. 取摸算法

    將key的值對服務器的台數取余，然后將對應的value值保存到對應的余數的那台memcache服務器上，一般這個hash函數 crc32( key ) % 3

    crc32()這個函數可以使得一個字符串變成一個32位的整數

     

    壞處：當某一台服務器宕機或者需要增加一台服務器的時候，這個時候緩存數據基本全部失效，因為除數變了。 不嚴格的公式， 命中率 = 取到數據/總數 1/N N代表服務器的台數

     

    引發出來的問題：當memcache宕機之后，緩存數據失效，這個時候MySQL的壓力會驟增，

    這個時候，MySQL會宕機，然后在重啟MySQL，MySQL會在短時期內再次宕機，然后，稍微延遲一點（緩存已經重新建立了一部分），又宕機。隨着時間的慢慢推移，MySQL基本上趨於穩定，緩存系統成功建立。因為緩存數據不存在，所有的請求全部要轉向MySQL來提供，這種現象就叫做memcache的雪崩現象。

     

    概圖：

    

     

     

34. 一致性hash實現分布式

    

     

35. 假想有一個圓環，分布着從 0 到 2^32 這么多個正整數

     

36. 然后在將服務器的節點數通過hash函數（crc32()）運算后，按照順時針的方向映射到上面的圓環上

     

37. 將需要存儲的數據的key也按照上面的hash函數運算后，按照順時針的方向保存到一個 不比自己小的節點上

     

    注意：只要是memcache宕機，就一定會有數據的丟失。但是要想辦法讓數據丟失的最少，使用一致性hash，即使有一台服務器宕機，也只是影響一台服務器上的數據。

     

    虛擬節點：分擔任務

    緩存雪崩現象

    雪崩造成的原因？

38. 由於算法不當，取摸算法，造成大量緩存失效，會引發雪崩

    解決方案：一致性hash算法

     

39. 緩存時間都是同一時間，緩存系統會在同一時間全部失效，這個也會造成雪崩

    解決方案：緩存時間設置成一個范圍內的隨機時間（3-9小時）

     

    由於某個memcache節點的緩存數據失效，導致其他memcache節點的緩存命中率下降，緩存中缺失的數據會去MySQL數據庫中查詢，短時期內，造成了MySQL服務器壓力巨大，造成宕機，就叫做緩存雪崩現象。

     

    當重啟MySQL之后，短期內再次宕機，但緩存數據已經建立了一部分，在MySQL反復多次啟動之后，緩存全部重建完畢，MySQL不再宕機趨於穩定。

     

    解決方案：把緩存的時間設置成一個范圍內的隨機值（3-9小時），這樣就在不同的時間段失效，把重建的工作分擔到不同的時間上。

    memcache如何做高可用

40. 使用 repcached實現，全稱 replication cached是由日本人發明的memcached的高可用性技術，簡稱復制緩沖區技術。

     

41. MemcacheDB是一個分布式、key-value形式的 持久存儲系統。 由sina人員開發。它不是一個緩存組件，而是一個基於對象存取的、可靠的、快速的持久存儲引擎。協議跟memcache一致（不完整），所以很多memcached客戶端都可以跟它連接。MemcacheDB采用Berkeley DB作為持久存儲組件，故很多Berkeley DB的特性的他都支持。擴展
42. 如何在Linux下給一個php添加一個擴展，說出通用步驟？

    答：

    1. 下載對應擴展源碼
    2. 上傳放入/usr/local/src/
    3. 解壓 並進入文件夾內
    4. 在文件夾內執行 絕對路徑下的 phpize /usr/local/php/bin/phpize
    5. 執行configure ./configure --with-php-config= /usr/local/php/bin/php-config
    6. make && make install
    7. 生成一個目錄文件，文件下面有一個.so 結尾的文件
    8. 修改php.ini文件
    9. 增加 extension_dir = 目錄 extension= .so文件
    10. 重啟Apache
    11. 添加 phpinfo()
    12. 瀏覽器查看

     

43. memcache的安全性如何解決？

    答：

    由於memcache的本身設計就是極為簡潔的，根本沒有設置權限方面的限制。為什么不設置權限？ 只提供緩存功能，為了精簡

44. 放在內網 192.168.1.110 內網IP外網無法訪問
45. 寫一個 防火牆驗證規則，只允許自己規定IP的包可以轉進來，其他的全部丟棄

    192.168.1.221 ---224

    3. 當使用文件保存session文件時候，如果文件過多，如何處理？

    一般來說，超過65535個session文件的時候，這個時候session的獲取就會變得異常緩慢，意味php代碼執行很慢，如何解決？

    答：

    分層處理： 一個文件夾下建立A-Z開頭的文件夾 然后A_Z在建立

    使用memcache處理： 單台memcache處理能力有限，就使用分布式memcache來處理

46. 如何理解負載均衡集群也是高可用集群，但有不是？

    答：負載均衡集群提供了高可用的能力，如果某一台宕機之后，還是可以提供正常的服務，只是服務提供的有些吃力而已。

    因為負載均衡集群不提供keepalive的機制。監控機制

     

    案例：

    在項目中如何使用Memcache？

    Memcache存在的意義就是緩存數據，減輕MySQL的壓力。

     

47. 書寫一個列表頁

    

48. 詳情頁

    

    

     

    擴展

49. Linux下安裝一個php的擴展的通用方法

    答：

50. 下載對應的擴展的源碼 http://pecl.php.net/package/memcache
51. 將對於的擴展上傳到Linux服務器上，放在（/usr/local/src/下）
52. 執行 tar -zxvf NAME.tar.gz
53. cd NAME
54. 執行絕對路徑下的phpize命名 （/usr/local/php/bin/phpize）必須在擴展包的目錄內
55. 執行 ./configure --with-php-config=/usr/local/php/bin/php-config （--with-php-config=絕對路徑下的php-config的路徑，並且不需要指定安裝的路徑）
56. make && make install
57. 會生成一個目錄，在個目錄里面有對於的NAME.so文件
58. 去修改php.ini的配置文件，增加兩行信息

    extension_dir='上面生成的目錄'

    extension='NAME.so'

59. 重啟Apache，然后使用phpinfo()函數測試一下，在瀏覽器輸入地址查看，搜索如果有Memcache，代表擴展成功的開啟。