Linux系統中創建大文件,並作為文件系統使用


  在LInux系統的使用過程中,有時候會遇到諸如某個磁盤分區的大小不夠用了,導致其下的文件系統不能正常寫入數據。亦或者是系統swap分區太小,不夠用或者不滿足條件而導致的其他一系列問題。如果我們系統上掛載的有富余的磁盤空間,這樣就簡單多了,直接在現成的磁盤上划出一個分區,格式化並掛載就完事了。但是也有些時候限於條件,沒有富余的磁盤空間,怎么辦的呢?我們可以在現有的系統中,看看有沒有其他分區的空間比較大,並且分出去一部分后,仍然不影響改分區系統的正常使用。如果存在這種情況,就可以實現間接的擴展磁盤空間了。

  1,我們需要先在有富余空間的磁盤分區上創建一個大文件,文件的大小根據你的實際需要和所要划出空間分區實際大小來決定。創建大文件,可以使用如下3個命令:

    1.1 dd

      創建大文件首選的會是dd命令,dd是 device driver 的縮寫,可以用來讀取設備、文件中的內容,並原封不動地復制到指定位置。因此dd本質上是copy一個文件副本,

    它強制你編寫每個數據塊,並初始化文件內容,但是初始化會占用大量的I / O時間,因此使用dd命令創建大文件的速度是比較緩慢的。使用dd創建大文件的命令如下:

      dd if=/dev/zero of=/home/disk0 bs=2G count=1

    這個命令將在/home根目錄下創建一個名為disk0的空文件,其中用到了如下四個選項:

      if=文件名:指定輸入文件名或者設備名,如果省略“if=文件名”,則表示從標准輸入讀取。

      of=文件名:指定輸出文件名或者設備名,如果省略“of=文件名”,則表示寫到標准輸出。

      bs:指定單個文件的塊block大小。

      count:想要創建文件的個數。

    1.2 fallocate

      fallocate的功能是為文件預分配物理空間,而不是生成一個空洞文件,fallocate分配的空間在磁盤的扇區上是連續的,它減少后續寫入和讀取文件時的磁盤尋道開銷;

    並且是迅速直接占用空間,而不是想空洞文件那樣“假裝”戰=占有那么多空間,這樣就可以保證隨着磁盤空間的使用,而不會出現該段磁盤空間不足。由於fallocate

    並不是標准的posix接口,並不是所有的文件系統都是支持的,目前主流的ext4和xfs都是可以的。

      fallocate -l 20G /home/disk00

      -l:--length,指定分配文件的長度,即文件的大小;

      disk00:所分配文件名稱

    1.3 truncate

      truncate和lseek是將文件的末尾位置“擴展到”一個固定位置而生成的一個空洞文件,也即是稀疏文件。該文件並不占用實際磁盤空間,只是邏輯上看起來那么大而已。

    使用ls -l命令可以查看其邏輯大小,即你希望分配的大小。使用du命令可以看到其實際占用的磁盤空間大小。使用od -c命令可以看到文件中間是用“\0”填充的。

      truncate -s 10G /home/disk000

      -s:指定文件的大小

  2,將第一步中得到的大文件進行格式化並掛載到文件系統

    由上述可知,如果所要分配的文件大小不大,比如2G以下,我們可以優選dd命令,當文件大小非常大時,就可以使用fallocate了,由於truncate命令生成的文件並不是看起

  來那么大,如果非必要,我們還是盡量不選它。

    比如我們使用dd或者fallocate創建一個1G大小的文件:
    dd -if=/dev/zero of=/home/disk00 bs=1024 count=1000000

    fallocate -l 1G /home/disk00

    2.1 擴展一般的文件系統空間

      2.1.1 格式化

      以格式化為ext4文件系統為例

      mkfs.ext4 /home/disk00       ----執行該命令后,系統會提示“disk00 is not a block special device”,直接輸入“y”確認繼續就行。

      2.1.2 掛載到文件系統

      由於disk00並不是一個block device,所以掛載到文件系統時並不能像普通磁盤分區、格式化后那樣直接掛在,我們需要用到loop偽設備。在執行loop掛載前,我們需要

    確認系統中有哪些loopback設備,並且那些是已經被使用的。

      確認系統中有那些loopback設備:

        ls -l /dev/loop*

      確認那些loopback是已經被使用的:

        cat /proc/mount

      確認上述兩個事項后,就可以執行如下掛在命令:

        mount -o loop=/dev/loop0 /home/disk00 /opt/backup_DB

        -o loop=:使用 loop 模式用來將一個檔案當成硬盤分割掛上系統

      2.1.3 將掛載關系寫入/etc/fstab,防止系統重啟后掛載關系丟失。

        echo "/home/disk00 /opt/backup_DB ext4 defaults,loop 0 0" >> /etc/fstab

    2.2 掛載交換分區

      2.2.1 格式化,將其變成一個swap文件

        mkswap /home/disk00

      2.2.2 啟用這個swap文件

        swapon /home/disk00

      2.2.3 寫入/etc/fstab,在系統重啟時能夠自動掛載

        echo "/home/disk00 swap swap defaults 0 0" >> /etc/fstab

  3,操作實例

    下面以我一個項目中的實際操作為例進行說明:

    我們的MySQL數據庫安裝在/home分區下,該分區大小為3.5T,由於我們沒有外掛磁陣,也沒有獨立的備份服務器,所以只能將數據庫的備份存放在本地,遵循備份和原始

  數據不能放在同一分區,我們把備份放在了/opt分區,該分區大小為50G。我們庫目前大小為12G,每天產生的數據量為350-400M之間,每兩周數據總量大致增加1G。備份策

  略是每周一全備,然后周二到周日都是基於周一的全備進行增量(這樣的目的是恢復時方便)。備份的保留策略是全備保留3周,之前的全備進行刪除;每周的增量在下一周一

  全備前打包壓縮轉移到/home/old_DB_backup下。由於數據量不斷增多,大概到每周的周六時/opt的占用量就已經達到接近90%了,所以我們考慮將/opt下暫時存放增量備份的

  目錄進行單獨掛載一個分區進行擴容,減輕/opt分區的空間壓力,方案操作如下:

    3.1 由於/home分區的目錄非常大,所以選取/home分區做為分割對象。考慮到后續數據量增加,給予30G空間擴展:

      fallocate -l 30G /home/old_DB_backup/backup_disk/disk0_in

    3.2 我們的文件系統為ext4,所以將改數據文件格式化為ext4

      mkfs.ext4 /home/old_DB_backup/backup_disk/disk0_in

    3.3 掛載到待增加獨立空間的增量備份目錄

      mount -o loop=/dev/loop0 /home/old_DB_backup/backup_disk/disk0_in /opt/DB_backup/incremental_backup

    3.4 掛載關系寫入/etc/fstab

      echo "/home/old_DB_backup/backup_disk/disk0_in /opt/DB_backup/incremental_backup ext4 defaults,loop, 0 0" >> /etc/fstab


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM