碼上歡樂
相關內容    簡體    繁體

HDFS配額總結

本文轉載自   查看原文   2020-03-18 22:14   658    Apache Hadoop

HDFS配額總結

標簽（空格分隔）： Apache Hadoop

HDFS允許管理員給私人目錄設置其下面文件夾和文件的總數量配額，或空間使用總量配額。所以HDFS配額的對象是目錄，而非用戶。如果需要實現用戶級別的配額，則需要采用第三方系統進行邏輯管理並映射到文件夾配額。

在往有配額的目錄中寫數據時，如果超過限額，會提示DSQuotaExceededException異常，所以提早提醒文件夾所屬的用戶非常有意義。

一，文件數配額（Name Quota）

文件數配額指的是可以限制當前文件夾下，所有文件和文件夾的總數量（包含所有的文件夾和文件inode）.類似於linux系統中ulimit里的hard limit。

二，空間配額（Space Quota）

空間配額指的是可以限制當前文件夾下，所有文件（包含子文件夾中的數據文件，會遞歸的去統計）的總大小，設置值包含副本因素，即N=fileSize * Replication。
文件數配合空間配額可以同時使用，並不沖突。同時測試發現空間配額會有384MB物理空間（128MB邏輯空間，默認數據塊大小）的固定預留，就是說當空間配額還剩下384MB時候，寫文件就會失敗

設置空間配額：

dfsadmin -setSpaceQuota <N> <directory>...<directory>

給每個目錄設置空間配額為N Byte，N可以是5g或者2t。空間配額表示這個文件夾下所有文件的總大小，包含副本因素，即N=fileSize * Replication。
清除空間配額：

dfsadmin -clrSpaceQuota <directory>...<directory>
清除各個目錄的空間配額。實際上是把空間配額設置為0。
設置配額必須由管理員來進行。

三，物理空間與邏輯空間

物理空間：文件實際占用HDFS的大小，包含副本因素，等於邏輯空間*副本數。
邏輯空間：文件本身大小，du命令顯示的結果。

hdfs fsck和 hadoop fs -count 出來的CONTENT_SIZE指的都是邏輯空間，而物理空間是邏輯空間每個文件本身的副本數，如果replication是3，則REMAINING_SPACE_QUOTA的計算公式為：
`REMAINING_SPACE_QUOTA=SPACE_QUOTA - CONTENT_SIZE 3`

因此，空間配額限制的是物理空間，假設設置了一個文件夾的空間配額為3GB，副本數為3，那么最多可以存放總大小1GB的文件。

四，Storage Type Quota

在2.7版本中，可以指定一個文件夾中的Storage Type是RAM_DISK/SSD/DISK/ARCHIVE。
也就是 HDFS 提供的 異構存儲。

五，通過shell顯示quota

顯示Quota：

hadoop fs -count -q -h /tmp/testquota /tmp/testquota2

實際上是調用了fs.getContentSummary()方法，得到當前目錄的ContencSummary信息。
結果輸出：

10   8   none      inf       1 1 0        /tmp/testquata
none inf 419430400 331751851 1 1 29226183 /tmp/testquata2

各列的含義：

  /** 
   * Output format:
   * <----12----> <----15----> <----15----> <----15----> <----12----> <----12----> <-------18------->
   *    QUOTA   REMAINING_QUATA SPACE_QUOTA SPACE_QUOTA_REM DIR_COUNT   FILE_COUNT   CONTENT_SIZE     FILE_NAME    
   */
QUOTA：文件數配額，（如果沒有配額，則顯示為none，空間配額同理）
    =quota
    
REMAINING_QUATA：剩余的文件數配額（剩余能創建的目錄和文件數量）
    =quota-fileCount-dirCount（如果沒有配額，則顯示為inf）
SPACE_QUOTA：空間配額（限制磁盤占用大小）
    =spaceQuota
SPACE_QUOTA_REM：剩余可以用的磁盤空間
    =spaceQuota-spaceConsumed
FILE_COUNT/FILE_COUNT：文件/目錄數
CONTENT_SIZE：邏輯空間大小，不計副本因素
    =每個文件/文件的spaceConsumed/其replication

六，通過編程設置和顯示Quota

可以通過DistributedFileSystem.set/getQuota()等一系列方法來設置Quota，在2.7版本中，可以分別設置namespace和storagespace的Quota，還可以StorageType Quota。
寫文件超出限額具體的異常信息：

20/03/18 16:55:27 WARN hdfs.DFSClient: DataStreamer Exception
org.apache.hadoop.hdfs.protocol.DSQuotaExceededException: The DiskSpace quota of /tmp/testquata2 is exceeded: quota = 41943040 B = 40 MB but diskspace consumed = 402653184 B = 384 MB
        at org.apache.hadoop.hdfs.server.namenode.INodeDirectoryWithQuota.verifyQuota(INodeDirectoryWithQuota.java:195)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.verifyQuota(FSDirectory.java:2111)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.updateCount(FSDirectory.java:1845)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.updateCount(FSDirectory.java:1820)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.addBlock(FSDirectory.java:373)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.saveAllocatedBlock(FSNamesystem.java:2965)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2636)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:563)
        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:407)
        at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1962)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1957)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
        at org.apache.hadoop.ipc.RemoteException.instantiateException(RemoteException.java:106)
        at org.apache.hadoop.ipc.RemoteException.unwrapRemoteException(RemoteException.java:73)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1267)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1112)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:522)
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.DSQuotaExceededException): The DiskSpace quota of /tmp/testquata2 is exceeded: quota = 41943040 B = 40 MB but diskspace consumed = 402653184 B = 384 MB
        at org.apache.hadoop.hdfs.server.namenode.INodeDirectoryWithQuota.verifyQuota(INodeDirectoryWithQuota.java:195)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.verifyQuota(FSDirectory.java:2111)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.updateCount(FSDirectory.java:1845)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.updateCount(FSDirectory.java:1820)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.addBlock(FSDirectory.java:373)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.saveAllocatedBlock(FSNamesystem.java:2965)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2636)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:563)
        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:407)
        at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1962)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1957)
        at org.apache.hadoop.ipc.Client.call(Client.java:1406)
        at org.apache.hadoop.ipc.Client.call(Client.java:1359)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
        at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:186)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
        at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:348)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1264)
        ... 2 more
put: The DiskSpace quota of /tmp/testquata2 is exceeded: quota = 41943040 B = 40 MB but diskspace consumed = 402653184 B = 384 MB


免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。



猜您在找 HDFS配額管理（實戰） HDFS配額查詢 Hadoop記錄-HDFS配額Quota hdfs目錄配額限制及詳解介紹 hadoop之 HDFS fs 命令總結 磁盤配額 Hadoop面試題總結（二）——HDFS HDFS超租約異常總結（org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException） 【轉】HADOOP HDFS BALANCER介紹及經驗總結 關於sqoop增量導入oracle的數據到HDFS的出現的錯誤總結
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM