hadoop環境都配置好后,當運行sbin下的start-hdfs.sh時報WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...錯誤


一》原因

  hadoop進行一些操作,直接使用java庫來操作不方便,所以引入本地庫(Native Libraries)來操作,例如:應用場景如文件的壓縮zlib,gzip等,在使用壓縮時,Hadoop默認會從$HADOOP_HOME/lib/native/Linux-*目錄中加載本地庫。

  加載成功則提示:  

  DEBUG util.NativeCodeLoader - Trying to load the custom-built native-hadoop library... INFO util.NativeCodeLoader - Loaded the native-hadoop library 

  加載失敗則提示:

  INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

二》解決方案

  1>在Hadoop的配置文件core-site.xml中可以設置是否使用本地庫:(Hadoop默認是啟動本地庫的)

<property>
  <name>hadoop.native.lib</name>
  <value>true</value>
  <description>Should native hadoop libraries, if present, be used.</description>
</property> 
View Code

  2>在環境變量中設置使用本地庫的位置:

  export JAVA_LIBRARY_PATH=/path/to/hadoop-native-libs

   (當遇到hadoop自帶的本地庫無法使用時,可以自己到hadoop下去編譯本地庫,在HADOOP_HOME目錄下使用命令:ant compile-native編譯完成后,可以在$HADOOP_HOME/build/native目錄下找到相應的文件,然后指定文件的路徑或者移動編譯好的文件到默認目錄下即可。)

 

  

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM