hadoop--Unable to load native-hadoop library for your platform解決方法


筆者實驗環境:centos 7.4.1708,hadoop-2.6.0-cdh5.14.2.

執行hadoop命令時出現以下告警,不能加載相關庫:

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

檢查發現本地並沒有庫:

$ hadoop checknative -a
19/08/30 13:11:53 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Native library checking:
hadoop:  false 
zlib:    false 
snappy:  false 
lz4:     false 
bzip2:   false 
openssl: false 
19/08/30 13:11:53 INFO util.ExitUtil: Exiting with status 1

進入到hadoop目錄下可以看到/lib/native為空。

需要下載對應版本的庫文件:http://dl.bintray.com/sequenceiq/sequenceiq-bin/

 此處筆者選擇:hadoop-native-64-2.6.0.tar。

下載解壓至hadoop目錄下的/lib/native中:

$ ll
total 4356
-rw-r--r-- 1 hadoop hadoop 1119486 Dec  2  2014 libhadoop.a
-rw-r--r-- 1 hadoop hadoop 1486964 Dec  2  2014 libhadooppipes.a
lrwxrwxrwx 1 hadoop hadoop      18 Dec  2  2014 libhadoop.so -> libhadoop.so.1.0.0
-rwxr-xr-x 1 hadoop hadoop  671189 Dec  2  2014 libhadoop.so.1.0.0
-rw-r--r-- 1 hadoop hadoop  581944 Dec  2  2014 libhadooputils.a
-rw-r--r-- 1 hadoop hadoop  359458 Dec  2  2014 libhdfs.a
lrwxrwxrwx 1 hadoop hadoop      16 Dec  2  2014 libhdfs.so -> libhdfs.so.0.0.0
-rwxr-xr-x 1 hadoop hadoop  228435 Dec  2  2014 libhdfs.so.0.0.0

重啟dfs,問題解決:(筆者已經配置好hadoop環境變量,直接運行命令)

$ start-dfs.sh
$ hdfs dfs -ls /
Found 2 items
drwxr-xr-x   - hadoop supergroup          0 2019-08-29 15:08 /test
drwx------   - hadoop supergroup          0 2019-08-29 15:08 /tmp


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM