運行Spark-shell,解決Unable to load native-hadoop library for your platform


啟動spark后,運行bin/spark-shell會出現一個警告

提君博客原創

 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

 

>>提君博客原創  http://www.cnblogs.com/tijun/  <<

雖然不影響運行,但是看着不舒服。下面我整理的解決方法。

 方法有兩種,親測可以解決這個問題。

第一種,在linux環境變量里設置linux共享庫

vi /etc/profile
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native/:$LD_LIBRARY_PATH

source一下,問提解決了,就這么的簡單。

提君博客原創

 

>>提君博客原創  http://www.cnblogs.com/tijun/  <<

第二種方法,需要設置環境變量和conf/spark-env.sh

環境變量

vi /etc/profile
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native/

conf/spark-env.sh

vi conf/spark-env.sh
export LD_LIBRARY_PATH=$JAVA_LIBRARY_PATH

>>提君博客原創  http://www.cnblogs.com/tijun/  <<

 

提君博客原創


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM