Spark記錄-spark報錯Unable to load native-hadoop library for your platform


解決方案一:

#cp $HADOOP_HOME/lib/native/libhadoop.so  $JAVA_HOME/jre/lib/amd64

#源碼編譯snappy---./configure  make & make install

#cp libsnappy.so $JAVA_HOME/jre/lib/amd64

主要是jre目錄下缺少了libhadoop.so和libsnappy.so兩個文件。具體是,spark-shell依賴的是scala,scala依賴的是JAVA_HOME下的jdk
當這兩個文件准備好后再次啟動spark shell不會出現這個問題。

解決方案二:

在spark的conf/spark-env.sh文件加入:export  LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

在/etc/profile設置一下:export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM