解決方案一:
#cp $HADOOP_HOME/lib/native/libhadoop.so $JAVA_HOME/jre/lib/amd64
#源碼編譯snappy---./configure make & make install
#cp libsnappy.so $JAVA_HOME/jre/lib/amd64
主要是jre目錄下缺少了libhadoop.so和libsnappy.so兩個文件。具體是,spark-shell依賴的是scala,scala依賴的是JAVA_HOME下的jdk
當這兩個文件准備好后再次啟動spark shell不會出現這個問題。
當這兩個文件准備好后再次啟動spark shell不會出現這個問題。
解決方案二:
在spark的conf/spark-env.sh文件加入:export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
在/etc/profile設置一下:export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native