最近在玩spark , 需要看一下python的spark lib 是怎么加入環境變量的。
執行:
sh -x bin/pyspark
報錯
+ dirname bin/pyspark
+ cd bin/..
+ pwd
+ FWDIR=/usr/local/spark-0.9.1-bin-hadoop1
+ export SPARK_HOME=/usr/local/spark-0.9.1-bin-hadoop1
+ SCALA_VERSION=2.10
+ [ ! -f /usr/local/spark-0.9.1-bin-hadoop1/RELEASE ]
bin/pyspark: 38: bin/pyspark: Syntax error: Bad fd number
上網查找了一下,發現是shell 的環境出的問題。
查看執行腳本時使用了什么shell
ll `which sh`
發現使用的是
/bin/sh -> dash
而pyspark腳本使用的是:/usr/bin/env bash
解決方法:
/bin/bash bin/pyspark
一勞永逸的解決方法(將sh直接改了,直接指向/bin/bash):
rm -f /bin/sh;
ln -sf /bin/bash /bin/sh