在安裝過程中,請務必注意版本,本人在第一次安裝過程中,python版本為3.8,spark版本為3.1.1的,故安裝后,在運行pyspark的“動作”語句時,一直報錯 Python worker failed to connect back嘗試很多辦法都無法是解決這個問題,
最后只能將spark版本由3.1.1改為2.4.5,(即安裝文件由spark-3.1.1-bin-hadoop2.7.tgz改為spark-2.4.5-bin-hadoop2.7.gz)
以上只是把spark的版本降低了,但是如果python版本不降低,仍然會報錯如下,
TypeError:an integer is required(got type bytes)
因為 spark還不支持python3.8,所以需要將python版本將到3.7以下,本次我用了python3.6.6,完美解決