pyspark踩坑:Python worker failed to connect back和an integer is required


在安裝過程中,請務必注意版本,本人在第一次安裝過程中,python版本為3.8,spark版本為3.1.1的,故安裝后,在運行pyspark的“動作”語句時,一直報錯 Python worker failed to connect  back嘗試很多辦法都無法是解決這個問題,

最后只能將spark版本由3.1.1改為2.4.5,(即安裝文件由spark-3.1.1-bin-hadoop2.7.tgz改為spark-2.4.5-bin-hadoop2.7.gz)

 

以上只是把spark的版本降低了,但是如果python版本不降低,仍然會報錯如下,

TypeError:an integer is required(got type bytes)

 因為 spark還不支持python3.8,所以需要將python版本將到3.7以下,本次我用了python3.6.6,完美解決


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM