spark打包詳解


  spark打包還是比較復雜的,特別的其中有關R語言的模塊。在本章,我就將其中遇到的所有問題為大家一一講解,為大家提供一點經驗。
  這里的打包命令是直接從官網中找的,這里我們最后得到的是tgz格式的包。打包的命令是——./dev/make-distribution.sh --name custom-spark --pip --r --tgz -Psparkr -Phadoop-2.7 -Phive -Phive-thriftserver -Pmesos -Pyarn -Pkubernetes
  這里我們首先修改make-distribution.sh中MVN="$SPARK_HOME/build/mvn",將其改為自己maven路徑。這里我修改為——MVN="/usr/local/maven-3.5.3/bin/mvn"。
  報錯一:
  [ERROR] Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.6.0:exec (sparkr-pkg) on project spark-core_2.11: Command execution failed.: Process exited with an error: 1 (Exit value: 1) -> [Help 1]很可能是由於R語言並沒有安裝,因為我們這里同樣報了如下錯誤:
  解決方法:在mac上安裝R語言。這里我下載了R-3.6.0.pkg,然后直接安裝就好。
  報錯二:
  no knitr found。
  解決方法:在R語言的命令行下,也就是/Applications/R.app/Contents/MacOS/下直接執行R,然后在輸入框內執行——install.packages("knitr")
  報錯三:
  there is no package called 'stringi'
  解決方法:在R的命令行下執行——install.packages('stringi')
  報錯四:
  Using Caret Package but Getting Error in library(e1071)
  解決方法:在R命令行下執行install.packages('e1071', dependencies=TRUE)
  報錯五:
  no rmarkdown、testthat
  解決方法:在R命令行下執行install.packages('rmarkdown')、install.packages('testthat')
  報錯六:
  調用tools::texi2pdf()是出了錯:
  解決方法:下載MacTex后安裝。然后執行sudo find / -iname texbin,我這里有如下路徑
  接着,我們需要設置R語言的環境變量。
  這里有兩種設置環境變量的方法,一種是臨時的,也就是會話級別的,另一種是永久的。
  關於臨時的環境變量設置,在鏈接—— https://www.r-bloggers.com/building-r-packages-missing-path-to-pdflatex/中將的比較詳細了,我這里就不贅述了。我們這里需要關注的是永久環境變量的設置。
  要設置永久的環境變量,我們需要更改/etc/profile文件,這里我們添加在文件中添加:
  export LATEX_HOME=/Library/TeX/texbin
  export PATH=$PATH:$LATEX_HOME
  執行了source /etc/profile后,我們打開另外一個窗口,在R命令行下執行:
  Sys.getenv("PATH") /Library/TeX/texbin
  接着執行:Sys.which("pdflatex") ,這里我們發現:
  然后,我們再在spark-master/目錄下執行:
  ./dev/make-distribution.sh --name custom-spark --pip --r --tgz -Psparkr -Phadoop-2.7 -Phive -Phive-thriftserver -Pmesos -Pyarn -Pkubernetes
  等一段時間,就會發現在根目錄下已經打好了包:spark-2.3.0-SNAPSHOT-bin-custom-spark.tgz
  到現在為止,我們就打好了spark的tgz包,大家就可以自由地調試了。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM