RHadoop計算平台搭建


 原創文章,轉載請注明: 轉載自www.cnblogs.com/tovin/p/3824554.html

 

本文基於CentOS6.4系統介紹基於RHadoop平台的搭建,Hadoop的搭建可以參考http://www.cnblogs.com/tovin/p/3818908.html,以下着重介紹在Hadoop平台上構建R

一、安裝R

  (1)安裝依賴軟件

    sudo yum install gcc-gfortran

    sudo yum install gcc gcc-c++ 

    sudo yum install readline-devel 

    sudo yum install libXt-devel 

  (2)安裝R包

    cd /home/hdp/download  

    wget http://mirror.bjtu.edu.cn/cran/src/base/R-3/R-3.1.0.tar.gz

    tar zxvf R-3.1.0.tar.gz

    cd R-3.1.0

    ./configure --enable-R-shlib

    sudo make

    sudo make install

    把R、Rscript加入環境變量

    sudo ln -s /usr/local/bin/Rscript /usr/bin/Rscript

    sudo ln -s /usr/local/bin/R /usr/bin/R

  在linux終端輸入R,如果啟動正常則表明安裝成功

  

二、安裝RStudio

  為了更方便把RHadoop提供給開發人員使用,可以使用基於Web操作的RStudio來操作R

  cd /home/hdp/download  

  wget http://download2.rstudio.org/rstudio-server-0.98.953-x86_64.rpm

  sudo yum install libcrypto.so.6

  sudo yum install libgfortran.so.1

  sudo yum install libssl.so.6

  sudo yum install openssl098e-0.9.8e 

  sudo yum install gcc41-libgfortran-4.1.2

  sudo yum install pango-1.28.1

  sudo yum install compat-libgfortran

  cd /etc/ld.so.conf.d/

  sudo vim rstudio.conf添加內容

    /usr/local/lib64/R/lib
  再執行sudo ldconfig將下面幾個so庫加入系統庫

  

  sudo rpm -Uvh --nodeps rstudio-server-0.98.953-x86_64.rpm  

  至此rstudio安裝完成並啟動,運行rstudio-server verify-installation看是否會報錯

  最后,可以進入/etc/rstudio目錄修改rserver.conf配置文件添加登錄權限管理

  

  auth-required-usr-group是針對設置的組才能登錄系統。注意:rstudio用戶是和linux本地帳號一致的,對於ldap用戶是不支持的。

  訪問8787端口就能進入rstudio web界面了:

     

 

三、安裝RHadoop 

  1、下載rmr、rhdfs

         進入https://github.com/RevolutionAnalytics/RHadoop/wiki/Downloads下載rmr、rhdfs包

  2、安裝rmr、rhdfs

    cmd執行命令行執行:   

      R CMD javareconf   

    啟動R執行:

      install.packages("rJava")

      install.packages("reshape2")

      install.packages("Rcpp")

      install.packages("iterators")

      install.packages("itertools")

      install.packages("digest")

      install.packages("RJSONIO")

      install.packages("functional")

    cmd執行命令行執行:

    R CMD INSTALL rhdfs-1.0.8.tar.gz

    R CMD INSTALL rmr-3.1.2.tar.gz

  3、修改環境變量

   cd /usr/local/lib64/R/etc

   修改Renviron文件增加HADOOP_CMD、HADOOP_STREAMING環境變量,這步很關鍵不然RStudio會報錯獲取不到HADOOP環境變量

   

 4、部署DataNode

   將/usr/local/lib64/R目錄下所有文件傳至所有DataNode節點相同位置

   sudo cp /usr/local/lib64/R/bin/R /usr/local/bin/

     sudo cp /usr/local/lib64/R/bin/Rscript /usr/local/bin/ 

    至此完成了RHadoop平台部署 

 

四、測試驗證

  訪問Rstudio web驗證一下rhdfs、rmr2的功能

  1、hdfs功能驗證

    

  2、mapreduce功能驗證

    

 

    

    安裝部署成功,收工!

 

 原創文章,轉載請注明: 轉載自www.cnblogs.com/tovin/p/3824554.html


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM