windows電腦上安裝虛擬機

1.搭建虛擬機環境

 

1）先安裝VMware10，在本機上雙擊VMware10.exe,安裝過程要用密鑰，雙擊VM10KeyGen.exe會生成密鑰，輸入就可以了

 

2）在VMware中新建虛擬機，加載系統，選CentOS-7-x86_64-Minimal-1611.iso鏡像文件，安裝操作系統，安裝過程中可以設置語言、ip等一些設置，比如虛擬機ip是192.168.60.128(通過ip addr命令查看)

cd /etc/sysconfig/network-scripts

vi  ifcfg-ens33

修改IPADDR=192.168.60.128  即是修改IP地址

service network restart     #重啟網卡生效

 

3）安裝好了重啟，用shell通過ip連接到這台虛擬機，在shell里配置以下幾項；

    a.配置網絡 ：

        cd /etc/sysconfig/network-scripts/

        ls

        vi ifcfg-ens33    修改編輯這個文件，記錄device這項的值，我的是ens33，把里面原來有的內容刪除，刪除命令，2dd就是刪除1，2這兩行，15dd就是刪除15行，全部刪除后，把下面內容拷貝進去，device改成我的ens33

 DEVICE=ens37
TYPE=Ethernet
BOOTPROTO=static
BROADCAST= 192.168.19.255 

IPADDR= 192.168.19.13 

GATEWAY= 192.168.19.2 

NETMASK= 255.255.255.0 

ONBOOT=yes
DNS10= 114.114.114.114 

然后按Esc鍵，：wq退出保存

 

service network restart  重啟網絡服務，剛才配置的網絡才起效

 

ping  www.baidu.com  測試下網絡 是不是通的

 

netstat -ntlp   查看哪些端口被占用的
-bash: netstat: 未找到命令

 

service sshd status   查看shell服務是不是開的，它開了，我們才能通過22端口連接虛擬機

 

yum install net-tools  安裝網絡工具插件，這樣ipconfig這種命令才能執行

 

wget url    ：命令是獲取下載網絡 上的資源

yum -y install wget   ：安裝wget插件，wget才能使用

yum -y install links ：安裝瀏覽器，才能在虛擬機里打開網頁

 

虛擬機賬號：root和wcy，密碼都是123456

 

2.安裝python 3.6.2

在shell里，python -v查看 python版本是2.7.5，這是CentOS自帶的

1）把下載的Python-3.6.2.tgz包上傳到虛擬機，

  解壓：tar -xvf Python-3.6.0.tgz，進入解壓后的目錄

mkdir /usr/local/python3   新建python要安裝的目錄

[root@wcy Python-3.6.2]# ./configure --prefix=/usr/local/python3     配置 

發現報錯

報錯信息：no acceptable C ompiler found in $PATH   是沒有編輯器  gcc

執行gcc命令找不到

yum install gcc 安裝一個

再執行./configure --prefix=/usr/local/python3  就好了

編譯（make）、

安裝（make install）

會報錯：zipimport.ZipImportError: can't decompress data; zlib not available

意思是沒裝解壓軟件

yum install zlib

yum install zlib-devel

把這兩個安裝了，再執行make install就成功了

配置軟鏈接：

 

    ln -s /usr/local/python3/bin/python3.6 /bin/python3
    ln -s /usr/local/python3/bin/pip3 /bin/pip3

安裝python和pip模

 

3.安裝superset

參考superset官網 ：https://superset.incubator.apache.org/installation.html

拷貝官網以下命令執行

sudo yum upgrade python-setuptools  #更新python-setuptools工具

sudo yum install gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel libsasl2-devel openldap-devel​ #安裝這些模塊

pip3 install cryptography -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com  #安裝cryptography ，后面-i那一串是阿里雲鏡像地址的用法
pip3 install virtualenv -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com        #安裝virtualenv 
pip3 install --upgrade setuptools pip -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com  #更新setuptools 

在github下載https://github.com/apache/incubator-superset/tree/0.18.4版本包incubator-superset-0.18.4 .zip，上傳到虛擬機

unzip incubator-superset-0.18.4 .zip #解壓

進入目錄：cd /home/wcy/software/incubator-superset-0.18.4目錄

[root@wcy src]# pip3 install . -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com    #會執行當前目錄下的 setup.py文件，把superset作為模塊裝到python3.6.2中去 ，. 是在本地源碼安裝

安裝完，到任何目錄，sup按Tab鍵，應該能出來superset，但發現不行，安裝的有問題

pip3 install superset -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com  #通過阿里鏡像安裝superset

以上方法失敗了，回到鏡像快照python3，重新安裝superset

 

#重新安裝superset

yum install python-setuptools  #安裝  python-setuptools，阿里雲鏡像沒有這個，所以不能加-i那一長串

yum install gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel libsasl2-devel openldap-devel​ #安裝這些模塊

有時候網絡問題，這句一直在換其他鏡像地址，安裝不了，可以下載到本地安裝

從它打印消息知道它的好多鏡像地址，選擇其中一個來下載

wget http://mirrors.btte.net/centos/7.3.1611/os/x86_64/Packages/gcc-c++-4.8.5-11.el7.x86_64.rpm   #下載gcc-c++

yum localinstall gcc-c++-4.8.5-11.el7.x86_64.rpm    #當前目錄下安裝剛下載的gcc-c++文件

yum install libffi-devel python-devel python-pip python-wheel openssl-devel libsasl2-devel openldap-devel​  #再安裝剩下的

pip3 install cryptography -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com  #安裝cryptography ，后面-i那一串是阿里雲鏡像地址的用法

pip3 install virtualenv -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com    #安裝virtualenv 

pip3 install --upgrade setuptools pip -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com  #更新setuptools 

在github下載https://github.com/apache/incubator-superset/tree/0.18.4版本包incubator-superset-0.18.4 .zip，上傳到虛擬機

unzip incubator-superset-0.18.4 .zip #解壓

進入目錄：cd /home/wcy/software/incubator-superset-0.18.4目錄

[root@wcy src]# pip3 install . -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com    #會執行當前目錄下的 setup.py文件，把superset作為模塊裝到python3.6.2中去 ，. 是在本地源碼安裝

pip3 install . -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com 

 

history   #查看最近執行了哪些命令

1 cd /etc/sysconfig/network-scripts/
2 ll
3 ls
4 vi ifcfg-ens33
5 service network restart
6 ping www.baidu.com
7 netstst -ntlp
8 netstat -ntlp
9 service sshd status
10 yum install net-tools
11 ifconfig
12 wget
13 yum -y install wget
14 yum -y install links
15 ls
16 unzip *
17 ls
18 cd olap
19 ls
20 cd src/
21 cd superset/
22 ls
23 vi con
24 vi config.py 
25 ls
26 cd ..
27 ls
28 chmod +x olap.sh 
29 ls
30 cd ..
31 cd /
32 find -name gunicorn
33 ln -s /usr/local/python3/bin/gunicorn /usr/bin/gunicorn
34 cd olap
35 ls
36 cd 
37 cd olap
38 ls
39 cd src/
40 ./olap.sh start
41 tail -f nohup.out 
42 pip3 install pymysql -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com
43 ls
44 ./olap.sh stop
45 rm -rf nohup.out 
46 ./olap.sh start
47 cat nohup.out 
48 tail -f nohup.out 
49 netstat -ntlp
50 cat nohup.out 
51 ip addr
52 ls
53 pwd
54 cd
55 ls
56 cd olap/src/
57 ls
58 vi superset/config.py 
59 cd /
60 find -name gunicorn
61 history

find -name gunicorn  #查找文件或文件夾名稱

 

4.部署superset源碼

 

把我們的olap源碼包olap-master-ca5629752ab5178a139788e4d61a33fb2515254d.zip上傳到服務器/root/目錄下，

解壓unzip olap-master-ca5629752ab5178a139788e4d61a33fb2515254d.zip

mv olap-master-ca5629752ab5178a139788e4d61a33fb2515254d olap

cd /root/olap/src/superset

vi config.py  把ldap和連接數據庫的修改成測試環境的

chmod +x olap.sh  給olap.sh文件執行權限

ln -s /usr/local/python3/bin/gunicorn /usr/bin/gunicorn      #給gunicorn加軟鏈

進入目錄：cd /root/olap/src

./olap.sh start             #啟動olap服務

./olap.sh stop     #停止olap服務
rm -rf nohup.out       #密碼幫我nohup.out文件

cat nohup.out       #查看nohup.out文件內容

[root@wcy ~]# netstat -ntlp             #顯示各種網絡相關信息，如網絡連接，路由表，接口狀態 (Interface Statistics)，masquerade 連接，多播成員 (Multicast Memberships) 等等。
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name 
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 982/sshd 
tcp 0 0 0.0.0.0:8088 0.0.0.0:* LISTEN 29983/python3.6 
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 1491/master 
tcp6 0 0 :::22 :::* LISTEN 982/sshd 
tcp6 0 0 ::1:25 :::* LISTEN 1491/master

 

service firewalld status         #查看防火牆信息
service firewalld stop           #關閉防火牆


ip addr

啟動好了，在瀏覽器訪問：http://192.168.60.128:8088

發現登錄頁面可以，但登確定按鈕報錯，是沒安裝ldap模塊，

yum install pyldap -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com  #安裝ldap模塊，就可以登錄成功

 

linux上安裝 jdk

將jdk1.8.rpm包上傳到虛擬機

安裝：rpm -ivh jdk1.8.rpm   #不用指定路徑

man rpm   #查看命令的用法，有哪些參數，如  man yum

type java     #查看剛安裝的jdk路徑，默認安裝在/usr/java/jdk1.8.0_111下

 

設置環境變量：

vi  /etc/profile

export JAVA_HOME=/usr/local/jdk1.7.0_71

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$JAVA_HOME/bin:$PATH

 

安裝hadoop

1.創建hadoop賬號

[root@wcy ~]# su
[root@wcy ~]# useradd -m hadoop -s /bin/bash     #添加hadoop用戶

[root@wcy ~]# passwd hadoop    #給hadoop用戶設置密碼，mybigdata

 

2.安裝SSH、配置SSH無密碼登陸

集群、單節點模式都需要用到 SSH 登陸（類似於遠程登陸，你可以登錄某台 Linux 主機，並且在上面運行命令），一般情況下，CentOS 默認已安裝了 SSH client、SSH server，打開終端執行如下命令進行檢驗

[root@wcy ~]# rpm -qa|grep ssh           
openssh-clients-6.6.1p1-31.el7.x86_64
openssh-6.6.1p1-31.el7.x86_64
openssh-server-6.6.1p1-31.el7.x86_64
libssh2-1.4.3-10.el7_2.1.x86_64

 

如果返回的結果如上圖所示，包含了 SSH client 跟 SSH server，則不需要再安裝

若需要安裝，則可以通過 yum 進行安裝（安裝過程中會讓你輸入 [y/N]，輸入 y 即可）：

1. sudo yum install openssh-clients
2. sudo yum install openssh-server

接着執行如下命令測試一下 SSH 是否可用：

1. ssh localhost

此時會有如下提示(SSH首次登陸提示)，輸入 yes 。然后按提示輸入密碼 hadoop，這樣就登陸到本機了。

 

這里我輸入hadoop賬號的密碼2次都不正確，輸入root的密碼123456就進去了

原來我當前是root登錄，切換到hadoop

su hadoop

再執行  ssh localhost就是輸入hadoop的密碼了

 

但這樣登陸是需要每次輸入密碼的，我們需要配置成SSH無密碼登陸比較方便。

首先輸入 exit 退出剛才的 ssh，就回到了我們原先的終端窗口，然后利用 ssh-keygen 生成密鑰，並將密鑰加入到授權中：

 

1. exit # 退出剛才的 ssh localhost
2. cd ~/.ssh/ # 若沒有該目錄，請先執行一次ssh localhost
3. ssh-keygen -t rsa # 會有提示，都按回車就可以
4. cat id_rsa.pub >> authorized_keys # 加入授權
5. chmod 600 ./authorized_keys # 修改文件權限

 

 ~的含義

在 Linux 系統中，~ 代表的是用戶的主文件夾，即 “/home/用戶名” 這個目錄，如你的用戶名為 hadoop，則 ~ 就代表 “/home/hadoop/”。 此外，命令中的 # 后面的文字是注釋。

 

此時再用 ssh localhost 命令，無需輸入密碼就可以直接登陸了，如下圖所示。

 

配置JAVA環境變量：

vi /etc/profile

添加下面內容：

export JAVA_HOME=/usr/java/jdk1.8.0_111
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH