簡要的線上環境部署概覽


  談到線上環境,一般開發同學,不太容易接觸到。即使接觸到,也只是其中的冰山一角!

  所以,其實說起線上環境的部署,咱們好像都有點懂,但是又都不一定完全懂!網上的知識無窮無盡,但往往都是各司一職,對於普通同學,很難窺其全貌!

  所以,我今天就來說說,一些普通的線上環境的部署步驟,和一些腳本小技巧吧。只希望通過這篇文章,能夠讓大家有一個運維的全局觀!

 

  我將會分幾條線來整理咱們的運維思路!

一、從理論上講,我們應該怎么做?


1. 針對的是什么樣的用戶群體,體量大概會有多少?

  這是一個部署規划的前題。為啥呢?

  一、如果你針對的是后台管理員,人數也不多,那么你可能只需要一個服務器就可以了,前后端也都可以部署在同一台服務器上;如果稍微考慮下單點故障問題,則頂多兩台服務器搞定!

  二、如果針對的是前端普通用戶,那么,往往就會考慮多機部署,前后端分離,單點問題,負載均衡了;至於具體要部署多少台,則要根據你的用戶情況來定了,當然,前期一般沒必要部署很多台服務器!更多的考慮是橫向擴展的能力。只要能支持橫向擴展,則短期內,往往不用擔心性能和架構問題!

2. 為支持預估的用戶量,大概需要多少的帶寬?

  有訪問就會有流量產生,而預估的用戶量,則是一個帶寬資源需求的一個決斷依據!

  一般針對前期用戶不太確定的場景,可以先買個 10M 左右的共享帶寬,基本能夠應付;經過一段時間的觀察后,再進行帶寬的變更也可以;

  當然,考慮帶寬,自然也會存在一個公網IP的問題,因為流量是從IP進來的。

  而在IP之前,則是域名的訪問。域名問題則又涉及到DNS,不必細說!

  公網IP可以是直接指向機器的,也可以是指向負載均衡器的。如果想要支持橫向擴展,則IP的指向一定是一個負載均衡器。因為只有這樣,當遇到流量突增,或者做活動的時候,才能更快速的進行擴容!

3. 數據庫規划如何?

  數據在當下時代,算是重中之重了。機器沒了可以再買,代碼沒了可以再寫,但是數據沒了就完蛋了!

  數據庫一般要遵從幾個基本原則: 一、帶寬要大; 二、運算速度要快; 三、要能承受足夠大的運算空間;(即:帶寬足夠大/cpu核數夠多/內存容量夠大/最大並發連接數/...)

  所以,一般不要在數據庫上省錢,能多點就多點!

  另外,也不要什么樣的數據都往數據庫(關系型數據庫)存,搞清楚各類型數據庫的強項與弱項,做出明智的選擇。否則會帶來很多不必要的麻煩!

4. 應用要基於操作系統來部署還是基於容器來部署?

  這是個決策性的問題!基於操作系統的部署,是一種比較傳統和常見的部署方式。優點是,很多系統工具都是完善的,只要你大概知道要部署什么,部署下來一般不會有太多問題,因為這是個完整的系統。

  但是,由於系統與系統之間可能不能完全一致,有各種各樣的差異,所以,你在這個機器上運行成功的東西,在另外的機器上則不一定能成功。因此,基於系統的部署將會使我們的問題排查難度大大增加,而且移值性會很差。比如你在機器A上安裝了10個軟件,你可能配置了n個選項,但是,當你在安裝B機器的時候,你並不能很好的利用原有的配置,你還得從頭一個個地來!

  因此,有另一個部署方案,基於容器的部署(我這里是基於docker容器的部署)。docker就類似於一個個的虛擬機,但是它更加輕量級,當一個docker部署好后,你可以任意復制到其他機器上運行,看起來很誘人吧。不過,docker只是入門級容器,對於大量集群容器的管理,還是顯得力不從心,當然你很容易找到另一個方案: Kubernetes (K8s); 你只要花上少許的時間了解下,你就可以應用了!當然了,使用容器的方案,有沒有什么缺點呢?應該是有的,比如本來可以基於系統的監控方案,因為接入容器后,監控指標則不一定適用了,當然現成的方案還是有的,不過得另外再花點時間研究了。再比如:如果容器出了問題,是否能排查出來,這也是另一個問題!

5. 都有些什么樣的基礎設施或者中間件?

  想要運行應用程序,自然是先考慮運行環境的。比如:應用需要 nginx 來做http服務器,用 tomcat 來做java web應用服務器,用redis來做緩存中間件,用zk來做應用協調中間件,用rabbitmq來做消息中間件,等等!

  因此,要在代碼跑起來之前,先要把這些環境給准備好咯。

  准備這些中間件或基礎設施之前,也要問下當下的形勢,是否有高性能高可用應用需求?比如:是否需要集群部署,或者單機部署?往往集群部署又會依賴其他的中間件!也更復雜!
  當然,這些都不是事。事兒是在出問題之后,能夠有意識,能夠猜測到問題發生的點!

6. 應用代碼應該怎樣部署?

  當基礎環境就緒后,就應該讓主角上場了。應用代碼怎么部署?

  最簡單的: 通過ftp上傳代碼到服務器上后,一個個部署!這種方案是最原始的,也是在沒有辦法搞更好的方案的時候使用的,不應長期使用;

  稍微好點的: 使用集成工具(如jenkins)進行打包,然后上傳一個私有yum鏡像服務器(yum 源)。然后在線進行yum 安裝;這種方式,借助了集成工具,幾個好處: 

    1. 可以檢測代碼合法性如:單元測試、代碼規范(可能需要插件);
    2. 對任何的改動有簡單留檔,可以備查的同時,也為代碼的回滾提供了可能;
    3. 減少了手動上傳導致的包破壞的可能性;
    4. 適合大規模應用;

  再成熟點的: 再往后面,手動 yum 安裝也已經太累了,所以急需一個部署平台,實現自動化部署;(這里的自動化部署可能就是基於CI集成部署的一種升級版)。總之,大大減小了人工參與程序,提升了效率,同時也保證了質量!當然,這種部署平台已經經過了嚴格的測試,出錯的可能性也比較小了!

7. 服務器的安全性?

  不考慮服務器的安全性的應用,無異於自暴自棄。黑客無處不在,不過幸好現在系統也是越來越完善,只要稍加控制,即不那么容易被攻破了。但是如果放棄安全防護,則隨便來一個菜鳥程序員就把你搞死了,那時的損失就大了。

  網絡安全是個很專業的領域,我不敢造次去談它。不過我們可以簡單的做下防護: 如防火牆、授權操作、病毒庫等等。當然,如果使用xx雲服務,則輕松方便多了,在后台點點設置幾下搞定!

8. 服務的可監控性?

  無監控,不上線!

  這是一個警示,如果線上服務沒有監控,則所有線上的東西,都成了盲區,這對程序員GG們來說,簡直太糟糕了,雖然他們很自信!

  監控分兩個方面: 一是系統級別的監控;二是應用級別的監控;(一般忽略其他監控: 如網絡)

  系統級別的監控一般可以安裝第三方的軟件來解決: 如 zabbix, grafana ... 

  而應用級別的監控,則需要自己擁有一套監控代碼了,而這對初期項目,則往往比較吃力。當然,如果引入一些開源的解決方案也是可以的,比如 ELK, 做到分布式日志中心的作用的同時,也可以根據日志做相應的應用報錯監控!然而這又涉及另外的機器費用和人力成本問題,也顯得不那么簡單了。

  而如果使用xx雲服務,則往往都會自帶服務器監控的,可以很方便地查看到服務器情況,站在高層次預估應用是否存在潛藏的問題!

  

如上,就是一些個人覺得的在部署一整套線上環境的時候,需要考慮的事項!從理論上講解了下個人見解,不對之處,請賜教!

 

二、接下來,我將給到一些實際的操作捷徑或提示?(linux)


1. 免密登錄服務器?

  在n服務器之間跳轉,如果每次都要求輸入密碼,那確實太煩了。尤其在密碼一般還很不容易記住的情況下!

  所以,可以將一台服務器作為跳板機,在這台服務器上,可以免密地登錄到允許的n台子服務器;

  操作步驟有二:

# 1. 先使用 ssh-keygen 生成本機的key
ssh-keygen -t rsa            # 如果已生成不要重復生成
# 2. 使用 ssh-copy-id 將本機的 key 發送到需要免密登錄的服務器,首次copy時會要求輸入密碼,后續則免密了
ssh-copy-id -i ~/.ssh/id_rsa.pub root@172.1.2.111

2. 服務器之間文件(夾)拷貝?

  拷貝文件的目的有很多,比如:代碼同步,文件同步,資源同步,甚至是會話同步。。。

# 1. 使用scp 拷貝文件
scp /home/ol-web.war root@xxx.com:/www/tomcat/wepapps/    # 從本機拷貝到遠程
scp /home/ol-web.war root@xxx.com:/www/tomcat/wepapps/    # 從遠程拷貝到本機
scp -r /www/nginx/html/ root@$1.2.3.2:/www/nginx/html/    # 從本機拷貝文件夾到遠程
# 2. 使用 rsync 同步文件,(可能需要安裝 rsync 服務)
rsync -av --delete /www/nginx/html/ root@$1.2.3.1:/www/nginx/html/        # 同步所有屬性,本地刪除的文件也同步遠程刪除

        其中,scp一般是系統自帶的命令,而rsync則需要自行安裝服務。

        scp復制你可以認為是增量復制,所以遠程文件往往會越來越大,垃圾文件越來越多。

        而rsync則是保持兩端完全一致,可能會符合應用場景!但是,別忘了把rsync服務加入到開機啟動項中!

3. 快捷使用 ssh 等等命令,使用 tab 鍵進行信息補全?

  當使用 ssh / scp 等等命令操作的時候,其操作對象往往 1.2.3.x 這樣的ip顯示,如果不能友好點,那確實太累了!我們可以如下操作,以實現 ssh 也能更好的記憶:

# 在文件 /root/.bashrc 中,添加腳本如下,使自動補全添加 ssh
# auto complete ...
complete -W "$(echo $(grep -v '^$|#' .ssh/config | sort -u | sed 's/^ssh //'))" ssh
# 在文件 /root/.ssh/config 中,添加需要自動補全的服務器,
Host 172.2.3.5 server-api-01
Host 172.2.3.6 server-api-02
# 以上服務器名字需要在 /etc/hosts 文件中添加相應解析
# 而登錄 server時,只需, ssh server-api-01 即可

  如上補全工作,無需在所有服務器上進行操作,只需在相應的跳板機上提供功能即可!

 

4. 簡要 saltstack 搭建指南?

  salt 是個方便易用的集群管理工具,比如你可以用於批量重啟服務,全局搜索日志等等;

# 1. 安裝, 僅需到相應機器上安裝即可
    yum install salt-master salt-minion
# 2. 配置 /etc/salt/master /etc/salt/minion, 最簡單的,只需修改 minion 配置,指向 master 的ip即可;
    #指定master,冒號后有一個空格, minion
    master: 172.1.2.22
    id: server-api-01
    user: root
# 3. 啟動所有節點, status, restart
    systemctl start salt-master        # 162機器可用
    systemctl start salt-minion
    /etc/init.d/salt-master start    # 155機器可用
    /etc/init.d/salt-minion start
# 4. 將所有salt-minion 添加到 master 集群管理
    salt-key -A        
# 5. 登錄跳板機 api_01, 運行salt 操作,執行集群管理工作
    salt server-api-02 cmd.run 'lsof -i:80'
    salt '*' test.ping

 

5. 簡要集群復制shell腳本?

  有時,你可能需要將你的應用發布到n台服務中,你可以直接改如下shell,也可以依賴於salt這樣的高級工具進行發布!shell 參考如下:

#!/bin/bash
# find out my ip to exclude...
MY_MERCHINE_IP=`ifconfig eth0 |awk -F "[: ]+" '/inet addr/{print $4}'`;
MERCHINE_IP_LIST="172.1.2.7 172.1.3.4";
for m_ip in $MERCHINE_IP_LIST;
do
        if [[ $m_ip != $MY_MERCHINE_IP ]]; then
                echo "- Installing apps to mechine@${m_ip} ...";
                # install api apps
                scp /www/test/hello-1.0.0-SNAPSHOT.jar root@${m_ip}:/www/test/
                rsync -av --delete /www/html/ root@${m_ip}:/www/html/
                echo "- Install apps to merchine@${m_ip} done.";
        fi;
done;

 

 6. 簡要docker搭建指南?

  docker 作為一個容器化的基石,一出世就被追棒。包括現在的 k8s ,也是基於docker的。docker 可以讓你在一處搭建,處處運行,從而避免每次新買機器就要搞很久的尷尬局面;其搭建也是很簡單的(簡單應用):
  為方便任意發揮,我們可以基於centos這種系統級別的鏡像進行創建自己的image;

# docker 安裝:
    yum install docker
    service docker start
# 拉取 centos6 的 docker 鏡像
    docker pull centos:6
    docker images
# 構建一個 image, 創建空目錄,編輯 Dockerfile
    vim Dockerfile         # 內容可變
        FROM centos:6
        MAINTAINER oom <w@163.com>
        # move all configuration files into container

        # RUN yum install -y lsof
        # EXPOSE 80
        # CMD ["sh","-c","service httpd start;bash"]
# 創建鏡像
    docker build -t tmp_image:1.0 .      
# 創建並運行容器
    docker run -h tmp_container -itd --name tmp_container -v /opt/docker/webapps:/www/webapp tmp_image:1.0    
# 進入容器,相當於進入 centos 操作系統
    docker exec -it tmp_container bash
# 保存容器修改到images
  docker commit -m 'web final.' 49d79fc19eaa tmp_image:1.2
# 備份容器修改后的docker鏡像 
  docker save > /opt/images/images_final/tmp_image.final.tar tmp_image:1.2
# 恢復你的備份鏡像,即全網發布
# 可以在任何裝 docker 的地方加載保存的鏡像
  docker load -i /opt/images/images_final/tmp_image.final.tar

 

 7. 定制你的登錄歡迎語?

  由於可能存在線上環境與測試環境共存的情況,一不小心的切換錯誤,就可能導致不可挽回的損失。所以,如果我們能在登錄的時候,做一個簡單的提示,那么就會少一點出錯的可能性。所以,訂制你的登錄歡迎語吧!

# 修改登錄歡迎語 vim /etc/motd
*****************************************************************
!!! WARNING:  歡迎來到線上機器: service-api-01 ,請謹慎操作哦 !!!
*****************************************************************

   這樣,用戶登錄后,就會清楚的知道自己是在操作生產環境了!

8. 更方便的查看nginx的訪問日志?

  對於后端的日志而言,往往都是主動打印到某個固定位置,從而開發人員可以直接使用 tail -f xxx.log 進行日志的查看!

  然而對於前端的代碼而言,則往往沒有相應的開發日志,唯一可以借助的就是 http 服務器的日志來排查問題了!

  所以,比如使用 nginx 作為 http 服務器,那么就應該把盡可能多的有用日志打印出來。那么,如何快速查看 nginx 日志,則是有必要的!比如我們可以這樣:

# vim /usr/bin/log_nginx_host , 使用 log_nginx_host 直接查看所有 nginx 日志
tail -f /var/log/nginx/access.log /var/log/nginx/error.log

       如上,將會把訪問日志與錯誤日志一起打印出來,從而快速定位問題!

 

  。。。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM