DevOps之平台架構


嘮叨話

關於德語噢屁事的知識點,僅提供精華匯總,具體知識點細節,參考教程網址,如需幫助,請留言。 

 

《工程技術(Engineering and Technology)》
《工作流程(Workflow)》
1、安裝部署(操作系統和程序環境)
2、管理配置(物理機或虛擬機)
3、硬件軟件(安裝與卸載)
4、資源狀態(功能與性能)
5、資源調度(編制與編排)

 

DevOps平台架構(Platform Architecture)

《實體化平台(Platform)》
System:系統。
Ware:容器、中間件、應用。
Node:節點(管理、計算、存儲、網絡)。

《虛擬化平台(Platform)》
新建網絡Network
首先創建VxNet私有網絡,然后器創建SubNet子網,最后配置IP、開啟GW和DHCP、設置DNS、連接Router。

新建主機Instance
選擇主機配置;綁定公網IP(是否綁定負載均衡LB),綁定私網IP,綁定安全組;管理認證密鑰。

路由器;通訊網關,綁定公網和關聯私網的設備;端口轉發,通過IP|TCP|UDP協議,配置來源和目標的IP和Port;安全隧道,安全機制的認證和密鑰,封裝模式的隧道和傳輸。
網絡網關:啟用,禁用;綁定主機。
網絡端口:名稱,類型,子網,IP地址,安全組(規則,協議,目標對象);綁定主機。
網絡隧道:名稱,IKE策略、IPSec策略、VPN服務、遠端IP、認證密鑰、目標網絡;綁定主機。

新建磁盤Volume
選擇磁盤配置;綁定主機。

《監控結構》
監控體系:監控(Monitoring)、警告(Alerting)、趨勢(Trending)。
監控欄目:設備監控、系統監控、網絡監控、業務監控、安全監控。
監控面板:BS結構網頁,CS結構窗體。
采集方式:Agent(代理端)、Snmp(簡單網絡管理協議)、IPMI(智能平台管理接口)、JMX(Java管理擴展)、Trapper(捕捉器)。
警告方式:郵件email、短信sms、腳本script、網聊chat。

《監控模塊》
機房環境設備
通過IP地址、端口(Snmp)的方式。
UPS/EPS、ATS/STS、供配電、發電機、照明控制器、空調、新風機、水電氣儀表、電流電壓傳感器、溫濕度傳感器、煙霧傳感器、漏水檢測儀、防雷器、電話機、視頻監控、門禁卡鎖、安防消防。

其他定義設備
Ping、Url、Port、Xml。

網絡設備
設備地址、端口(Snmp)、用戶、密碼。
調制解調器、數字用戶線路、收發器、轉換器、中繼器、橋接器、集線器、交換機、路由器、適配器、網關、網閘、網卡、VPN、防火牆、負載均衡器、流量控制。

存儲設備
設備地址、端口(Snmp|SMH)、用戶、密碼。
IBM、EMC、NetApp、HP、Dell、Hitachi日立、DDN、普安Infortrend、宏杉MacroSAN、華為Huawei。

物理機服務器
監控方式:IP地址、端口(Agent|Snmp161|SSH22|Telnet23)、文件密鑰;用戶、密碼;可讀共同體名稱、可寫共同體名稱、版本。
Windows:Agent、Snmp、WMI。
Linux:Agent、Snmp、SSH、Telnet。
FreeBSD、Sco.Unix、IBM.AIX、HP.UX、Sun.Solaris:SSH、Telnet、Snmp。

虛擬機服務器
IP地址、端口號、文件密鑰、用戶、密碼。
VMware、Xen、Hyper-V、Parallels、PowerVM、FusionSphere。

業務
中間件:Tomcat、Resin、Jetty、JBoss、GlassFish、WebSphere、WebLogic、MSMQ、Kafka、RabbitMQ、Docker、Rocket。
數據庫:SQLServer、Oracle、MySQL、Postgresql、DB2、SyBase、MongoDB。
Web應用程序:URL、DNS。
緩存服務器:Memcache、Redis。
代理服務器:Squid、Varnish。
網站服務器:IIS;Apache、Nginx、Lighttpd。
郵件服務器:Exchange、EQMail、IBM Domino、Postfix、Dovecot。
流媒體服務器:ffmpeg、Red5、EasyDarwin。
目錄服務器:AD(Active Directory)、LDAP(Lightweight Directory Access Protocol)。
文件服務器:FTP。

公共模塊
監控對象,地址、端口;監控頻率-分鍾、請求超時-秒、觸發事件次數、通知組。

 

平台架構圖

《生態鏈(Ecological Chain)》
《Google(谷歌)》
Gfs,MapReduce,BigTable,Chubby;Caffeine,Pregel,Dremel;Spanner。
《Alibaba(阿里巴巴)》
Dubbo,FastDFS,Tair。
《Apache Hadoop(海杜普)》
企業服務商:Cloudera,Hortonworks,MapR。

《Apache Hadoop》
結構體系:Common公共模塊包,arn資源管理器,Hdfs數據存儲系統,MapReduce數據計算框架。
《Apache Hadoop 項目》
Hadoop ZooKeeper,集群管理工具(協調系統)。
Hadoop Oozie,工作流(任務調度)。

Hadoop Ambari,集群管理工具,基於Web的系統部署及配置平台。
Hadoop Whirr,集群管理工具,類庫。
    Apache Kafka,消息隊列。
    Apache Falcon,數據生命周期。
    Aapche Ranger,安全管理。
    Apache Knox Gateway,安全網關。

Hadoop Hdfs,分布式文件系統
Hadoop HBase,數據列式存儲系統。
    Apache Kudu,數據列式存儲系統。
Hadoop Cassandra,數據鍵值存儲系統。
    Hadoop Flume,日志收集工具,參照FaceBook Scribe日志收集系統。
    Hadoop Sqoop,數據遷移工具,數據倉庫技術。

Hadoop Chukwa,數據采集、存儲、分析的監控系統。
Hadoop Avro,數據序列化,數據交換格式。

Hadoop Pig,數據編程語言,腳本式。
Hadoop Hive,數據倉庫系統,類似SQL。
    Apache Impala,數據查詢系統,類似SQL,參照Google Dremel|Drill項目。
    Apache Crunch,數據計算API接口,常見任務的模式庫。
Apache HCatalog,元數據管理服務統一平台。

Hadoop Hue,基於Web-UI界面的數據管理工具。
    Apache Zeppelin,基於網頁的數據分析工具。
Apache BigTop,基於項目打包、分發和測試的工具。

Hadoop Yarn,資源管理器
Hadoop Mesos,資源調度管理器。

Hadoop MapReduce,Batch模型計算。
Hadoop Tez,DAG模型計算。
Hadoop Spark,MM模型計算(DAG,流式,迭代式)。
    Apache Spark(Graphx),圖計算。
    Apache Spark(Mlib),機器學習。
    Apache Spark(Streaming),流計算。
Hadoop Hama,BSP模型計算。
Apache Giraph,圖計算。
Apache Mahout,機器學習算法庫。

《OpenStack(虛擬化工具)》
Cloud雲:Deploy部署、Configure配置、Manage管理。
部署模式:私有雲(Private Cloud)、公有雲(Public Cloud)、混合雲(Hybrid Cloud)、社區雲(Community Cloud)。
服務模式:設施IaaS、平台PaaS、軟件SaaS。
技術組件:虛擬化管理程序Hypervisor、虛擬化管理接口、資源交互API、消息列隊MQ、分布式存儲、容器、網絡虛擬化等。

OpenStack初始項目模塊
Nova(NASA開發的虛擬服務器部署和業務計算模塊),Swift(Rackspace開發的分布式存儲模塊)。
OpenStack現今項目模塊
https://www.openstack.org/software/

《OpenStack》
Compute(Nova)、Network(Neutron)、Object Storage(Swift)、Block Storage(Cinder)
Identity Service(Keystone)、Image Service(Glance)、Telemetry(Ceilometer)
Database Service(Trove)、Orchestration(Heat)、Dashboard(Horizon)

《Compute計算》
Nova虛擬機計算、Ironic裸機計算、Glance鏡像、Magnum容器部署、Zun容器管理、Storlets對象存儲計算
《Storage存儲》
Swift存儲、Cinder塊存儲、Karbor數據安保、Freezer備份恢復、Manila共享文件系統
《Networking網絡》
Neutron網絡、Designate域名解析、Octavia負載平衡器、Dragonflow網絡流、Kuryr網絡容器、Tacker網絡功能虛擬化、Tricircle多集群網絡部署
《Data數據》
Trove數據庫管理、Sahara數據分析、Searchlight數據搜索
《Security安全》
Keystone身份認證、Barbican密鑰管理、Congress策略管理、Mistral工作流
《Management管理》
Horizon網頁界面、Senlin集群、Rally性能測試與分析、Vitrage根源原因分析、Watcher優化、Openstack Client命令行界面
《Deployment部署》
Tripleo容器、Kolla容器部署、Openstack Charms、Openstack Ansible、Chef Openstack、Puppet Openstack
《Application應用》
Heat編排編制、Zaqar消息、Murano目錄、Solum生命周期
《Monitoring監控》
Ceilometer計量、Gnocchi時序計量、Aodh預警、Panko事件、Monasca監控、Cloudkitty計費

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM