工業互聯網平台核心技術之一：數據集成與邊緣處理技術：https://blog.csdn.net/iot_research/article/details/82662797
工業互聯網平台核心技術之二：虛擬化技術 https://blog.csdn.net/iot_research/article/details/82721127
工業互聯網平台核心技術之三：並行計算與分布式計算 https://blog.csdn.net/iot_research/article/details/82832025
工業互聯網平台核心技術之四：一文讀懂雲計算 https://blog.csdn.net/iot_research/article/details/83044463
工業互聯網平台核心技術之五：多租戶技術 https://blog.csdn.net/iot_research/article/details/83478970
工業互聯網平台核心技術之六：安全技術 https://blog.csdn.net/iot_research/article/details/83717865
工業互聯網平台核心技術之七：運維技術-無監控，不運維 https://blog.csdn.net/iot_research/article/details/84203182
工業互聯網平台核心技術之一：數據集成與邊緣處理技術
工業互聯網平台是面向制造業數字化、網絡化、智能化需求，構建基於海量數據采集、匯聚、分析的服務體系，支撐制造資源泛在連接、彈性供給、高效配置的工業雲平台。其本質是通過構建精准、實時、高效的數據采集互聯體系，建立面向工業大數據存儲、集成、訪問、分析、管理的開發環境，實現工業技術、經驗、知識的模型化、標准化、軟件化、復用化，不斷優化研發設計、生產制造、運營管理等資源配置效率，形成資源富集、多方參與、合作共贏、協同演進的制造業新生態。
工業互聯網平台需要解決多類工業設備接入、多源工業數據集成、海量數據管理與處理、工業數據建模分析、工業應用創新與集成、工業知識積累迭代實現等一系列問題，涉及七大類關鍵技術，分別為數據集成和邊緣處理技術、IaaS 技術、平台使能技術、數據管理技術、應用開發和微服務技術、工業數據建模與分析技術、安全技術。
工業互聯網平台按層級分第一層是邊緣，此層是通過大范圍、深層次的數據采集，以及異構數據的協議轉換與邊緣處理，構建工業互聯網平台的數據基礎。一是通過各類通信手段接入不同設備、系統和產品，采集海量數據；二是依托協議轉換技術實現多源異構數據的歸一化和邊緣集成；三是利用邊緣計算設備實現底層數據的匯聚處理，並實現數據向雲端平台的集成。
邊緣計算已在《小白聊智慧制造之十四：一文輕松讀懂邊緣計算》詳述，本篇不再涉及，主要談談數據集成。
一、設備接入方式
我們經常看到通過物聯網實現設備聯網。但設備究竟是如何聯網的卻語焉不詳。今天我們來探討下設備究竟是如何聯網的。
設備接入是基於工業以太網、工業總線等工業通訊協議，以太網、光纖等通用協議，3G/4G/5G、NB-IOT等無線協議將工業現場設備接入到平台的邊緣層。
設備聯網有兩種方式：
第一種方式：直接接入
直接接入網絡需要滿足一個要求，即設備本身具備聯網的能力或者在設備端加入2G、3G、NB-IOT等通訊模組。具備通訊功能的設備，可以直接接入網絡。
第二種方式：網關接入
設備或終端本身不具有聯網能力，這就需要再本地組網后，再統一通過網關再接入網絡。如終端通過Zigbee\LORA等無線組網，然后設備再通過網關統一接入到網絡上。常用到的本地無線組網技術有Zigbee\lora\Ble\MeoH\sub-1GHZ等等。
二、網關
1、什么是網關
網關既然如此厲害，那么什么是網關呢？網關(Gateway)又稱網間連接器、協議轉換器。網關在網絡層以上實現網絡互連，是最復雜的網絡互連設備，僅用於兩個高層協議不同的網絡互連。網關既可以用於廣域網互連，也可以用於局域網互連。網關是一種充當轉換重任的計算機系統或設備。使用在不同的通信協議、數據格式或語言，甚至體系結構完全不同的兩種系統之間，網關是一個翻譯器。與網橋只是簡單地傳達信息不同，網關對收到的信息要重新打包，以適應目的系統的需求。
2、網關的功能
簡單地來說，網關就是一個處於本地局域網與外部接入網絡之間的智能設備。網關的主要功能是網絡隔離、協議轉換和適配、數據內外傳輸，還有一項功能在工業互聯網平台中很重要，就是邊緣計算，它占據了50%左右的計算。而邊緣計算大部分是通過網關或網關服務器來完成的。具體來說，網關主要功能包括：
廣泛的接入能力
網絡隔離
協議轉換能力
邊緣計算
3、網關工作過程（以例說明）
以ZigBee為例來探討下網關。ZigBee 因其低成本、低功耗、組網靈活等眾多優勢，成為工業無線通信技術中備受關注的技術之一。ZigBee 是一種低速網絡，傳輸速度為10KB/S～250KB/S，多樣的互聯方式使得組網方式靈活而穩健。采用ZigBee 協議，應用於工業現場短距離的無線控制、監測、數據傳輸等的以太網協議轉換，實現遠程監控、遠程數據交互等。
可通過ZigBee 以太網網關直接訪問或修改儀表數據，實現現場儀表的遠程監控、遠程診斷等當網關接入GPRS 或因特網后，無論你身處何地都可隨時訪問工業現場儀表數據，實現現場儀表的遠程組態、遠程診斷以及遠程操作等功能，使世界范圍內的不同傳感監測網絡可以信息共享。
一個典型的網關架構圖：
當網關接收到一個正常發往本地IP 的以太網數據包后，經過協議判斷送往上層UDP（TCP）處理，最后到網關的應用程序處理網關應用程序經過分析判斷，確定需要轉發給ZigBee 網絡中的哪個節點，經過ZigBee 端的ARP 地址解析出對應的ZigBee 中的節點MAC地址，將相應的數據包送至該節點，完成一次數據通訊。同理，當ZigBee 端收到數據包后，通過同樣的解析將數據包送至對應節點或設備實現ZigBee 節點的實時訪問、修改、組態等。
三、數據傳輸方式
物聯網的傳輸層主要負責傳遞和處理感知層獲取的信息，分為有線傳輸和無線傳輸兩大類，其中無線傳輸是物聯網的主要應用。無線傳輸技術按傳輸距離可划分為兩類：一類是以Zigbee、WiFi、藍牙等為代表的短距離傳輸技術，即局域網通信技術；另一類則是LPWAN（low-power Wide-Area Network，低功耗廣域網），即廣域網通信技術。LPWAN又可分為兩類：一類是工作於未授權頻譜的LoRa、Sigfox等技術；另一類是工作於授權頻譜下，3GPP支持的2/3/4/5G蜂窩通信技術，比如eMTC（enhanced machine type of communication ，增強機器類通信）、NB-IoT（ Narrow Band Internet of Things ，窄帶物聯網）。
局域網傳輸設備，應用於本地的連接技術，主要有BLE、Zigbee、Z-ware、NFC、Wifi/藍牙等。
廣域網傳輸設備，應用於廣域和遠程數據的連接技術，主要有3G/4G/5G、Ethernet、LTE、eMTC、NB-IOT等。
根據傳輸速率的不同，物聯網業務可分為高速率、中速率及低速率業務。其中，高速率業務主要使用3G、4G 及WiFi技術，可應用於視頻監控、車載導航等場景；中速率業務主要使用藍牙、eMTC等技術，可應用於智能家居、儲物櫃等高頻使用場景；低速率業務，即LPWAN(低功耗廣域網)，主要使用NB-IoT、LoRa、Sigfox及ZigBee等技術，可能應用於智慧停車、遠程抄表等使用頻次低的應用場景。
根據麥肯錫咨詢所調研的數據來看，全球物聯網市場有大約60%以上都屬於低速率業務，這類應用需要具有支持海量連接數、低終端成本、低終端功耗和超強覆蓋等能力。由於自身的發展以及成本等問題，各個企業都在向低成本、低功耗等方向發展。而在低速率領域，中國電信企業如中國移動、中國電信等都主要以發展NB-IoT（窄帶物聯網）為主，而LoRa在中國電信類企業之外也是發展的重點。
四、數據解析方式
傳感器和設備信息需要通過各種不同的協議實現數據接入的。協議轉換分為兩個方面。一方面運用協議解析、中間件等技術兼容ModBus、OPC、CAN、Profibus等各類工業通信協議和軟件通訊接口，實現數字格式轉換和統一。另一方面利用HTTP、MQTT等方式從邊緣層將采集的數據傳輸到雲端，實現數據的遠程接入。
在轉換協議中，主要有協議即用於短距離設備連接的本地協議 Modbus 以及支持物聯網進行遠程全局通信的可擴展互聯網協議“消息隊列遙測傳輸 (MQTT)”
ModBus
ModBus首次出現於 1979 年，是連接行業設備實際使用的標准協議。 是一種純粹的“軟”協議，不依賴於任何通訊介質和通訊設備。ModBus 的核心是一個串行通信協議，采用主從模式，借助 RS-485，主從機之間的通信發生在指示功能碼的幀中。 該功能碼可識別要操作的功能，如讀取獨立輸入；讀取先進先出隊列；或執行診斷函數。然后，從機根據收到的功能碼進行響應，該響應較為簡單，由一組字節指示。因此，從機可以是智能設備，也可以是只有一個傳感器的簡單設備。
MQTT
MQTT 是一個開放的輕量級機器對機器協議，專為物聯網交互設計。 MQTT 網絡包含一個 MQTT 經紀人 (broker)，負責協調 MQTT 代理之間的交互。 代理是發布器，負責發布供用戶使用的信息。MQTT支持傳感器、設備和雲之間安全交互。
使用 Modbus 作為本地接口來管理設備，使用 MQTT 作為全局協議來擴展設備的范圍，MQTT 和 Modbus 互相補充，實現IOT的互聯互通。
五、數據接入架構
上圖為數據接入架構圖。設備或傳感器的信息通過ModBus等協議將數據傳輸到網關，又通過MQTT等協議將數據傳輸到雲平台，在雲平台上進行數據解析與存儲，再通過雲計算成為管理和決策的重要依據。
結語
工業互聯網平台，數據連接是第一步，是基礎。基於海量工業數據的全面感知，通過端到端的數據深度集成構成網絡的邊緣層，再通過建模分析，實現智能化的決策與控制指令，形成智能化生產、網絡化協同、個性化定制、服務化延伸等新型制造模式。
————————————————
版權聲明：本文為CSDN博主「物聯研究」的原創文章，遵循CC 4.0 BY-SA版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/iot_research/article/details/82662797
工業互聯網平台核心技術之二：虛擬化技術
IaaS技術是一系列技術而非一種技術。在工業互聯網IaaS層，是基於虛擬化、分布式存儲、並行計算、負載調度等技術，實現網絡、計算、存儲等計算機資源的池化管理。根據需求進行彈性分配，並確保資源使用的安全與隔離，為用戶提供完善的雲基礎設施服務。其中虛擬化技術是IaaS的關鍵技術。
實際上，我們通常所說的虛擬化是指服務器虛擬化技術。而除此之外，還有網絡虛擬化和存儲虛擬化技術等等。其中網絡虛擬化應用於企業核心和邊緣路由，利用交換機中的虛擬路由特性，用戶可以將企業划分為使用不同規則和控制的多個子網，而不必再為此購買和安裝新的機架或設備。與傳統技術相比，它具有更少的運營費用和更低的復雜性。存儲虛擬化則是將企業中的存儲資源整合在一起，通過一台邏輯存儲設備供用戶訪問。
一、虛擬化技術概念
虛擬化技術，通常是指計算元件在虛擬的基礎上而不是真實的基礎上運行。可以同時運行多個操作系統，而且每一個操作系統中都有多個程序運行，每一個操作系統都運行在一個虛擬的CPU或者是虛擬主機上；可以在相互獨立的空間內運行而互不影響，從而顯著提高計算機的工作效率。
二、虛擬化技術的分類
1959年，克里斯托弗（Christopher Strachey）發表了一篇學術報告，名為"大型高速計算機中的時間共享"（Time Sharing in Large Fast Computers），他在文中提出了虛擬化的基本概念，這篇文章也被認為是虛擬化技術的最早論述。
隨着虛擬化技術的逐漸成熟，不斷有新的廠商加入企業虛擬化市場的競爭之中，其中比較有代表性有VMware、Microsoft等。其中VMware一枝獨秀，成為虛擬化技術最重要的廠商。
虛擬化技術經過數年的發展，已經成為一個龐大的技術家族，其技術形式種類繁多，實現的應用也有一個體系。但對其分類，一般的介紹比較含糊，分類屬性不一。如將服務器虛擬化、硬件虛擬化、CPU虛擬化相提並論，但其實它們都屬一個類別，只是按不同屬性分類得出的不同名稱。下面按照不同屬性，對虛擬化做一個分類。
以應用的領域來划分：服務器虛擬化、存儲虛擬化、應用虛擬化、平台虛擬化、桌面虛擬化。
以實現層次來划分：硬件虛擬化、操作系統虛擬化、應用程序虛擬化
1、基於硬件的虛擬化
硬件虛擬化就是用軟件來虛擬一台標准計算機的硬件配置，如CPU、內存、硬盤、聲卡、顯卡、光驅等，成為一台虛擬的裸機，然后就可以在上面安裝操作系統了。使用時，先在操作系統里安裝一個硬件虛擬化軟件，用其虛擬出一台計算機，再安裝系統，做到系統里運行系統，並可虛擬出多台計算機，安裝多個相同或不同的系統。
2、基於操作系統的虛擬化
操作系統虛擬化就是以一個系統為母體，克隆出多個系統。它比硬件虛擬化要靈活方便，因為只需在系統里裝一個虛擬化軟件，就能以原系統為樣本很快克隆出系統，克隆出的系統與原系統除一些ID標識外，其余都一樣。
看似與硬件虛擬化一樣，都是虛擬多個操作系統出來，但與硬件虛擬化還是有很多不同之處。
（1）操作系統虛擬化是以原系統為樣本，虛擬出一個近乎一模一樣的系統；硬件虛擬化是虛擬硬件環境，然后真實地安裝系統。它們虛擬的東西不一樣。
（2）操作系統虛擬化虛擬的系統都只能為同樣的系統；硬件虛擬化虛擬的系統可以為不同的系統，如Linux、Mac、Windows家族。
（3）操作系統虛擬化虛擬的多個系統有較強的聯系，體現在：①可以為多個虛擬系統同時進行配置，更改了原系統就改了所有；②如果原系統損壞，會殃及所有虛擬系統。硬件虛擬化虛擬的多個系統是相互獨立的，與原系統也無聯系，原系統的損壞不會殃及虛擬的系統。
（4）操作系統虛擬化的性能損耗低，它們都是虛擬的系統，而非硬件虛擬化那樣真實安裝的實體，沒有硬件虛擬化的虛擬硬件層，也大大降低了性能損耗。
3、基於應用程序的虛擬化
應用虛擬化技術的興起最早也是從企業市場而來。一個軟件被打包后，通過局域網很方便地分發到企業的幾千台計算機上去，不用安裝，直接使用，大大降低了企業的IT成本。
應用虛擬化的目的也是虛擬操作系統，但只是為保證應用程序的正常運行虛擬系統的某些關鍵部分，如注冊表、C盤環境等，所以較為輕量、小巧。使用方法大體為：先安裝虛擬化軟件，此時已經搭建了一個虛擬化環境，然后接收來自網絡的應用軟件或安裝應用軟件到虛擬化環境里，最后使用應用軟件。
三、虛擬化技術的四大特性
四、雲計算時代的虛擬化
雲計算的浪潮正席卷而來。通過提供靈活、自助服務式的IT基礎架構，雲計算促使信息處理方式發生了革命性的轉變。在這場變革中，虛擬化技術發揮了決定性作用。它所帶來的獨立性、高度整合性和移動性，改變了當前的IT基礎架構、流程以及成本。通過消除長期存在於應用層與物理主機之間的障礙，虛擬化使部署更為輕松便捷，工作負載的移動性顯著增強。
虛擬化技術內容浩繁，對於非專業人士只需要了解整體的認知便可以了。虛擬化技術的雲計算表面上看起來和一般的網站一樣，但與一般的信息類網站不一樣的是，用戶需要獲得的不是信息，而是計算和存儲能力。
1、改變部署和應用
由於虛擬化技術能夠節省投資、提高閑置計算資源的利用效率，同時其需要CIO對企業的IT基礎設施進行重新規划、部署和管理，因此，虛擬化正在最大程度地改變企業IT基礎設施的部署及運營。越來越多的企業，甚至是小企業，也開始嘗試上雲，而非自己布署。
2、向服務轉型
雲計算能給企業帶來兩大價值：一是企業可以獲得應用所需的足夠多的計算能力，而且無須對支持這一計算能力的IT基礎設施付出相應的原始投資成本，現在很多企業往往都無法負擔高額的基礎設施投資成本；二是在需要時像購買服務一樣購買這種計算能力，按照流量付費即可，用戶不用擔心計算設備與資源的日常維護開銷和閑置成本。雲計算改變了企業對計算資源的采購和使用方式，改變了對IT應用建設的模式。
五、兩種服務器虛擬化架構
服務器虛擬化技術是指能夠在一台物理服務器上運行多台虛擬服務器的技術，而且上述虛擬服務器在用戶、應用軟件甚至操作系統看來，幾乎與物理服務器沒有區別。除此之外，服務器虛擬化技術還應該確保上述多台虛擬服務器的數據是隔離的，虛擬服務器對資源的占用是可控的。
服務器虛擬化的兩種構架
1、寄生架構（Hosted Architecture）
在操作系統之上安裝和運行虛擬化程序，依賴主機操作系統對設備的支持和物理資源管理。
2、裸金屬架構(Bare Metal Architecture)
直接在硬件之上安裝虛擬化軟件，再在其上安裝操作系統和應用，依賴虛擬層內核和服務器控制台進行管理。
3、兩種架構的對比圖
寄居架構
裸金屬架構
優點
簡單，便於實現
不依賴主機操作系統，可以支持多種基於x86架構的操作系統，多種應用，更加靈活
缺點
安裝和運行應用程序依賴於主機操作系統對設備的支持
虛擬層內核開發難度大
案例
GSX Server、VMware Server、Workstation
VMware ESX Server
六、虛擬化雲計算管理平台架構
虛擬化技術主要是實現了對底層物理資源的抽象，使其成為一個個可以被靈活生成、調度、管理的基礎資源單位。
1、資源管理平台
資源管理平台負責對物理設備和虛擬化資進行統一的管理和調度，形成統一的資源池，實現IaaS服務的可管、可控，其核心是實現對每個資源單位的生命周期管理能力和對資源管理調度能力。
對資源的生命周期管理，就是對資源的生成、分配、擴展、遷移、回收的全流程管理，關鍵基礎包括虛擬機自動化部署、虛擬機彈性能力提供、資源狀態監控、度量和資源的回收等。資源的管理調度能力則是指對資源的全局性管理與調度，包括模板管理、接口管理、調度策略管理、資源使用量的采集和度量等。
2、業務管理平台
業務管理平台的職責是將資源封裝成各種服務，以方便易用的方式對外提供給用戶，實現IaaS的運營。其中業務服務管理主要是將底層資源進行組合和打包，形成供最終用戶購買的業務和服務。業務流程管理用於實現對用戶注冊、認證、服務開通以及使用、計費、結算等流程的配置與管理；計費管理根據資源監控與度量采集的歷史數據統計用戶對資源的使用量，並根據計費策略生成計費賬單；用戶管理主要負責用戶的身份認證，業務訂購關系管理等工作。
七、結語
縱觀虛擬化技術的發展歷史，可以看到它始終如一的目標就是實現對IT資源的充分利用。虛擬化技術是一種調配計算資源的方法，它將應用系統的不同層 面的硬件、軟件、數據、網絡存儲等一一隔離起來，從而打破數據中心、服務器、存儲、網絡數據和應用的物理設備之間的划分，實現架構動態化，並達到集中管理和動態使用物理資源及虛擬資源，以提高系統結構的彈性和靈活性，降低成本、改進服務、減少管理風險等目標。因為隨着企業的發展，業務和應用不斷擴張，基於傳統的IT建設方式導致IT系統規模日益龐大，數據中心空間不夠用、高耗能，維護成本不斷增加。企業需要建立一種可以降低成本、具有智能化和安全特性並能夠及時適應企業業務需求的靈活的、動態的基礎設施和應用環境，並希望降低數據中心的運營成本，這時虛擬化技術應運而生。
————————————————
版權聲明：本文為CSDN博主「物聯研究」的原創文章，遵循CC 4.0 BY-SA版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/iot_research/article/details/82721127
工業互聯網平台核心技術之三：並行計算與分布式計算
之所以將兩種計算技術放在一起，是因為這兩種計算具有共同的特點，都是運用並行來獲得更高性能計算，把大任務分為N個小任務。但兩者還是有區別的，關於兩者的區別在后面說。
一、並行計算
1、並行計算概念
並行計算又稱平行計算是指一種能夠讓多條指令同時進行的計算模式，可分為時間並行和空間並行。時間並行即利用多條流水線同時作業，空間並行是指使用多個處理器執行並發計算，以降低解決復雜問題所需要的時間。
並行計算（Parallel Computing）是指同時使用多種計算資源解決計算問題的過程。為執行並行計算，計算資源應包括一台配有多處理機（並行處理）的計算機、一個與網絡相連的計算機專有編號，或者兩者結合使用。並行計算主要目的在於兩個方面：
(1) 加速求解問題的速度。 (2) 提高求解問題的規模。
2、並行計算的原理
並行計算能快速解決大型且復雜的計算問題。此外還能利用非本地資源，節約成本 ― 使用多個“廉價”計算資源取代大型計算機，同時克服單個計算機上存在的存儲器限制。 為提高計算效率，並行計算處理問題一般分為以下三步：
將工作分離成離散獨立部分，有助於同時解決；
同時並及時地執行多個程序指令；
將處理完的結果返回主機經一定處理后顯示輸出。
並行計算是相對於串行計算來說的，所謂並行計算分為時間上的並行和空間上的並行。 時間上的並行就是指流水線技術，而空間上的並行則是指用多個處理器並發的執行計算。
從上圖可以看出，串行計算必須按步驟一步一步計算才能出來最終結果。而並行計算則要將問題分成N多個子任務，每個子任務並行執行計算。而每個子任務是非獨立的，每個子任務的計算結果決定最終的結果。這個和分布式計算不同。
並行計算需滿足的基本條件
並行計算機。並行計算機至少包含兩台或兩台以上處理機，這此處理機通過互聯網絡相互連接，相互通信。
應用問題必須具有並行度。也就是說，應用可以分解為多個子任務，這些子任務可以並行地執行。將一個應用分解為多個子任務的過程，稱為並行算法的設計。
並行編程。在並行計算機提供的並行編程環境上，具體實現並行算法，編制並行程序並運行該程序，從而達到並行求解應用問題的目的。 、
二、分布式計算
分布式計算概念
分布式計算是一個需要非常巨大的計算能力才能解決的問題分成許多小的部分，然后把這些部分分配給許多計算機進行處理，最后把這些計算結果綜合起來得到最終的結果。分布式計算和集中式計算相對應的概念。
2、分布式計算的優點
分布式計算是在兩個或多個軟件互相共享信息，這些軟件既可以在同一台計算機上運行，也可以在通過網絡連接起來的多台計算機上運行。 分布式計算比起其它算法具有以下幾個優點：
（1）稀有資源可以共享。
（2）通過分布式計算可以在多台計算機上平衡計算負載。
（3）可以把程序放在最適合運行它的計算機上。其中，共享稀有資源和平衡負載是計算機分布式計算的核心思想之一。
3、分布式計算原理
Hadoop計算框架是出現比較早的一個分布式計算框架，由Apache基金會所開發。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。
另外，邊緣計算也是分布式計算的一種，前文《小白聊智慧制造之十四：一文輕松讀懂邊緣計算》有所表述，感興趣的可以去看看。
三、並行計算與分布式計算的區別
並行計算和分布式計算既有區別也有聯系。從解決對象上看，兩者都是大任務化為小任務，這是他們共同之處。 具體區別和聯系如下表所示：
項目
並行計算
分布式計算
相同點
都是運用並行來獲得更高性能計算，把大任務分為N個小任務
都屬於高性能計算（High Performance Computing，HPC）的范疇
主要目的都是在於對大數據的分析與處理
不
同
點
時效性
強調
不強調
獨立性
弱，小任務計算結果決定最終計算結果
強，小任務計算結果一般不影響最終結果
任務包之間關系
關系密切
相互獨立
每個節點任務
必要，並且時間同步
不必要，時間沒有限制
節點通訊
必須
不必須，甚至可以無網絡
應用的場合
海量數據處理
模式類窮舉法
如上表所示，並行計算的傳統目的是提供單處理器無法提供的性能（處理器能力或存儲器）；因此，它的目的是使用多處理器求解單個問題。而分布式計算的目的主要是提供方便，這種方便包括可用性、可靠性以及物理的分布（能從許多不同場所訪問分布式系統）。 在並行計算中，處理器間的交互一般很頻繁，往往具有細粒度和低開銷的特征，並且被認為是可靠的。而在分布式計算中，處理器間的交互不頻繁，交互特征是粗粒度，並且被認為是不可靠的。並行計算注重短的執行時間，分布式計算則注重長的正常運行時間。
結語
並行計算、分布式計算以及網格計算和雲計算都是屬於高性能計算（HPC）的范疇，主要目的在於對大數據的分析與處理，但它們卻存在很多差異。我們需要了解兩者的原理、特點和運用的場合，對雲計算的了解大有裨益。
————————————————
版權聲明：本文為CSDN博主「物聯研究」的原創文章，遵循CC 4.0 BY-SA版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/iot_research/article/details/82832025
工業互聯網平台核心技術之四：一文讀懂雲計算
目前雲計算越來越普及化，行業門檻很低，正向平民化方向發展。然而什么是雲計算，你問問周圍言必稱雲計算的，答案也是咿咿呀呀，或者不知所雲。這就產生強大的反差，一方面雲計算給人感覺非常高大上，高科技，深不可測的；另外一方面又成了人的口頭禪了，做技術的，做文案的，做生意的，甚至做官員的，時常都從口里蹦出個“雲計算”來。
前面我們探討過虛擬化、分布式和並行計算，今天我們來了解下高大上的雲計算。首先我們來看看雲計算的前世今生。
一、雲計算的前世今生
2006年8月9日，Google首席執行官埃里克·施密特（Eric Schmidt）在搜索引擎大會（SES San Jose 2006）首次提出“雲計算”（Cloud Computing）的概念。雲計算提出的願景，是要像用水用電那樣使用IT服務。建立了水廠發電廠集中提供水電，家庭不再需要挖水井和買發電機，只要通過水管和電線便可享受專業的更高水平的水電服務，且按需付費，若短期突然要大量用水用電，也無需擔心資源不足，用多用少可自主決定。類比到IT，便是雲計算服務提供商建設好大規模的IT基礎設施，通過互聯網（網線或無線）為企業提供服務器（虛擬機）、存儲、應用程序等的租用，企業無需自己再建設IT基礎設施，便可享受專業的更高水平的IT服務，且按需付費，若短期內業務訪問量暴增需要更多的計算資源，也無需擔心雲計算服務提供商的資源不足，資源的租用可根據使用情況自動伸縮，企業只需按實際使用量付費即可。
雲計算主要經歷了四個階段才發展道現在比較成熟的水平狀態。這四個階段依次是電廠模式、效用計算、網格計算，進而演進成現在的雲計算。
電廠模式階段：電廠模式就好比是利用電廠的規模效應，來降低電力的價格，並讓用戶使用起來更方便，且無需維護和購買任何發電設備。
效用計算階段：在1960年左右，當時計算設備的價格是非常高昂的，遠非普通企業、學校和機構所能承受，所以很多人產生了共享計算資源的想法。1961年，人工智能之父麥肯錫在一次會議上提出了“效用計算”這個概念，其核心借鑒了電廠模式，具體目標是整合分散在各地的服務器、存儲系統以及應用程序來共享給多個用戶，讓用戶能夠像把燈泡插入燈座一樣來使用計算機資源，並且根據其所使用的量來付費。但由於當時整個IT產業還處於發展初期，很多強大的技術還未誕生，比如互聯網等，所以雖然這個想法一直為人稱道，但是總體而言“叫好不叫座”。
網格計算階段：網格計算研究如何把一個需要非常巨大的計算能力才能解決的問題分成許多小的部分，然后把這些部分分配給許多低性能的計算機來處理，最后把這些計算結果綜合起來攻克大問題。可惜的是，由於網格計算在商業模式、技術和安全性方面的不足，使得其並沒有在工程界和商業界取得預期的成功。
雲計算階段：雲計算的核心與效用計算和網格計算非常類似，也是希望IT技術能像使用電力那樣方便，並且成本低廉。但與效用計算和網格計算不同的是，在需求方面已經有了一定的規模，同時在技術方面也已經基本成熟了。
二、什么是雲計算
雲計算(cloud computing)是一種基於因特網的超級計算模式，在遠程的數據中心里，成千上萬台電腦和服務器連接成一片電腦雲。因此，雲計算甚至可以讓你體驗每秒10萬億次的運算能力，擁有這么強大的計算能力可以模擬核爆炸、預測氣候變化和市場發展趨勢。用戶通過電腦、筆記本、手機等方式接入數據中心，按自己的需求進行運算。
美國國家標准與技術研究院（NIST）定義：雲計算是一種按使用量付費的模式，這種模式提供可用的、便捷的、按需的網絡訪問， 進入可配置的計算資源共享池（資源包括網絡，服務器，存儲，應用軟件，服務），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務供應商進行很少的交互。
狹義的雲計算
狹義的雲計算是指IT基礎設施的交付和使用模式，指通過網絡以按需、易擴展的方式獲得所需的資源(硬件、平台、軟件)。提供資源的網絡被稱為“雲”。“雲”中的資源在使用者看來是可以無限擴展的，並且可以隨時獲取，按需使用，隨時擴展，按使用付費。這種特性經常被稱為像水電一樣使用IT基礎設施。
2、廣義的雲計算
廣義的雲計算是指服務的交付和使用模式，指通過網絡以按需、易擴展的方式獲得所需的服務。這種服務可以是IT和軟件、互聯網相關的，也可以是任意其他的服務。
三、雲計算的技術及特點
大規模、分布式
一般具有相當的規模，世界上靠前的雲服務商（包括Google、Amazon、微軟、阿里雲等）都擁有上百萬級的服務器規模，而依靠這些分布式的服務器所構建起來的“雲”能夠為使用者提供前所未有的計算能力。
2、虛擬化
雲計算采用虛擬化技術，用戶並不需要關注具體的硬件實體，只需要選擇一家雲服務商（具體可以參閱）。用戶只需要注冊一個賬號、登陸到控制台、去購買和配置需要的服務（雲服務器、雲存儲、CDN等等），再為你的應用做一些簡單的配置之后，你就可以讓你的應用對外服務了，這比傳統的在企業數據中心部署一套應用要簡單方便得多。而且，你可以隨時隨地通過你的PC或移動設備來控制你的資源，這就好像是雲服務商為每一個用戶都提供了一個IDC(Internet Data Center)一樣。
3、高可用性和擴展性
雲計算供應商一般都會采用數據多副本容錯、計算節點同構可互換等措施來保障服務的高可靠性。基於雲服務的應用可以持續對外提供服務（7*24小時），另外“雲”的規模可以動態伸縮，來滿足應用和用戶規模增長的需要。
4、按需服務，更加經濟
用戶可以根據自己的需要來購買服務，甚至可以按使用量來進行精確計費，這能大大節省IT成本，而資源的整體利用率也將得到明顯的改善。
5、安全
網絡安全已經成為所有企業或個人創業者必須面對的問題，企業的IT團隊或個人很難應對那些來自網絡的惡意攻擊，而使用雲服務則可以借助更專業的安全團隊來有效降低安全風險。
四、雲計算的分類
雲計算按層級分可以分為三類：
Iaas（基礎設施即服務Infrastructure as a Servic），如阿里雲、亞馬遜AWS、微軟Azure；
Paas（平台即服務Platform-as-a-Service），GAE（谷歌）、阿里雲、敢為雲；
Saas（軟件即服務Software-as-a-Service），如根雲、敢為雲
具體的層級就不展開說了，需要了解，可以去百度。需要說明的是，這個划分不是那么刀切般清晰，原因在於雲計算廠商的服務延伸。隨着時間的推移，這種延伸將會越來越深入，跨界的現象將會更常見。
五、雲計算的發展趨勢
Gartner2018年6月發布的2017年全球公有雲IaaS市場份額分析報告中顯示，亞馬遜AWS、微軟Azure、阿里雲位列全球公有雲IaaS市場前三甲。世界排名前五的雲計算廠商中，美國獨占4席。
對於雲計算平台而言，Gartner指出，雲計算平台需要加強自身硬件包括但不局限於數據中心的擴建和擴充，同時提出了更高的要求：未來雲計算更傾向於雲生態建設，雲計算不是孤立的，需要與AI、大數據和物聯網等技術做更多的結合和交流。
對於雲計算霸主地位的亞馬遜在未來也不能坐享其成，高枕無憂，稍不留神便會被反超；對於雲計算寡頭之外的雲計算平台，無疑需要更深入的耕耘，特別是對致力於深耕垂直行業的雲計算平台，提出了更高的要求：
具有對雲計算的掌控能力
具有擴展行業應用和計算能力
具有提供一站式解決方案能力
具有滿足差異化需求能力
具有提供定制化服務能力
具有專注所屬領域縱深發展能力
總體而言，雲計算將是多寡頭和垂直領域雲服務商並存的局面。
六、結語
雲計算是一個產生於IT 領域的概念，但其將在物聯網時代發揚光大。雲計算從一個比較模糊的技術術語，到早期亞馬遜的Cloud Drive實踐，到各大行業巨頭目標盯緊了雲計算這塊大“肥肉”，不過短短的十年。隨着物聯網領域的需求不斷擴大，雲計算的發展將不可阻擋地實現跨越。
————————————————
版權聲明：本文為CSDN博主「物聯研究」的原創文章，遵循CC 4.0 BY-SA版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/iot_research/article/details/83044463
工業互聯網平台核心技術之五：多租戶技術
多租戶管理技術，是雲平台使能技術之一，通過虛擬化、數據庫隔離、容器等技術實現不同租戶應用和服務的隔離，保護其隱私與安全。
一、多租戶技術概念
多租戶技術（multi-tenancy technology）或稱多重租賃技術，是一種軟件架構技術，它是在探討與實現如何於多用戶的環境下共用相同的系統或程序組件，並且仍可確保各用戶間數據的隔離性。
在多租戶技術中，租戶（Tenant）是指使用系統或計算資源的用戶，包含在系統中可識別為指定用戶的一切數據，比如在系統中創建的賬戶與統計信息（Accounting Data），以及在系統中設置的各式數據和用戶所設置的客戶化應用程序環境等，都屬於租戶的范圍。
多租戶的資源是按照服務請求，動態創建的。租戶租借計算資源，是和服務提供商簽訂的服務協定，有一定的時間限制（租戶可以任何時候，任何地點來申請或取消對計算資源的使用）。服務提供商必須按照協定動態地進行部署，滿足租戶的需求。
租戶間共享資源越多，基礎資源的利用率越高，單位資源成本越低，租戶間隔離性越差。
二、虛擬網絡拓撲
在雲計算中，服務器虛擬化將傳統的物理服務器虛擬化成若干個虛擬服務器，每個虛擬服務器運行着獨立的操作系統。每個租戶擁有虛擬服務器資源池中的一個虛擬服務器或一組虛擬服務器。多租戶網絡必須能夠滿足虛擬機之間的隔離需求，每個租戶在虛擬的資源環境中，必須有自己的獨立標識，即租戶ID，又叫T－ID；同時每個租戶都必須有自己的獨立的網絡鏈路；即虛擬網絡拓撲。
在多租戶網絡中，每個租戶有不同的應用，所以，雲服務提供商必需確保每個租戶的服務質量。如對帶寬的保證，在流量擁塞的時候確保最低帶寬，實現擁塞避免等。所以在多租戶網絡中，每個用戶的QoS策略及其流量策略非常重要。
在多租戶網絡中，租戶的虛擬服務器的部署並不一定都集中在一個數據中心，而是大部分分布在不同的數據中心，有的需要跨越城域網甚至廣域網。在這種情況下，多租戶網絡必須能夠跨越互聯網實現租戶的互聯互通。
三、多租戶技術
技術上，多租戶技術可以通過許多不同的方式來切割用戶的應用程序環境或數據。
數據面（data approach）：供應商可以利用切割數據庫（database），切割存儲區（storage），切割結構描述（schema）或是表格（table）來隔離租戶的數據，必要時會需要進行對稱或非對稱加密以保護敏感數據，但不同的隔離作法有不同的實現復雜度與風險。
程序面（application approach）：供應商可以利用應用程序掛載（hosting）環境，於進程（process）上切割不同租戶的應用程序運行環境，在無法跨越進程通信的情況下，保護各租戶的應用程序運行環境，但供應商的運算環境要夠強。
系統面（system approach）：供應商可以利用虛擬化技術，將實體運算單元切割成不同的虛擬機，各租戶可以使用其中一至數台的虛擬機來作為應用程序與數據的保存環境，但對供應商的運算能力要更要求。
四、多租戶技術實現方式
多租戶技術的實現重點，在於不同租戶間應用程序環境的隔離（application context isolation）以及數據的隔離（data isolation)，以維持不同租戶間應用程序不會相互干擾，同時數據的保密性也夠強。
應用程序部份：通過進程或是支持多應用程序同時運行的裝載環境（例如Web Server，像是Apache或IIS等）來做進程間的隔離，或是在同一個伺服程序（server）進程內以運行緒的方式隔離。
數據部份：通過不同的機制將不同租戶的數據隔離，Force是采用中介數據（metadata）的技術來切割，微軟 MSDN 的技術文件則是展示了使用結構描述的方式隔離。
五、多租戶中的關鍵網絡技術
虛擬交換機技術
虛擬交換機技術就是解決不同虛擬機之間相互通訊的一種交換機系統。它不同於普通的物理交換機，是一種軟件模塊，位於虛擬機和服務器的網卡之間，將不同的虛擬服務器虛擬網絡接口和服務器的物理網卡接口連接起來，按照不同的轉發邏輯形成的一種軟件轉發的交換機系統。
分布式租戶跨越互聯網技術
在雲服務提供商或私有雲的環境中，租戶的數目非常多，每個租戶的網絡又必須嚴格隔離。所以常用的4k的 VALN數目不能滿足需求。nvGRE草案提出了Tenant-ID，用於標識租戶的網絡，Tenant-ID有24位，最多可以支持1600萬的租戶。可以滿足大型數據中心租戶的要求。
解決了租戶的虛擬機之間通訊需要跨越互聯網的問題。當租戶的虛擬機需要遷移或者租戶的網絡中虛擬機之間需要相互通訊時應用該協議，使用GRE隧道承載租戶二層網絡，這種承載網絡技術又叫做Overlay網絡。
六、多租戶三種方案對比
方案1：獨立數據庫
這是第一種方案，即一個租戶一個數據庫，這種方案的用戶數據隔離級別最高，安全性最好，但成本也高。
優點：
為不同的租戶提供獨立的數據庫，有助於簡化數據模型的擴展設計，滿足不同租戶的獨特需求；如果出現故障，恢復數據比較簡單。
缺點：
增大了數據庫的安裝數量，隨之帶來維護成本和購置成本的增加。這種方案與傳統的一個客戶、一套數據、一套部署類似，差別只在於軟件統一部署在運營商那里。如果面對的是需要非常高數據隔離級別的租戶，可以選擇這種模式，提高租用的定價。
方案2：共享數據庫，隔離數據架構
這是第二種方案，即多個或所有租戶共享 Database，但是每個租戶一個 Schema。
優點：
為安全性要求較高的租戶提供了一定程度的邏輯數據隔離，並不是完全隔離；每個數據庫可以支持更多的租戶數量。
缺點：
如果出現故障，數據恢復比較困難，因為恢復數據庫將牽扯到其他租戶的數據； 如果需要跨租戶統計數據，存在一定困難。
方案3：共享數據庫，共享數據架構
這是第三種方案，即租戶共享同一個Database、同一個 Schema，但在表中通過 T-ID 區分租戶的數據。這是共享程度最高、隔離級別最低的模式。
優點：
三種方案比較，第三種方案的維護和購置成本最低，允許每個數據庫支持的租戶數量最多。
缺點：
隔離級別最低，安全性最低，需要在設計開發時加大對安全的開發量； 數據備份和恢復最困難，需要逐表逐條備份和還原。
如果希望以最少的服務器為最多的租戶提供服務，並且租戶接受以犧牲隔離級別換取降低成本，這種方案最適合。
————————————————
版權聲明：本文為CSDN博主「物聯研究」的原創文章，遵循CC 4.0 BY-SA版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/iot_research/article/details/83478970
工業互聯網平台核心技術之六：安全技術
工業互聯網平台需要解決多類工業設備接入、多源工業數據集成、海量數據管理與處理、工業數據建模分析、工業應用創新與集成、工業知識積累迭代實現等一系列問題，涉及七大類關鍵技術，分別為數據集成和邊緣處理技術、IaaS 技術、平台使能技術、數據管理技術、應用開發和微服務技術、工業數據建模與分析技術、安全技術。
這七項技術散見於以前的文章之中，本篇主要談談安全技術。
一、工業互聯網平台的安全威脅
由於早期的工業控制系統都是在相對獨立的網絡環境下運行，在產品設計和網絡部署時，只考慮了功能性和穩定性，對安全性考慮不足。隨着工業控制系統網絡之間互聯互通的不斷推進，以及工控控制系統和工業設備接入互聯網的數量越來越多，通過互聯網對工業控制系統實施攻擊的可能性越來越高，而每年新發現的SCADA、DCS、PLC漏洞數量也不斷增加，這些都為工業互聯網帶來巨大的安全隱患。
從2011年以后工業控制系統的各種漏洞每年都在高速的增加，這些漏洞將會成為攻擊工業控制網絡的一種主要途徑，通過這些漏洞攻擊可以完成獲取系統權限、修改工程數據和控制流程、非法關閉現場設備等操作，造成重大的生產事故和經濟損失。
來自外部網絡的滲透
工業互聯網會有較多的開放服務，攻擊者可以通過掃描發現開放服務，並利用開放服務中的漏洞和缺陷登錄到網絡服務器獲取企業關鍵資料，同進還可以利用辦公網絡作為跳板，逐步滲透到控制網絡中。通過對於辦公網絡和控制網絡一系列的滲透和攻擊，最終獲取企業重要的生產資料、關鍵配方，嚴重的是隨意更改控制儀表的開關狀態，惡意修改其控制量，造成重大的生產事故。
帳號口令破解
由於企業有對外開放的應用系統(如郵件系統)，在登錄開放應用系統的時候需要進行身份認證，攻擊都通過弱口令掃描、Sniffer密碼嗅探、暴力破解、信任人打探套取或社工比較合成口令等手段來獲取用戶的口令，這樣直接獲得系統或應用權限。獲取了用戶權限就可以調取相關資料，惡意更改相關控制設施。
利用移動介質攻擊
當帶有惡意程序的移動介質連接到工程師站或操作員站時，移動介質病毒會利用移動介質自運行功能，自動啟動對控制設備進行惡意攻擊或惡意指令下置。一方面造成網絡病毒在企業各個網絡層面自動傳播和感染，靠成業務系統和控制系統性能的下降，從而影響企業監測、統籌、決策能力。另一方面會針對特定控制系統或設備進行惡意更改其實際控制量，造成生成事故。
PLC程序病毒的威脅
通過對工程師站及編程服務器的控制，感染(替換)其相關程序，當PLC程序的下發時，惡意程序一起被下發到PLC控制設備上。惡意程序一方面篡改PLC的實際控制流，另一方面將運算好的虛假數據發給PLC的輸出，防止報警。通過這種方式造成現場設備的壓力、溫度、液位失控，但監測系統不能及時發現，造成重大的安全事故。
利用工業通信協議的缺陷
Modbus、DNP3、OPC等傳統工業協議缺乏身份認證、授權以及加密等安全機制，利用中間人攻擊捕獲和篡改數據，給設備下達惡意指令，影響生產調度，造成生產失控。
利用無線網絡入侵
控制網絡通過DTU無線設備通過802.11b協議連接到管理區的網絡，通過對網絡無線信息的收集，偵測WEP安全協議漏洞，破解無線存取設備與客戶之間的通訊，分析出接入密碼，從而成功接入控制網絡，控制現場設備，獲取機要信息，更改控制系統及設備的控制狀態，造成重大影響。
二、工業互聯網平台安全的要求
工業互聯網實現了設備、工廠、人、產品的全方位連接，因此工業互聯網安全建設必須從綜合安全防護體系的視角對其進行統籌規划。從工業互聯網的整體架構來看，應該在各個層面實施相應的安全防護措施，並通過入侵檢測、邊界防護、協議分析、行為分析、安全審計、容災備份、態勢感知等各種安全技術與安全管理相結合的方式實現工業互聯網的安全防護，形成對工業互聯網安全的“監測、報警、處置、溯源、恢復、檢查”工作閉環。
三、工業互聯網的安全防護能力
工業互聯網平台應在雲基礎設施、平台基礎能力、基礎應用能力的安全可信方面應制定五個基本計划活動：
1、識別（Identify）：識別的管理系統，資產，數據和功能的安全風險。
2、防護（Protect）：對平台實施安全保障措施，確保工業互聯網平台能夠提供服務。
3、檢測（Detect）：對平台使用、維護、管理過程實施適當的持續性監視和檢測活動，以識別安全事件的發生。
4、響應（Respond）：對平台使用、維護、管理過程制定和實施適當的應對計划，對檢測到的安全事件采取行動。
5、恢復（Recover）：對平台使用、維護、管理過程制定和實施適當的活動及維護恢復計划，以恢復由於安全事件而受損的任何能力或服務。
四、工業互聯網安全的防護思路
當前的信息安全處於持續攻擊的時代，需要完成對安全思維的根本性切換，即應該充分意識到安全防護是一項持續的處理過程，即從“應急響應”到“持續響應”。基於這一思路，工業互聯網平台應在安全方面制定五個基本計划活動，分別是識別，包含，檢測，響應與恢復。
1、安全風險識別：安全風險識別是總體設計的基礎，通過對整個系統進行詳細分析，識別出各個部分的安全隱患，之后根據實際情況制定明確的設計方案。
2、安全職責划分：安全職責划分是整體方案的基礎，需理清工業雲各方安全責任邊界對整個活動中的安全事件進行詳細的責任划分設計。
3、分區分域分級設計：工業雲平台環境相對復雜，涉及多類業務，多類系統，因此在安全防護上需要進一步細化安全域的划分以及不同安全域、不同安全級別的訪問控制設計。
4、雲安全防御：防御能力指一系列策略、產品和服務，可以用於防御攻擊。這個方面的關鍵目標是通過減少被攻擊面來提升攻擊門檻，並在受影響前攔截攻擊動作。
5、雲安全檢測：檢測能力用於發現那些逃過防御網絡的攻擊，該方面的關鍵目標是降低威脅造成的“停擺時間”以及其他潛在的損失。檢測能力非常關鍵，因為安全管理人員應該假設自己已處在被攻擊狀態中。
6、雲安全運維與安全管理：實現安全運維操作的分級管理，對不同級別的用戶予符合其安全職責划分的操作或審計權限，實現安全運維。堅持日常安全運營與應急響應相結合，以數據為驅動力，以安全分析為工作重點。
7、雲安全響應：響應能力用於高效調查和補救被檢測分析所發現的安全問題，提供入侵取證分析和根本原因分析，並產生新的防護措施以避免未來出現安全事件。
8、雲安全恢復：工業互聯網雲平台與通常IT環境下的雲相比，更加重視恢復能力，一旦監測到系統遭受攻擊，雲安全響應中心應立即開啟系統恢復功能，防止數據丟失，應用錯誤，減少對工業系統帶來的損失。
————————————————
版權聲明：本文為CSDN博主「物聯研究」的原創文章，遵循CC 4.0 BY-SA版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/iot_research/article/details/83717865
工業互聯網平台核心技術之七：運維技術-無監控，不運維
運維管理是工業互聯網平台使能技術之一，在平台中的地位極其重要。在工業互聯網平台的運維管理中，我們經常聽到關於運維的話題：“無監控，不運維”。
隨着雲計算和互聯網的高速發展，大量應用需要橫跨不同網絡終端，並廣泛接入第三方服務，平台系統架構越來越復雜。快速迭代的產品需求和良好的用戶體驗，需要運維管理者時刻保障核心業務穩定可用。
一、運維管理的痛點和難點
運維工程師在運維中過程中經常遇到運維工作如下的痛點和難點 ：
面向業務的運維，不但關心單點物理資源的運行狀態，更關心整個業務系統的健康狀態
如果企業使用了大量的API和模塊化應用，那么需要關注每個接口的性能變化情況和指標
對於運維主管及企業管理層來說，特別需要上牆的監控大屏
4、運維需要每周、每月查看報告趨勢分析，但傳統運維工具數據導出困難
5、需要第一時間轉雀和快速發現故障節點，減少業務中斷帶來的損失
二、運維管理
三、資源管理
（一）、物理資源監控
物理資源狀態監控。提供可按照資源池、集群對物理設備的資源狀態、如計算、存儲、網絡等運行狀態進行監控。
故障告警及通知。
2、故障告警及通知。支持Email或者短信、微信等告警的實時通知消息。
3、資源庫存及資產管理。支持對物理設備庫存及資產管理，需要擴充及時提供運維管理人員。
4、故障分析報表。可按照故障級別、事件類別出具故障的分析報表，便於改善服務。
（二）業務資源監控
（1）業務資源狀態監控。可按照服務如虛擬主機、雲數據庫、塊存儲等進行資源狀態監控。
（2）業務資源容量監控。對業務資源層的資源容量進行分別監控，可設置容量告警閾值提醒資源擴容。
（3）運維操作記錄。記錄運維相關的操作日志且存檔期不少於半年。
三、運維管理一般流程和功能
運維管理流程圖
制定雲服務運維管理流程，包括：服務台、事件管理、問題管理、變更管理、配置管理、發布管理、知識庫管理、報表管理。
雲服務運維管理系統應提供以下功能：
（1）監控管理，通過對各種物理資源、虛擬化資源數據的監控，將資源以用戶可見的資源池形式提供給上層應用。統一資源管理，支持發現其管轄范圍內的物理設備（包括服務器、存儲設備、交換機）以及它們的組網關系。支持將這些物理設備進行池化管理，提供給應用管理模塊使用。
（2）權限管理，可以創建和管理系統中管理員帳號、管理員所承擔的角色和管理員管理區域，實現系統的分權分域的功能。系統支持對用戶進行訪問控制， 支持用戶組、分權、分域、密碼管理，便於維護團隊內分職責共同有序地維護系統。
（3）告警管理，是確保系統正常運行的重要活動，包括：系統故障預防設計、故障檢測和處理等。告警管理是故障管理的重要部分，便於運維人員進行故障定位，保證系統穩定運行。
（4）拓撲管理，提供一個可視化界面，呈現全系統的所有資源信息。支持常用設備自動發現和識別，系統還對網絡類型有很好的兼容性，可以很好的發現
VPN、VLAN網絡拓撲，還支持按照規則識別不同的設備類型（如三層交換機）， 方便更准確的呈現拓撲。
（5）日志管理包括日志記錄、查看、審計。
（6）軟件管理，支持雲操作系統軟件預安裝和預置、軟件自動化批量安裝、軟件升級和補丁更新等功能。
（7）統計報表管理，可以讓管理員查看虛擬機登錄、分配以及運行狀態信息，有助於系統優化，調整提升。報表可以根據要求定制，內容主要包括之前描述過得監控內容，包括CPU、內存、網絡流量、數據庫性能、中間件性能等各類性能報表和故障報表。
（8）資產管理，是運維管理系統的核心功能，能夠實現對雲平台相關的軟硬件信息資產信息的全面管理，同時，對資產信息進行實時監控變更等功能，滿足企業對資產管理的需要。
（9）工單管理，系統提供完整的工單管理的功能，支持創建工單的流轉流程。支持手工創建工單，也可以在告警響應動作中創建工單；支持以工單方式實現對告警事件的應急響應、工作任務分配、工作任務管理，可以進行流程定制和流程查看，工作流可以跨多個中心進行聯動。
（10）計費管理，不同的雲服務按照各自的計費項計量並收費的能力。
（11）安全管理，是對數據、賬號等IT資源采取全面保護，使其免受犯罪分子和惡意程序的侵害，並保證雲基礎設施及其提供的資源能被合法地訪問和使用。
（12）對系統數據均實現多副本保存或其他冗余備份機制。
（13）可實現雲服務運維管理系統的自動化管理。
四、運維監控平台設計思路
構建一個智能的運維監控平台，必須以運行監控和故障報警這兩個方面為重點，將所有業務系統中所涉及的網絡資源、硬件資源、軟件資源、數據庫資源等納入統一的運維監控平台中，並通過消除管理軟件的差別。
數據采集手段的差別，對各種不同的數據來源實現統一管理、統一規范、統一處理、統一展現、統一用戶登錄、統一權限控制，最終實現運維規范化、自動化、智能化的大運維管理。
智能的運維監控平台，設計架構從低到高可以分為6層，三大模塊，如下圖：
1、數據收集層：位於最底層，主要收集網絡數據、業務系統數據、數據庫數據、操作系統數據等，然后將收集到的數據進行規范化並進行存儲。
2、數據展示層：主要是將數據收集層獲取到的數據進行統一展示，展示的方式可以是曲線圖、柱狀圖、餅狀態等，通過將數據圖形化，可以幫助運維人員了解一段時間內主機或網絡的運行狀態和運行趨勢，並作為運維人員排查問題或解決問題的依據。
3、數據提取層：主要是對從數據收集層獲取到的數據進行規格化和過濾處理，提取需要的數據到監控報警模塊，這個部分是監控和報警兩個模塊的銜接點。
4、報警規則配置層：主要是根據第三層獲取到的數據進行報警規則設置、報警閥值設置、報警聯系人設置和報警方式設置等。
5、報警事件生成層：位於第五層，主要是對報警事件進行實時記錄，將報警結果存入數據庫以備調用，並將報警結果形成分析報表，以統計一段時間內的故障率和故障發生趨勢。
6、用戶展示管理層：位於最頂層，是一個Web展示界面，主要是將監控統計結果、報警故障結果進行統一展示，並實現多用戶、多權限管理，實現統一用戶和統一權限控制。
在這6層中，從功能實現划分，又分為三個模塊，分別是數據收集模塊、數據提取模塊和監控報警模塊，每個模塊完成的功能如下：
1、數據收集模塊：此模塊主要完成基礎數據的收集與圖形展示。數據收集的方式有很多種，可以通過SNMP實現，也可以通過代理模塊實現，還可以通過自定義腳本實現。常用的數據收集工具有Cacti、Ganglia等。
2、數據提取模塊：此模板主要完成數據的篩選過濾和采集，將需要的數據從數據收集模塊提取到監控報警模塊中。可以通過數據收集模塊提供的接口或自定義腳本實現數據的提取。
3、監控報警模塊：此模塊主要完成監控腳本的設置、報警規則設置，報警閥值設置、報警聯系人設置等，並將報警結果進行集中展現和歷史記錄。常見的監控報警工具有Nagios、Centreon等。
運維管理平台主要有三大部分組成，分別是數據收集模塊、監控報警模塊和數據提取模塊。
其中，數據提取模塊用於其他兩個模塊之間的數據通信，而數據收集模塊可以有一台或多台數據收集服務器組成，每個數據收集服務器可以直接從服務器群組收集各種數據指標，經過規范數據格式，最終將數據存儲到數據收集服務器中。
監控報警模塊通過數據抽取模塊從數據收集服務器獲取需要的數據，然后設置報警閥值、報警聯系人等，最終實現實時報警。報警方式支持手機短信報警、郵件報警等，另外，也可以通過插件或者自定義腳本來擴展報警方式。這樣一整套監控報警平台就基本實現了。
結語
運維監控平台是工業互聯網平台運維工作中不可或缺的一部分，如何構建適合自己的運維監控平台，每個公司的需求不一樣，每個運維面對的痛點也不盡相同，但，有了監控，有了充足的數據，一切以數據說話，運維就不再是背鍋俠了。
————————————————
版權聲明：本文為CSDN博主「物聯研究」的原創文章，遵循CC 4.0 BY-SA版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/iot_research/article/details/84203182