來源：https://mp.weixin.qq.com/s/EqpNkJXPKdtqxORmJ6DziQ
自動化設備品牌類型繁多，廠家和數據接口各異，國外廠家本地支持有限，傳統人工操作設備仍在使用等導致數據采集一直困擾着所有制造工廠，只要還有其他人工參與環節，這些數據就不完整。
一、工業數據采集類型
互聯網的數據主要來自於互聯網用戶和服務器等網絡設備，主要是大量的文本數據、社交數據以及多媒體數據等，而工業數據主要來源於機器設備數據、工業信息化數據和產業鏈相關數據。
| 海量key-value數據 | 1、光電、熱敏、氣敏、力敏、磁敏、聲敏、濕敏等不同類別的工業傳感器數據； 2、機器設備的數據大概要到ms的精度才能分析海量的工業數據， 這部分數據的特點：每條數據內容很少，但是頻率極高 |
| 文檔數據 | 工程圖紙、仿真數據、設計的CAD圖紙等，還有大量的傳統工程文檔 |
| 信息化數據 | 由工業信息系統產生的數據，一般是通過數據庫形式存儲，這部分數據是最好采集的 |
| 接口數據 | 由已經建成的工業自動化或信息系統提供的接口類型數據，包括txt格式、JSON格式、XML格式等 |
| 視頻數據 | 工業現場會有大量的視頻監控設備，這些設備會產生大量的視頻數據 |
| 圖像數據 | 工業現場各類圖像設備拍攝的圖片（如巡檢人員用手持設備拍攝的設備、環境信息圖片） |
| 音頻數據 | 語音及聲音信息（如操作人員的通話、設備運轉的音量等） |
| 其他數據 | 如遙感遙測信息、三維高程信息等 |
二、數據采集方法
傳統的數據采集方法包括人工錄入、調查問卷、電話隨訪等方式，大數據時代到來后，數據采集方式的突破直接改變着大數據應用的場景。
（1）傳感器
是一種檢測裝置，能感受到被測量的信息，並能將檢測感受到的信息按一定規律變換成為電信號或其他所需形式的信息輸出，以滿足信息的傳輸、處理、存儲、顯示、記錄和控制等要求。
| 傳感器的工作情況 | 生產車間部署了許多傳感節點24小時監控整個生產過程，當發現異常時可迅速反饋至上位機，近似為數據采集的感官接受系統，屬於數據采集的底層環節 |
| 傳感器的特性 | 1、其靜態特性反映了傳感器在被測量各個值處於穩定狀態時的輸入和輸出關系，即當輸入為常量或變化極慢時的關系為靜態特性； 2、一般情況下，輸入與輸出不會符合所要求的線性關系，同時由於存在這遲滯、蠕變等因素的影響，使輸入輸出關系的唯一性也不能實現。（唯一、線性關系） 3、傳感器受工廠中的外界影響的程度取決於傳感器本身，可通過傳感器本身的改善加以抑制，有時也可以加對外界條件加以限制。 |
（2）RFID技術
1、是一種非接觸式的自動識別技術，通過射頻信號自動識別目標對象並獲取相關的數據信息。RFID技術可識別高速運動物體並可同時識別多個標簽，操作快捷方便。
2、RFID技術解決了物品信息與互聯網實現自動連接的問題，結合后續的大數據挖掘工作，能發揮其強大的威力。
三、數據采集技術難點
（1）背景
1、很多企業的生產數據采集主要依靠傳統的手工作業方式，采集過程中容易出現人為的記錄錯誤且效率低下。
2、有些企業雖然應用了數據采集系統，但由於系統本身的原因或企業沒有選擇最適合自己的數據采集系統，無法實現信息采集的實時性、精確性和延伸性管理，各單元出現信息斷層的現象。
（2）技術難點
| 數據量巨大 | 數據采集后，大量的工業數據是“臟”數據，直接存儲無法用於分析，在存儲之前必須對海量數據進行處理，必須考慮數據的規范與清洗。 |
| 工業數據的協議不標准 | 互聯網數據采集一般是常見的HTTP等協議，但在工業領域，還有ModBus、OPC、CAN、ControlNet、DeviceNet、Profibus、Zigbee等各類型的工業協議，且各自動化設備生產及集成商開發各種私有的工業協議。面對眾多的工業協議，無法有效的進行解析和采集，導致在工業協議的互聯互通上，出現了極大地難度。 |
| 視頻傳輸所需帶寬巨大 | 傳統工業信息化都是在現場進行數據采集，視頻數據傳輸主要在局域網中進行，帶寬不是主要的問題。 隨着雲計算技術的普及及公有雲的興起，大數據需要大量的計算資源和存儲資源，工業數據逐步遷移到公有雲已經是大勢所趨。大量的視頻文件如何通過互聯網順暢到傳輸到雲端，是開發人員需要面臨的巨大挑戰。 |
| 對原有系統的采集難度大 | 在工業企業實施大數據項目時，數據采集往往不是針對傳感器或PLC，而是采集已經完成部署的自動化系統上位機數據。 自動化系統在部署時廠商水平參差不齊，大量現場系統沒有點表等基礎設置數據；大部分系統沒有數據接口，文檔也大量缺失，使得對於這部分數據采集的難度極大。 |
| 安全性考慮不足 | 原先的工業系統運行在局域網中，安全問題不是突出考慮的重點。 通過雲端調度工業中最為核心的生產能力，若沒有充分考慮安全，造成的損失是難以彌補的。 |