奇點雲數據中台技術匯(一) | DataSimba——企業級一站式大數據智能服務平台
在這個“數據即資產”的時代，大數據技術和體量都有了前所未有的進步，若企業能有效使用數據，讓數據賺錢，這必將成為企業數字化轉型升級的有力武器。 奇點雲自研的一站式大數據智能服務平台——DataSimba，旨在提供數據采集、數據加工、數據治理、數據規范、數據資產、數據服務等全鏈路的產品+技術 ...
原文：數據中台技術匯（二）| DataSimba系列之數據采集平台
繼上期數據中台技術匯欄目發布DataSimba 企業級一站式大數據智能服務平台，本期介紹DataSimba的數據采集平台。 DataSimba采集平台屬於DataSimba的數據計算及服務平台的一部分， 負責數據的導入， 從而支持上層的數據處理。DataSimba的定位是面向企業私有化部署，決定了采集平台面臨要解決的問題和傳統的互聯網公司不太一樣： 企業使用的數據庫類型多且雜， 包括很多非主流的 ...
2019-05-21 09:43 0 1188 推薦指數：
相關推薦
網頁數據采集 - 系列之Flash數據采集
經常看到一些朋友在討論如何采集flash中的數據，討論來討論區，結論就是：flash不能采集，其實也不總是這樣。本篇就跟大家分享如何采集flash中的數據。 在開始之前，先說明一下：一般來說flash中的數據是不能被現有技術很容易采集到的，但是也不能談flash色變，要具體問題具體分析 ...
大數據平台的數據采集
大數據平台的數據采集 數據采集的設計，幾乎完全取決於數據源的特性，畢竟數據源是整個大數據平台蓄水的上游，數據采集不過是獲取水源的管道罷了。 在數據倉庫的語境下，ETL基本上就是數據采集的代表，包括數據的提取（Extract)、轉換(Transform)和加載(Load)。在轉換的過程中 ...
web數據采集核心技術分享系列（一）做一個強大的web數據采集系統，你需要什么?
目錄： web數據采集核心技術分享系列（一）做一個強大的web數據采集系統，你需要什么? web數據采集核心技術分享系列（二）如何提取信息？字符串？正則？xpath？xslt？自定義？...什么才是王道? web數據采集核心技術分享系列（三）如何破解驗證碼？圖像分析？特征匹配？人工智能 ...
通用數據采集平台，從架構到代碼
需求場景還原 國內某二線城市某科技公司，項目、產品繁多，軟硬件通吃。硬件大牛H，軟件新人S，研發BOSS： H：BOSS，這兩天剛剛搞出個采集電參數的模塊，能不能安排人做個簡單的測試程序，就是一個串口，電腦上看一下數據就行，很簡單的； BOSS：可以，小S，你把老H這個功能實現下，在我原來 ...
數據中台不是技術平台，沒有標准架構！
2019 年，一場組織變革的風暴席卷了阿里、騰訊、百度、京東等國內互聯網公司，在未來的轉型計划中，他們不約而同地提到了一個詞——數據中台，甚至表示將數據中台上升為核心方向，並基於此做了企業組織架構調整。 世間諸事大抵如此，火爆的東西總是容易被模仿、被跟風，所以當“數據中台”的熱風吹起時 ...
工業數據采集
來源：https://mp.weixin.qq.com/s/EqpNkJXPKdtqxORmJ6DziQ 自動化設備品牌類型繁多，廠家和數據接口各異，國外廠家本地支持有限，傳統人工操作設備仍在使用等導致數據采集一直困擾着所有制造工廠，只要還有其他人工參與環節，這些數據就不完整。 一、工業 ...
基於Java的數據采集（一）
之前寫過2篇關於PHP數據采集入庫的文章： 基於PHP數據采集入庫（一）：http://www.cnblogs.com/lichenwei/p/3872307.html 基於PHP數據采集入庫（二）：http://www.cnblogs.com/lichenwei/p/3873281.html ...