淺談大數據技術


忽如一夜春風來,無人不談大數據。大數據就像前兩年的雲計算一樣,是一個時下被炒得很火的概念。那么什么是大數據,大數據是如何定義的,大數據處理技術有哪些,大數據能給我們帶來什么益處?雖然我不知道現在這些概念是如何被炒作的,但是作為一名互聯網行業的從業者,作為一個大數據技術的實踐者,根據自己的理解和經驗發表一點淺顯的認識,理解肯定有不到位之處請大家批評指正。

無論是大數據技術還是雲計算技術,其實這些技術都不是突然冒出來的,而是隨着互聯網技術的發展,人們把現有的技術加以整合,總結,概括出來並冠一個新名字。由於互聯網行業的特殊性,這些新概括出來的名字被媒體過度炒作了。所以普通人完全不必要,因為自己不懂什么是大數據,不懂什么是雲計算而感到惶惶而不可終日。如果一個企業還不知道如何啟動大數據處理,說明這個企業可能並不是十分迫切的需要大數據技術。

大數據技術是指對大規模數據的收集、分析、挖掘和應用的技術。數據的采集是大數據技術的第一步,是指通過某種方法或手段收集各種產生數據。舉個例子,比如說現在的互聯網網站都有日志記錄的功能,把用戶在網站上的所有的行為,包括瀏覽點擊購買等等,都記錄下來。這樣后台服務就能夠分析用戶的興趣愛好並為其推薦個性化的產品。再比如說氣象部門會在城市的各個角落布置各種傳感器,來采集氣象數據。物流公司一般會跟蹤采集物流數據,實時掌握物流信息。超市會在后台的服務器上記錄顧客的購買數據。總的來說,所有可能有價值的數據都會被采集,被數字化。數據的采集和記錄只是第一步,並不是我們的最終目的。我們的目的是分析數據的規律,挖掘數據的潛在價值,為決策提供依據,或者直接用到相應的產品或服務中。個人認為這就是大數據技術的核心。通過對數據的挖掘我們可以知道啤酒和尿布這兩件商品是可以捆綁在一起銷售的,我們還可以知道某個具體的用戶可能偏好什么樣的商品,某個廣告被點擊的概率有多大,用戶在一個具體的場景下會有什么需求,一次貸款的風險有多高。我們甚至能夠發現用戶為了使得自己的商品在搜索結果中排名靠前使用了哪些作弊手段。這些是數據挖掘和機器學習等技術的應用,也是發掘數據價值的關鍵手段。只有挖掘出數據的價值,數據的存在才變得有意義。數據挖掘工程師是大數據時代最緊缺的人才。數據價值體現在於對其進行的應用。比如說各種可視化的報表,為企業高層的決策提供依據。用戶和商品數據可以用來為用戶提供個性化的推薦服務,縮短用戶的查找路徑,為用戶提供有效的信息。

大數據時代的一個問題是讓人覺得自己沒有隱私,完完全全地暴露在眾人面前。你在互聯網上的各種行為都會被記錄下來,互聯網企業可以知道你到底是男是女,多大的年紀,有沒有結婚,小孩有幾歲,有沒有車子,有沒有買房,有沒有孝敬父母的習慣,父母是多大的年紀,甚至你的老婆是誰,你的情人是誰,你的小三是誰,你經常去哪些地方,你喜歡和誰聯系,你和誰之間有過資金的交易,你每個月的收入是多少,你的消費習慣是什么樣的,等等等等。可能你要問他們需要知道我這些干什么呀?這就是為什么有的人打開微博或視頻時會跳出美容護膚的廣告,有的人會跳出成人用品的廣告。如果企業對用戶一無所知,那么用戶看到的可能就是千人一面了。但是企業對用戶很了解,他們就能做到千人千面。

總之,大數據時代只會為人們帶來更好的生活和服務,大數據現象是技術推動生產力進步的表現。大數據技術是人們利用數據的一種工具。勞動工具很大程度上代表了社會生產力的水平。石器,鐵器,銅器,蒸汽機,內燃機,手機,飛機等等是社會各個時期的代表工具。現在已經進入了大數據技術為代表的嶄新時代。可以展望未來只會有越來越多的數據和無處不再的計算。我們每個人都應該慶幸自己生在這樣一個時代,我們都應該感謝互聯網技術為我們的生活提供的點點滴滴的幫助,隨時擁有一顆感恩的心。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM