《Google三大論文》讀后感


當我看到Google的這三大論文時,我的內心是震撼的,Google竟奠定了風靡全球的大數據算法的基礎。

說起來Google確實是為大數據時代的發展做出了很大的貢獻,畢竟Google的三個產品:Google File System、Map Reduce和Big Table的應用還是很廣泛的。就比如GFS,這是一個可擴展的分布式文件系統,用於大型的、分布式的、對大量數據進行訪問的應用。它運行於廉價的普通硬件上,通過軟件的方式自動容錯,它將服務器故障視為正常現象,通過軟件的方式自動容錯,在保證系統可靠性和可用性的同時,大大降低系統的成本。另一方面,它擁有着數據完整性,用於大型的、分布式的、對大量數據進行訪問的應用。它又有着有效的診斷工具,廣泛而細致的診斷日志以微小的代價換取了在問題隔離、診斷、性能分析方面起到了重大的作用。GFS服務器用日志來記錄顯著的事件,如服務器停機和啟動和遠程的應答。遠程日志記錄機器之間的請求和應答,通過收集不同機器上的日志記錄,對它們進行分析恢復,就可以完整地重現活動的場景,並用此來進行錯誤分析。這些都給用戶提供了總體性能較高的服務,比較方便快捷。

說到此,另兩個產品Map Reduce和Big Table,它們則是基於GFS研發的。這三大基礎核心技術構建出了完整的分布式運算架構。像Map Reduce,它是一種編程模型,用於大規模數據集的並行運算。Map(映射)和Reduce(歸約),是它們的主要思想概念,這是從函數式編程語言借鑒的,並且還有矢量編程語言里的特性。它極大地方便了編程人員在不會分布式並行編程的情況下,將其程序運行在分布式系統上。 目前軟件實現是指定一個Map函數,把一組鍵值對映射成一組新的鍵值對,指定並發的Reduce函數,用來保證所有映射的鍵值對中的每一個共享相同的鍵組。而Big Table則是分布式數據存儲系統,用來處理海量的數據的一種非關系型的數據庫。Big able是非關系型數據庫,是一個稀疏的、分布式的和持久化存儲的多維度排序Map。它適用於廉價設備,適合大規模海量數據以及分布式、並發數據處理,易於擴展,效率極高,支持動態伸縮。它們的功能確實極為強大,稱它們奠定了大數據算法的基礎一點都不為過。

通過對Google的這三大論文的閱讀,我也是燃起了這方面的興趣,盡管目前我對於它們的一些概念還是一知半解的,但這並不妨礙我了解它們,我也是在此瀏覽的過程中受益匪淺。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM