1、hadoop使用場景


大數據依然是火的不要不要的,作為大數據基礎的Hadoop自然也會備受重視,那么Hadoop的使用場景有哪些?小編給大家介紹下。

1,大數據量存儲:分布式存儲

2,日志處理:Hadoop擅長這個

3,海量計算:並行計算

4,ETL:數據抽取到oracle、mysql、DB2、mongdb及主流數據庫

5,使用HBase做數據分析:用擴展性應對大量的寫操作—Facebook構建了基於HBase的實時數據分析系統

6,機器學習:比如Apache Mahout項目

7,搜索引擎:hadoop + lucene實現

8,數據挖掘:目前比較流行的廣告推薦,9,用戶細分特征建模

10,個性化廣告推薦,

11,智能儀器推薦

捎帶,小編向大家介紹Hadoop學習方面的一些事項。希望對新手學習Hadoop有所幫助。

學習hadoop學什么?

主要學習hadoop的核心組件:hdfs、mapreduce、yarn。它們是hadoop最最核心的部分。在它們的基礎上,我們還可以選擇性的學習hadoop生態圈中的日志收集工具flume、數據倉庫hive、分布式數據庫hbase、數據導入導出工具sqoop。

學習hadoop需要什么基礎?

hadoop需要具備javaSE的基礎知識,對於javaEE(jsp/servlet/三大框架)沒有要求。需要熟練使用linux系統。大體上,有這些預備知識就夠了。也有人說,只需要具備javaSE知識就足夠了。

學完hadoop會影響javaEE工作嗎?

嚴格的講,hadoop與javaEE是兩個不同的發展思路,hadoop傾向於底層數據處理部分,javaEE負責系統開發,二者前后相繼,沒有交叉,相輔相成。

學習hadoop對算法和數據結構要求高嗎?

一般海量數據的處理都是自定義存儲結構,實現自己的算法,這是業界的通用處理思路。這對普通程序員而言要求還是很高的。hadoop的優點就是進行了封裝,寫的算法都是偏向於業務的,不需要創造算法。因此大可放心。但是,如果工作的公司不使用hadoop去處理大數據,這時候對算法和數據結構的要求就高了。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM