Java后端開發工程師是否該轉大數據開發?


撰寫我對java后端開發工程師選擇方向的想法,寫給在java后端選擇轉方向的人

背景

看到一些java開發工程師,對java后端薪酬太悲觀了。認為換去大數據領域就會高工資。覺得java后端沒有前途。我從事java后端開發,對大數據領域工作有些了解,但不深入。本文描述一下我對java后端和是否轉大數據開發的個人見解。

目的

分析大數據領域分類

分析大數據工作工資高的原因

分析造成覺得java后端開發不夠前景的原因

java后端轉大數據工作做什么

轉去大數據領域的各類方向與java后端比較衡量

一、大數據領域工作我認為分4類

類別業務開發架構組

1數據處理ETL、爬蟲未知

2數據統計實時流式計算、離線流式計算、Elastic-search分詞統計架構研究spark hadoop源碼開發數坊系統、shuffle優化。

3數據分析基於mahout、sparkStream 做機器學習、自然語言性能優化

4數據算法/建模推薦算法、用戶畫像、風控建模未知

二、大數據領域工資高的原因

大家看到大數據工資高,其實是大數據領域包含了建模或者算法工程師那部分。高工資的就只有推薦算法、用戶畫像、風控建模、自然語言這些工作,職位為算法或者建模工程師。

然而大數據領域的大部分工作,都是上圖表中,第1、2類的工作,如:etl、爬蟲、實時離線流式計算,es、頂多就機器學習。即使這些工作也只是工程級的應用(換句話說就是寫業務代碼,搬磚),如果工資高也是有架構能力(提升spark性能之類),而不是大數據應用開發。

三、分析造成覺得java后端開發不夠前景的原因

有人覺得java后端開發工資低,沒有前景,沒有適應時代。第一、大數據時代很久了,很早就開始招大數據了,不是需求火爆的狀態,如安卓工程師一開始火,如現在做的人多了,像安卓變多了,大數據的應用開發就不像2014年剛開始的時候那么高工資了,但是大數據中算法、建模工程師依然高薪,那種要求高質量高的工作都是10個人里面只有1個會的那種。第二、很多java后端開發都是業務開發,寫好業務沒bug渡過一天又一天,沒有遇到好項目或者沒有自主學習,導致做了很久的java開發工程師,都是做業務,寫CRUD、redis、mq等,會寫代碼是一回事,但是有沒有好的技術方案就是另外一回事。

四、Java后端轉大數據工作做什么

java換去做大數據其實只能做etl、爬蟲、實時離線流式計算,es、頂多就機器學習這些工程級的應用,也就換套工具寫業務代碼,換套工具搬磚而已。因為Java開發人員多數是使用、應用程度,而不是研究程度,所以Java工程師轉大數據很少有人會做到第3、4類的工作,如果做第3、4類估計是重新開始了。其實第1、2類這些工作薪酬跟java后端沒什么區別,畢竟兩個領域都有純業務搬磚和自帶技術體系的人。

這些大數據工程級應用(第1、2類),也有架構組,如同java后端一樣,也有業務架構和基礎架構。其實如果積累經驗java后端和這些大數據晉升我認為是一樣的。

舉例

假如表中的第2類,大數據工程級應用做spark、hadoop,一種是做應用開發,如雙11在頁面顯示華為、小米等品牌實時出貨量多少,就用實時流式計算。另一種屬於架構工作,如開發個數坊系統(也叫數據倉庫、DataWareHouse)出來讓大數據應用開發同事在上面做 OLAP。這些架構組的人,一般需要對hadoop、spark、presto源碼有過研究,或許會在上面二次開發,或者進行性能優化工作。前者是換套工具搬磚,后者是架構組。如同java也有些業務代碼和架構設計。

五、轉去大數據領域的各類方向與java后端比較衡量

考慮方向

要么轉做大數據架構,如研究spark、hadoop、presto,搞個數坊系統、shuffle調優等,畢竟屬於架構組,工資會高一點。

要么轉做推薦算法、用戶畫像、建模/算法類。而這部分工作都是有要求的,算法過硬、研究生、985、211 、數學專業,這些工作也會更高。數據挖掘與分析不止會mathot、spark streaming,還有SAS/SPSS 。

如果轉做大數據應用做實時流式計算、離線流式計算、es分詞統計,其實是相當於業務碼農,如果有java后端開發經驗的話,這種那還不如在java后端繼續深耕,畢竟換去做大數據應用開發深耕也是一樣的。

考慮晉升機會

考慮另一部分,能晉升到領導位置的,一般是伴隨公司成長的核心員工。公司成長,開始是業務,一般都是java后端業務代碼。等到中期、后期做報表才會用上大數據業務開發(第1、2類),有性能問題就會有架構組,再后期才到推薦算法這些讓app更好體驗的東西,如淘寶首頁推薦。所以業務架構在前期就比較容易晉升。

等公司成長起來了,公司有錢自然就會招很好的算法、建模工程師做真正有價值的部分。

而實時流式計算、elastic-search這些業務碼農,也只是搬磚,現在做的人像安卓一樣多了,就不像2014年剛開始的時候那么高工資了。

考慮所在城市的崗位數量

如第3、4類工作,崗位比較少,換公司換工作是否方便,有些公司如:中國移動 的第3類大數據工作就有外包出去,不是正式編制。畫好跳槽路線,因為轉行第一間不一定是你的終點,所以要看其他的更上流的企業的要求是否能匹配自己。

BackUp作用

多學大數據只是防止當前公司業務停止,沒有業務開發時,java后端開發工程師可能被裁員掉,學大數據和前端React.js類只是對於java后端開發另謀活路的backup。因為有些職位就希望你全棧,但現在很多都前后端分離的。

而被淘汰掉的java后端只是寫業務代碼,用用redis、mq。

java后端人人都會寫,java后端技術領域還是很廣的,但有沒有寫出好的技術方案就另外一回事。

總結

大數據、前端頁面開發對於java后端開發工程師來講,我覺得了解就可以了,知道有解決辦法,不必每個領域都精通,況且沒辦法每個領域都精通。

如果后端開發轉去做大數據、項目經理、產品經理崗位,估計都是java后端技術沒做上去(本身不喜歡做程序員的也有可能),或者是只會做純業務代碼這些被淘汰掉了,所以就換領域了,還有轉hr的。不過同級別的java后端開發和產品經理薪資確實有差距,估計一兩千。

我覺得大數據工程級應用開發(第1、2類)和Java后端開發薪資就沒什么差距,以前java后端能轉大數據應用開發,是因為那時候還缺人,現在不缺人了,要招都是招有真實經驗的。如果你從事java后端開發幾年了,要轉大數據領域,相當於你有一個升高級java開發工程師的機會,還是選擇中級大數據應用開發工程師的機會,反正都是寫業務代碼的。如果你的條件過硬,如985/211學歷、數學專業、算法研究經驗,如果要轉算法/建模工程師就早點轉,大數據領域高工資的就是這類人。如果java后端開發工作經驗4以上年了,沒有硬性條件,建議繼續深入后端學習。如果java后端開發工作一兩年,你想怎么轉都可以。

如想了解薪酬,可以在招聘網站搜大數據工程師(一般就是指第1、2類的),和算法工程師、風控建模工程師、推薦算法工程師、用戶畫像工程師。我所知道有個風控建模經理三萬多。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM