撰寫我對java后端開發工程師選擇方向的想法,寫給在java后端選擇轉方向的人
背景
看到一些java開發工程師,對java后端薪酬太悲觀了。認為換去大數據領域就會高工資。覺得java后端沒有前途。我從事java后端開發,對大數據領域工作有些了解,但不深入。本文描述一下我對java后端和是否轉大數據開發的個人見解。
目的
分析大數據領域分類
分析大數據工作工資高的原因
分析造成覺得java后端開發不夠前景的原因
java后端轉大數據工作做什么
轉去大數據領域的各類方向與java后端比較衡量
一、大數據領域工作我認為分4類
類別業務開發架構組
1數據處理ETL、爬蟲未知
2數據統計實時流式計算、離線流式計算、Elastic-search分詞統計架構研究spark hadoop源碼開發數坊系統、shuffle優化。
3數據分析基於mahout、sparkStream 做機器學習、自然語言性能優化
4數據算法/建模推薦算法、用戶畫像、風控建模未知
二、大數據領域工資高的原因
大家看到大數據工資高,其實是大數據領域包含了建模或者算法工程師那部分。高工資的就只有推薦算法、用戶畫像、風控建模、自然語言這些工作,職位為算法或者建模工程師。
然而大數據領域的大部分工作,都是上圖表中,第1、2類的工作,如:etl、爬蟲、實時離線流式計算,es、頂多就機器學習。即使這些工作也只是工程級的應用(換句話說就是寫業務代碼,搬磚),如果工資高也是有架構能力(提升spark性能之類),而不是大數據應用開發。
三、分析造成覺得java后端開發不夠前景的原因
有人覺得java后端開發工資低,沒有前景,沒有適應時代。第一、大數據時代很久了,很早就開始招大數據了,不是需求火爆的狀態,如安卓工程師一開始火,如現在做的人多了,像安卓變多了,大數據的應用開發就不像2014年剛開始的時候那么高工資了,但是大數據中算法、建模工程師依然高薪,那種要求高質量高的工作都是10個人里面只有1個會的那種。第二、很多java后端開發都是業務開發,寫好業務沒bug渡過一天又一天,沒有遇到好項目或者沒有自主學習,導致做了很久的java開發工程師,都是做業務,寫CRUD、redis、mq等,會寫代碼是一回事,但是有沒有好的技術方案就是另外一回事。
四、Java后端轉大數據工作做什么
java換去做大數據其實只能做etl、爬蟲、實時離線流式計算,es、頂多就機器學習這些工程級的應用,也就換套工具寫業務代碼,換套工具搬磚而已。因為Java開發人員多數是使用、應用程度,而不是研究程度,所以Java工程師轉大數據很少有人會做到第3、4類的工作,如果做第3、4類估計是重新開始了。其實第1、2類這些工作薪酬跟java后端沒什么區別,畢竟兩個領域都有純業務搬磚和自帶技術體系的人。
這些大數據工程級應用(第1、2類),也有架構組,如同java后端一樣,也有業務架構和基礎架構。其實如果積累經驗java后端和這些大數據晉升我認為是一樣的。
舉例
假如表中的第2類,大數據工程級應用做spark、hadoop,一種是做應用開發,如雙11在頁面顯示華為、小米等品牌實時出貨量多少,就用實時流式計算。另一種屬於架構工作,如開發個數坊系統(也叫數據倉庫、DataWareHouse)出來讓大數據應用開發同事在上面做 OLAP。這些架構組的人,一般需要對hadoop、spark、presto源碼有過研究,或許會在上面二次開發,或者進行性能優化工作。前者是換套工具搬磚,后者是架構組。如同java也有些業務代碼和架構設計。
五、轉去大數據領域的各類方向與java后端比較衡量
考慮方向
要么轉做大數據架構,如研究spark、hadoop、presto,搞個數坊系統、shuffle調優等,畢竟屬於架構組,工資會高一點。
要么轉做推薦算法、用戶畫像、建模/算法類。而這部分工作都是有要求的,算法過硬、研究生、985、211 、數學專業,這些工作也會更高。數據挖掘與分析不止會mathot、spark streaming,還有SAS/SPSS 。
如果轉做大數據應用做實時流式計算、離線流式計算、es分詞統計,其實是相當於業務碼農,如果有java后端開發經驗的話,這種那還不如在java后端繼續深耕,畢竟換去做大數據應用開發深耕也是一樣的。
考慮晉升機會
考慮另一部分,能晉升到領導位置的,一般是伴隨公司成長的核心員工。公司成長,開始是業務,一般都是java后端業務代碼。等到中期、后期做報表才會用上大數據業務開發(第1、2類),有性能問題就會有架構組,再后期才到推薦算法這些讓app更好體驗的東西,如淘寶首頁推薦。所以業務架構在前期就比較容易晉升。
等公司成長起來了,公司有錢自然就會招很好的算法、建模工程師做真正有價值的部分。
而實時流式計算、elastic-search這些業務碼農,也只是搬磚,現在做的人像安卓一樣多了,就不像2014年剛開始的時候那么高工資了。
考慮所在城市的崗位數量
如第3、4類工作,崗位比較少,換公司換工作是否方便,有些公司如:中國移動 的第3類大數據工作就有外包出去,不是正式編制。畫好跳槽路線,因為轉行第一間不一定是你的終點,所以要看其他的更上流的企業的要求是否能匹配自己。
BackUp作用
多學大數據只是防止當前公司業務停止,沒有業務開發時,java后端開發工程師可能被裁員掉,學大數據和前端React.js類只是對於java后端開發另謀活路的backup。因為有些職位就希望你全棧,但現在很多都前后端分離的。
而被淘汰掉的java后端只是寫業務代碼,用用redis、mq。
java后端人人都會寫,java后端技術領域還是很廣的,但有沒有寫出好的技術方案就另外一回事。
總結
大數據、前端頁面開發對於java后端開發工程師來講,我覺得了解就可以了,知道有解決辦法,不必每個領域都精通,況且沒辦法每個領域都精通。
如果后端開發轉去做大數據、項目經理、產品經理崗位,估計都是java后端技術沒做上去(本身不喜歡做程序員的也有可能),或者是只會做純業務代碼這些被淘汰掉了,所以就換領域了,還有轉hr的。不過同級別的java后端開發和產品經理薪資確實有差距,估計一兩千。
我覺得大數據工程級應用開發(第1、2類)和Java后端開發薪資就沒什么差距,以前java后端能轉大數據應用開發,是因為那時候還缺人,現在不缺人了,要招都是招有真實經驗的。如果你從事java后端開發幾年了,要轉大數據領域,相當於你有一個升高級java開發工程師的機會,還是選擇中級大數據應用開發工程師的機會,反正都是寫業務代碼的。如果你的條件過硬,如985/211學歷、數學專業、算法研究經驗,如果要轉算法/建模工程師就早點轉,大數據領域高工資的就是這類人。如果java后端開發工作經驗4以上年了,沒有硬性條件,建議繼續深入后端學習。如果java后端開發工作一兩年,你想怎么轉都可以。
如想了解薪酬,可以在招聘網站搜大數據工程師(一般就是指第1、2類的),和算法工程師、風控建模工程師、推薦算法工程師、用戶畫像工程師。我所知道有個風控建模經理三萬多。