由於手上負責的hadoop集群需要對公司外部提供服務,所有會有多個部門訪問我們的hadoop集群,這個就涉及到了hadoop的安全性。
而hadoop的安全性是很弱的,只提供類似linux文件系統的帳戶權限驗證,而且可以通過簡單的手段冒充用戶名,如果有惡意用戶,直接冒充為hadoop的super用戶,那整個集群是很危險的。
hadoop支持kerberos,希望可以通過kerberos,限制惡意用戶偽造用戶。
預研過程中,發現kerberos生成證書和配置的步驟相當繁瑣,首次配置也可以接受,但是對於用戶權限的修改,機器的減容擴容,感覺會造成證書要重新生成,再分發證書,重啟hadoop。而且還要考慮kerberos的宕機導致整個集群無法服務的風險,加上kerberos的東西也比較復雜,這些考慮,讓我覺得上kerberos很可能會導致hadoop集群運維的不便。
於是咨詢淘寶雲梯管理員羅李,問他hadoop和kerberos是否很不好用,他回復:很不好用。給個案例,支付寶去年到今年上半年用了這東西,效率極低運維困難,下半年換成雲梯版本后效率大漲連擴容都省了。
最后總結,hadoop權限方面,kerberos還是不適合,也許真的只能自己像雲梯一樣,修改hadoop源代碼,添加自己的權限驗證體系。