使用hive數據查詢小結

業務背景：

公司大數據查詢需要通過hive查詢和分析一些數據

產品提出業務分析需求：

我的處理方式：

接到需求就想怎么寫SQL語句，然后不斷調整SQL語句進行驗證，最后這個需求寫了170行的SQL語句，而且經常報錯，最后花了大半天時間才將數據計算出來。

資深大數據開發工程師的處理方式：

1. 根據業務進行分析設計，看我們真正需要的數據是什么
2. 然后開始設計SQL語句
3. 進行驗證調整

結果，SQL語句只有38行，沒有對比，就沒有進步的。

根據上面這個分析和處理過程發現了自己當下的問題：

1. 對SQL語句掌握的不熟悉，寫SQL的能力需要提高
2. SQL出錯不知道如何排查問題
3. 寫的SQL很長，沒有對SQL進行分析設計

根據上面出現的問題進行總結和調整：

1. 提升自己的SQL能力
2. 以最小MVP的方式排查比較大的SQL語句，將SQL小范圍的嘗試和運行
3. 一定要分析清楚業務場景以及最后實現的效果，然后根據想要的效果對SQL進行設計和分析

躬身入局