Kaggle-How Much Did it Rain? II
Predict hourly rainfall using data from polarimetric radars
(比賽鏈接：https://www.kaggle.com/c/how-much-did-it-rain-ii)
關於雙向LISTM層模型請參照如下鏈接：
http://simaaron.github.io/Estimating-rainfall-from-weather-radar-readings-using-recurrent-neural-networks/
Description
自從收到來自Kaggle社區的科學界和教育界朋友的反饋后，美國氣象學會人工智能委員會迫不及待開展How Much Did it Rain？第二版競賽。
How Much Did it Rain？II聚焦於解決同樣的降雨測量預測的核心問題，但這次使用一個新的經過改進的數據集和評估指標來達到目的。這次競賽將進一步為大學構建一個有用的教育工具，並對氣象研究產生有意義的推進作用。
最近，為了提高他們的降雨量預報器，美國國家氣象局將他們的雷達網絡升級為偏振雷達。這些偏振雷達可以相比於傳統多普勒雷達能夠提供更高質量的數據，因為偏振雷達能以水平和垂直方向發射無線電波脈沖。
雙脈沖更容易推斷降雨量的大小和類型，因為雨滴隨着尺寸的增加變得扁平，而冰晶趨向於垂直拉長。
在這個競賽中，你被提供偏振雷達值的快照並要求預測每小時降雨量總計。注意：許多訓練集中的許多計量值都不可信（例如儀表會堵塞），更多信息在data page。
Evaluation
這個比賽的評估指標是Mean Absolute（MAE）。關於選擇MAE而非RMSE的選擇，請參閱本文（http://climate.geog.udel.edu/~climate/publication_html/Pdf/WM_CR_05.pdf）。
Submission File
對於數據集中的每一個儀表小時，提交文件包含兩列：Id和Excepted 。Id對應於test.csv中該名稱的列。Excepted是預測儀表值。文件應該包含以后header和如下格式：
Id,Expected
1,0.73
2,1.23
3,0.49
etc.
Data
訓練集數據包含2014年4月到8月期間美國中西部玉米種植州的20天內收集的NEXRD和MADIS數據。時間和位置信息已經被審查，數據已經被洗牌，因此他們不會按照時間和地點排序。測試數據由該月剩余天數的相同雷達和儀表數據組成。請參見本文以更好理解偏振雷達測量。
File description
- train.zip - 訓練集。這個文件包括玉米成長季節每月超過20天在美國中西部儀表上進行的雷達觀測。同時還提供了每個小時結束時的儀表觀測值。
- test.zip - 測試集。這個文件包括與訓練集相同時間的美國中西部每月剩余10天或11天的雷達觀測值。你需要預測每個小時結束時的儀表觀測值。
- sample_solution.zip - 一個正確格式的提交文件。
- sample_dask.py - 將生成示例提交文件的python示例程序。這個程序使用Marshall-Palmer關系於雷達觀測值以預測儀表觀測值。
Data column
為了理解數據，你必須意識到一小時內有多次雷達觀測，只有一個儀表觀測值（’Excepted‘）。這就是為什么有多行有着相同’Id'。
數據集中columns如下所示：
- Id:儀表上一小時后的一組觀測值的唯一編號
- minutes_past:對於每一組雷達觀測值，進行雷達觀測的之間剛過一小時的分鍾數。雷達觀測是那個時間點的快照。
- radar_km:雷達上儀表距離地面的距離。
- Ref：以公里為單位的雷達反射率
- Ref_5x5_10th:儀表周圍5x5領域中10%反射率
- Ref_5x5_50th:儀表周圍5x5領域中50%反射率
- Ref_5x5_90th:儀表周圍5x5領域中90%反射率
- RefCompsite:儀表上方垂直列中的最大反射率，以dBZ為單位
- RefCompsite_5x5_10th
- RefCompsite_5x5_50th
- RefCompsite_5x5_90th
- RhoHV:相關系數（無單位）
- RhoHV_5x5_10th
- RhoHV_5x5_50th
- RhoHV_5x5_90th
- Zdr:以dB為單位的差分反射率
- Zdr_5x5_10th
- Zdr_5x5_50th
- Zdr_5x5_90th
- Kdp:特定微分相位（度/公里）
- Kdp_5x5_10th
- Kdp_5x5_50th
- Kdp_5x5_90th
- Expected:小時結束時以毫米為實際儀表觀測值
Code：