關於聯表查詢時NULL值的處理

1 填充NULL值

df.na.fill({"a": 0, "b": 0})

2 兩個表結構相同，做full_outer聯合時，要取非NULL值的數據。 以下寫法，會自動取同名字段中非NULL值的一方。

df.join(df2, ["date_id"], "full_outer").select("date_id")

date_id 字段在 df和 df2 中都存在，並且兩表是用date_id 做關聯

3 從兩個字段中取非NULL的

F.when(df.a.isNull(), df.b).otherwise(df.a).alias("new_columns")