自定義udf函數的使用

新建df1 和 df2 兩個數據源，指定數據源的中的列名和列的類型。用相同列“chanel_id”做關聯，進行join outer查詢, 在select取值的時候，用自定義的udf函數(get_channel_id)，取兩個表中不為空的“channel_id”作為結果集的數據。
用fillna 替換結果集中的null值
----------------------------------------------------------------------

from pyspark.sql.functions import udf

df1 = spark.createDataFrame([('baidu', 1001), ('baidu', 1002), ('facebook', 3001)],
                                          "channel_id: string, unique_id: int")
df2 = spark.createDataFrame([('baidu', 1, 'cc'), ('google', 1, 'pp')],
                                          "channel_id: string, day: int, name: string")
print('outer')

outer_df = df1.join(df2, df1.channel_id == df2.channel_id, 'outer')

outer_df.show()

@udf
def get_channel_id(a, b):
    if a is not None:
        return a
    if b is not None:
        return b

outer_df.select(df2.name, df1.unique_id, df2.day, get_channel_id(df1.channel_id, df2.channel_id).alias('channel_id'))\
    .fillna({"unique_id": 0, "day": 0, "name": ""})\
    .show()

打印結果：