Hive自定義UDF,生成32位隨機數

引言曾經認為Hive自帶的函數應該可以cover住我的日常所需，心想那些需要使用自定義函數的場景是不是太奇葩，誰知命運弄人，自己還是碰上了。
需求很簡單，我需要模擬Oracle中的SYS_GUID()函數，生成一個32位的字母數字隨機串。

開發環境：Eclipse+Maven，引入Hive0.13.1的依賴。

 

package cn.fulong.bigdata.tools;
import java.util.Random;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.hive.ql.udf.UDFType;
import org.apache.hadoop.io.Text;
@UDFType(deterministic = false)
public class HiveUDFOracleSysguid extends UDF {
    private Random random = new Random();
    private Text result = new Text();
    public Text evaluate(int length) {
        result.set(getCharAndNumr(length));
        return result;
    }
    private String getCharAndNumr(int length) {
        StringBuffer val = new StringBuffer();
        for (int i = 0; i < length; i++) {
            String charOrNum = random.nextInt(2) % 2 == 0 ? "char" : "num"; // 輸出字母還是數字
            if ("char".equalsIgnoreCase(charOrNum)) // 字符串
            {
                int choice = 65; // 大寫字母65，小寫字母96
                val.append((char) (choice + random.nextInt(26)));
            } else if ("num".equalsIgnoreCase(charOrNum)) // 數字
            {
                val.append(String.valueOf(random.nextInt(10)));
            }
        }
        return val.toString();
    }
}  
復制代碼

部署


步驟一：
打包該類，上傳到集群中，進入hive cli；

步驟二：
將jar包添加到hive的classpath中：
hive> add jar /home/hive-tools-sysguid-for-oracle.jar;


步驟三：
基於自定義UDF類創建自定義函數：
hive> create temporary function fbi_guid as 'cn.bigdata.tools.HiveUDFOracleSysguid';

其中，fbi_guid 是自己命名的函數名稱，將用於hive sql中，cn.bigdata.tools.HiveUDFOracleSysguid是類名。

執行

和內置函數使用方法一樣：
select fbi_guid(32) from sp_t_re_valid_service limit 20;

填坑記錄

官網給出的示例代碼是：

1. package com.example.hive.udf;
3. import org.apache.hadoop.hive.ql.exec.UDF;
4. import org.apache.hadoop.io.Text;
6. public final class Lower extends UDF {
7.   public Text evaluate(final Text s) {
8.     if (s == null) { return null; }
9.     return new Text(s.toString().toLowerCase());
10.   }
11. }

復制代碼

但，如果僅僅按照以上模板改寫，最終運行時會遇到一個很惡心的問題：
生成隨機串的邏輯只被執行了一遍，所有行的該字段字符串都是一樣的，並不會像預想的那樣，即每行一個隨機串。

該問題請教了無數知名公司的大蝦都沒給出解決方案，查閱無數篇“UDF開發詳解”類博客也沒找到解葯，情急之下靈機一動，想到了HIVE內置的rand()函數，功能其實和我這個類似，但是rand()就能很好的每行輸出一個隨機數，所以決定從rand()的源碼找答案。
rand()函數的實現類是 org.apache.hadoop.hive.ql.udf.，各位可自行查閱。

我先將核心邏輯拷貝到自己的UDF中測試了一下，發現問題還是存在，核心邏輯只被執行了一遍，每行的對應字段都是相同的數字。
出現該現象是好事，因為問題的關鍵肯定在源碼核心邏輯以外的某個角落！

通過觀察核心邏輯以外可能對該結果造成影響的代碼，發現了@UDFType(deterministic = false)，該注解指定了當前UDF的類型是否是確定性，默認為true，然而，rand()的源碼中將該屬性設置為了false！

經測試，@UDFType(deterministic = false)果然是結症所在，加上這句注解后，我的UDF可以正常執行了，每行輸出不同的32位隨機字母數字串，over。