CDH開啟kerberos后在第三方機器上部署Spark程序問題解決

一、概述

 當CDH平台開啟kerberos后，需要kdc服務驗證通過和kerberos協議驗證通過才可以。如果將spark程序部署在CDH 機器上，直接在生成keytab並使用principal登錄kerberos即可。

如果當spark應用程序部署在第三方機器上時，還需要處理krb5.conf注冊問題。

二、問題解決

 1、當spark程序部署在CDH所在的機器上時，啟動spark程序命令如下

  1）進入kerberos

  kadmin.local

  2)、查看kerberos人員

  listprincs

  3）、生成keytab文件

  ktadd -k /home/demo/hive.keytab -norandkey [e-mail]

4)、認證用戶

kinit -kt /home/demo/hive.keytab [e-mail]

5)、使用spark-submit提交

  spark-submit --class com.rdc.bdata.compute.ParquetCommonRunner --keytab /home/demo/keytab --principal hive/[e-mail] --master local[2]  ... 其他參數設置。

2、當spark程序部署在CDH第三方機器上時

其他步驟與第一個場景一致，有以下兩個不一致的地方

 1）、需要部署Spark環境

 下載spark客戶端環境並部署

2）、需要下載hive的配置文件，並將文件拷貝到spark環境的conf目錄

在CDH平台上下載hive客戶端配置文件，並將hdfs-site.xml、hive-site.xml、core-site.xml、yarn-site.xml拷貝到spark的conf目錄中

3）、將krb5.conf拷貝到%java_home%/lib/security下面

如果不拷貝會報如下異常：

java.lang.IllegalArgumentException: Can't get Kerberos realm,具體異常的原因為Caused by: KrbException: Cannot locate default realm

解決過程:

1. 問題分析:

   Cannot locate default realm,顧名思義是沒有設置default  realm,kerberos設置default  realm有兩種方式

          (1)通過設置系統屬性,代碼如下

         System.setProperty("java.security.krb5.realm",""); 

         System.setProperty("java.security.krb5.kdc","");

          (2)讀取kerberos配置文件配置,設置default  realm。指定kerberos配置文件邏輯大概如下

1. getJavaFileName()方法:獲取kerberos的配置文件地址：

該方式是通過讀系統屬性java.security.krb5.conf,如果為空的話則以%java_home%/lib/security/krb5.conf為配置文件

        2.getNativeFileName()方法,在不同操作系統去讀邏輯有區別

         在Windows下是通過讀取c:\Windows\krb5.ini路徑,如果該路徑為空的話,則以c:\winnt\krb5.ini為主

         在linux下讀取etc/krb5.conf

      設置kerberos配置文件代碼如下:

package sun.security.krb5;
public class Config {
    private final String defaultRealm;
    private Config() throws KrbException {
        //....省略其他代碼
        this.defaultRealm = getProperty("java.security.krb5.realm");
    if ((this.defaultKDC != null || this.defaultRealm == null) && (this.defaultRealm != null || this.defaultKDC == null)) {
        try {
            String var3 = this.getJavaFileName();
            List var2;
            if (var3 != null) {
                var2 = this.loadConfigFile(var3);
                this.stanzaTable = this.parseStanzaTable(var2);
                if (DEBUG) {
                    System.out.println("Loaded from Java config");
                }
            } else {
                boolean var4 = false;
                if (isMacosLionOrBetter()) {
                    try {
                        this.stanzaTable = SCDynamicStoreConfig.getConfig();
                        if (DEBUG) {
                            System.out.println("Loaded from SCDynamicStoreConfig");
                        }
 
                        var4 = true;
                    } catch (IOException var6) {
                    }
                }
 
                if (!var4) {
                    var3 = this.getNativeFileName();
                    var2 = this.loadConfigFile(var3);
                    this.stanzaTable = this.parseStanzaTable(var2);
                    if (DEBUG) {
                        System.out.println("Loaded from native config");
                    }
                }
            }
        } catch (IOException var7) {
        }
 
    } else {
        throw new KrbException("System property java.security.krb5.kdc and java.security.krb5.realm both must be set or neither must be set.");
    }
}
    private String getJavaFileName() {
        String var1 = getProperty("java.security.krb5.conf");
        if (var1 == null) {
            var1 = getProperty("java.home") + File.separator + "lib" + File.separator + "security" + File.separator + "krb5.conf";
            if (!this.fileExists(var1)) {
                var1 = null;
            }
        }
        
        if (DEBUG) {
            System.out.println("Java config name: " + var1);
        }
        
        return var1;
    }
    //其他代碼省略
}
 

  因為，使用spark-submit之前就需要獲取krb5.conf參數，因此需要使用getJavaFileName()方法：將krb5.conf拷貝到jdk所在的目錄中。