Spark Sql之ThriftServer和Beeline的使用

概述

ThriftServer相當於service層，而ThriftServer通過Beeline
來連接數據庫。客戶端用於連接JDBC的Server的一個工具

步驟

1：啟動metastore服務

./sbin/start-thriftserver.sh

2：連接

[rachel@bigdata-senior01 spark-2.2.0-bin]$ ./bin/beeline Beeline version 1.2.1.spark2 by Apache Hive beeline> !connect jdbc:hive2://192.168.1.11:10000
Connecting to jdbc:hive2://192.168.1.11:10000
Enter username for jdbc:hive2://192.168.1.11:10000: rachel
Enter password for jdbc:hive2://192.168.1.11:10000: ******
18/09/23 11:09:58 INFO Utils: Supplied authorities: 192.168.1.11:10000

3：Spark編譯時版本選擇和Hive的關系

只要保證HDFS\MySQL沒有問題，基本上Spark和Hive集成沒有問題

對於spark2.0以后版本編譯，默認選擇hive的1.2.*之后的版本 hive可以理解為外面封裝了數據服務的代理。 在spark和hive集成，雖然說是1.2，因為hive只提供了一個metastore 只要保證HDFS數據沒有問題，metastore沒有問題，hive中的數據就是沒有問題的

4：連接beeline

0: jdbc:hive2://192.168.1.11:10000> 這類似一個mysql的客戶端。
0: jdbc:hive2://192.168.1.11:10000> select * from rachel.test;
+---------+-----------+--+
| userid  | username  |
+---------+-----------+--+
| 1       | rachel    |
| 2       | allen     |
| 3       | nike      |
| 4       | joy       |
+---------+-----------+--+

5：頁面上查看Job

http://192.168.1.11:4040/jobs/

總結

基於Spark的thirftserver來訪問hive中的數據，可以讓多個客戶端連接到同一個服務器端，跑的是同一個application

Thirftserver作為服務端，beeline作為客戶端來訪問服務端，支持多個客戶端同時訪問，有助於多個客戶端之間數據的共享