spark——通過jdbc連接數據庫中遇到的問題


官網下載MySQL的JDBC驅動時,發現下載下來的對應的安裝包與之前用的不同,是dbd格式的(mysql-connector-java_8.0.19-1ubuntu16.04_all.deb),上網搜索了好多不同的方法才最終將其解壓,找到對應的驅動。

一、deb、rpm、tar.gz三種不同linux安裝包下的區別

rpm包-在紅帽LINUX、SUSE、Fedora可以直接進行安裝,但在Ubuntu中卻無法識別;

deb包-是Ubuntu的專利,在Ubuntu中雙擊deb包就可以進入自動安裝進程;

tar.gz包-在所有的Linux版本中都能使用,但安裝過程也最麻煩,要先解壓縮,然后在“終端”里用cd命令進入剛才解壓的目錄,再找到安裝鏈接文件安裝。

詳細的區別,請參考Linux下軟件包的分類及deb、rpm、tar.gz的區別

二、安裝deb格式的包

1.雙擊deb的包,出現如下界面,安裝即可。(但是我點擊安裝之后,並沒有安裝成功,搞不清狀況)

2.使用命令:dpkg -i 安裝包名字

但是,我弄了之后,也沒有安裝成功,出現的情況如下:

hadoop@hadoop-virtual-machine:/usr/local/spark/jars$ sudo dpkg -i mysql-connector-java_8.0.19-1ubuntu16.04_all.deb
[sudo] hadoop 的密碼:
正在選中未選擇的軟件包 mysql-connector-java。
(正在讀取數據庫 ... 系統當前共安裝有 209954 個文件和目錄。)
正准備解包 mysql-connector-java_8.0.19-1ubuntu16.04_all.deb ...
正在解包 mysql-connector-java (8.0.19-1ubuntu16.04) ...
正在設置 mysql-connector-java (8.0.19-1ubuntu16.04) ...

再使用第一步沒有安成的情況下,不能直接進行這一步,會出現如下情況。

dpkg:錯誤:另外一個進程已經為 dpkg 狀態數據庫 加鎖

解決情況如下,我是重啟的系統解決的,參考博客(Ubuntu安裝deb時錯誤:“dpkg:錯誤:另外一個進程已經為 dpkg 狀態數據庫 加鎖”解決):

以下方式任選一個即可:

1、重啟系統

2、執行(這種方式不要嘗試,系統很容易掛)

sudo rm /var/lib/dpkg/lock

然后執行修復

sudo dpkg --configure -a

3.使用命令:dpkg -L 安裝包名字(不能帶版本信息,否則也會出錯)

這是看了簡書一篇文章10.4 burnside polya hive之后解決的,出現代碼如下

hadoop@hadoop-virtual-machine:~/下載$ dpkg -L mysql-connector-java_8.0.19-1ubuntu16.04_all.deb
dpkg-query: 軟件包 mysql-connector-java_8.0.19-1ubuntu16.04_all.deb 沒有被安裝
使用 dpkg --info (= dpkg-deb --info) 來檢測打包好的文件,
還可以通過 dpkg --contents (= dpkg-deb --contents) 來列出它們的內容。
hadoop@hadoop-virtual-machine:~/下載$ mysql-connector-java
mysql-connector-java:未找到命令
hadoop@hadoop-virtual-machine:~/下載$  dpkg -L mysql-connector-java
/.
/usr
/usr/share
/usr/share/java
/usr/share/java/mysql-connector-java-8.0.19.jar
/usr/share/doc
/usr/share/doc/mysql-connector-java
/usr/share/doc/mysql-connector-java/copyright
/usr/share/doc/mysql-connector-java/INFO_SRC
/usr/share/doc/mysql-connector-java/INFO_BIN
/usr/share/doc/mysql-connector-java/LICENSE.gz
/usr/share/doc/mysql-connector-java/README
/usr/share/doc/mysql-connector-java/CHANGES.gz
/usr/share/doc/mysql-connector-java/changelog.Debian.gz

然后在java文件夾中找到我想要的jar文件,放入spark文件夾下的jars文件夾中。

之后進行后續操作連接成功。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM