以下是我搭建HBase開發環境的一些心得(windows10)
0.安裝JDK和eclipse和一個可用的HBase。
這步是最基礎的,在此就不贅述了
1.創建一個java項目:
基礎問題,不贅述。
2.導入需要的jar包
官網下載對應的二進制包,將lib文件下的jar包導入(右鍵--> build path -->Libraries -->Add External JARs --> 選擇lib目錄下的文件)
注意:如果jar文件有所缺失會在項目的圖標下有個紅色的感嘆號,但是找了半天並沒有找到缺失了什么jar包,還好官網的lib是齊全的,有時間研究下eclipse這個工具的使用。
3.導入配置文件
在項目的根目錄下新建conf文件夾,從生產環境(可用的hbase,一般在hbase下的conf中)拷貝hbase-site.xml到該文件夾,右鍵configure build path --> Libraries --> Add Class Folder -->選擇新建的conf文件夾
4.log4j配置文件:
.在項目的根目錄下創建log4j.properties文件,里面寫入:
========================分割線==================================
log4j.rootLogger=WARN, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.append5r.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
========================分割線==================================
有時間可以查查這個log4j追加器
追加器的目的只是為了,讓你的異常或者錯誤的調試信息顯示出來。
5.補充winutils.exe文件
還有個winutils.exe文件也很重要如果缺失,也會導致報錯。
通過搜索資料得知有兩種辦法:
但是都要首先下載:
https://github.com/srccodes/hadoop-common-2.2.0-bin
這里的軟件包解壓出來
一種是在windows中的環境變量設置HADOOP_HOME
但是這種方式,我照着做了並沒有成功
所以使用了第二種方法:在程序中設置,代碼如下(在main方法的開始添加即可):
System.setProperty("hadoop.home.dir", "D:\\Data\\workspace2\\hadoop-common-2.2.0-bin-master");
其中的D:\\Data\\workspace2\\hadoop-common-2.2.0-bin-master為我下載后的解壓路徑,注意這里的路徑要用\\,要不然會報錯。
6.其他
以上的四步是解析conf/下面的xml文件來獲取到HBase集群的地址和端口。
據說還有一種直接設置靜態的值方式,暫時沒有成功。
7.最后
接下就可以研究下非環境搭建的問題了。
暫時先記下這么多,以后有時間再來,補充和完善。