安裝Hadoop系列 — 導入Hadoop源碼項目


將Hadoop源碼導入Eclipse有個最大好處就是通過 "ctrl + shift + r" 可以快速打開Hadoop源碼文件。

第一步:在Eclipse新建一個Java項目,hadoop-1.0.3

第二步:將Hadoop程序src下core, hdfs, mapred, tools幾個目錄copy到上述新建項目的src目錄

第三步:修改將Java Build Path,刪除src,添加src/core, src/hdfs....幾個源碼目錄

第四步:為Java Build Path添加項目依賴jar,可以導入Hadoop程序的lib下所有jar包(hadoop-1.0.3目錄下的jar文件,lib子目錄下的jar文件),還有要下載的ant.jar也要導入。 

第五步:理論上第四步就OK了,但是會報大量如下錯誤:

Access restriction: The method arrayBaseOffset(Class) from the type Unsafe is not accessible due to restriction on required library C:\Program Files\JDK\jre\lib\rt.jar xxx.java xxxx line 141 Java Problem

解決辦法是:右鍵項目“propertiyes” > "Java Build Path" > "Libraries",展開"JRE System Library",雙擊"Access rules",點擊"Add"按鈕,在"Resolution"下拉框選擇"Accessible","Rule Pattern"填寫"**/*",保存后就OK了。

 =============================================================================

--heipark

首先我們需要對hadoop解壓包的目錄結構有個大概了解,解壓下載的hadoop1.0.4版本壓縮包到文件系統,目錄如下:

Eclipse導入Hadoop源碼項目 - wocclyl - 魚粉的博客--營養健康

bin: 此目錄下為進行hadoop配置、運行以及管理的shell命令集合

c++:此目錄下為linux下amd64-64位系統以及i386-32位系統提供的庫文件集合

conf:此目錄下為運行與配置hadoop環境需要的配置文件以及示例文件集合,實際運行時可以對照此目錄下的文件結構進行相應的配置

contrib:此目錄下針對hadoop運行過程中需要特殊強化的模塊進行了模塊化封裝,此為其發布包以及相應的配置文件

docs:此目錄下包含對於hadoop運行配置的基本文檔,包括html和pdf兩種格式

ivy:此目錄下包含編譯hadoop的ivy編譯工具的腳本和配置文件

lib:此目錄下包含編譯以及運行hadoop環境必須的其他模塊jar包集合

libexec:檢查配置所有運行hadoop所需的腳本文件

logs: 日志文件夾

mapred:

sbin:此目錄下包含創建hadoop運行環境中所需系統級功能的腳本文件

share:此目錄下包括整個項目各個模塊共有的配置文件

src:hadoop源碼

webapps:發布包中的示例程序

build.xml:編譯工程所需的ant配置文件

CHANGES.txt:新版本針對上一版本的更新點

hadoop-ant-1.0.0.jar

hadoop-core-1.0.0.jar

hadoop-examples-1.0.0.jar

hadoop-test-1.0.0.jar

hadoop-tools-1.0.0.jar

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM