IDEA maven打jar包在linux hadoop集群上運行

1.在IDEA pom.xml 中添加

<build>
        <plugins>
            <plugin>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>2.3.2</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
            <plugin>
                <artifactId>maven-assembly-plugin </artifactId>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                    <archive>
                        <manifest>
                            <mainClass>com.yy.mr.wordcount.WordcountDriver</mainClass>
                        </manifest>
                    </archive>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

注意：代碼中mainClass需要根據打包的具體類修改

 

2.在IDEA右側欄中選擇Maven Projects，打開Lifecycle文件夾，先點擊compile再點擊package，等待jar包完成。

jar包打完之后打開左側target文件夾，發現有兩個jar包，把無依賴的jar包復制到虛擬機的hadoop文件夾下

 

3.在虛擬機hadoop文件夾下輸入

hadoop far +jar包名稱 +mainClass + 輸入路徑 + 輸出路徑

 

4.打開50070端口，在輸出路徑下載結果，成功