碼上快樂

相關內容    簡體    繁體

VSCode：VSCode+Maven+Hadoop開發環境搭建

本文轉載自   查看原文   2021-12-08 22:31   2703    Maven/ Java/ Linux&Tools/ Hadoop/ VScode

在Maven插件的幫助下，VSCode寫Java其實非常方便。這一講我們介紹如何借助maven用VScode搭建Hadoop開發環境。

1.Java環境安裝

首先我們需要搭建好Java開發環境。我們需要從網站 https://www.oracle.com/java/technologies/downloads/ 下載指定版本的Java壓縮包或安裝包。壓縮包需要解壓到機器的指定目錄，安裝包直接傻瓜式安裝即可。我這里下載的是Java17的MacOS安裝包，運行后它默認給我安裝在了/Library/Java/JavaVirtualMachines/temurin-17.jdk/目錄下。

然后配置環境變量，Mac用戶在~/.zshrc中添加：

export JAVA_HOME=/Library/Java/JavaVirtualMachines/temurin-17.jdk/Contents/Home

然后source ~/.zshrc即可（Linux用戶我沒記錯的話應該是~/.bashrc文件）。

可以運行java -version命令查看當前機器的Java版本。

(base) lonelyprince7@lonelyprince7deMacBook-Pro ~ % java -version
openjdk version "17" 2021-09-14
OpenJDK Runtime Environment Temurin-17+35 (build 17+35)
OpenJDK 64-Bit Server VM Temurin-17+35 (build 17+35, mixed mode)

然后讀者需要在VSCode中安裝以下Java插件：
NLP多任務學習
其中需要注意，Maven for Java插件是用來構建Java大型項目的（也就是說不只是使用JRE內部的包，而且使用外包的JDK包。內部的包用java命令編譯的時候就會自動幫我們導入，但外部的包要稍微復雜一些,最簡單的方式就是使用maven工具了）。

安裝Maven

如果你是Mac系統且安裝了homebrew，可以直接下列命令運行安裝

brew install maven

你也可以前往Maven官網 https://maven.apache.org/download.cgi 下載並解壓到自定義目錄。

安裝完后記得配置環境變量：

export M2_HOME=/opt/homebrew/Cellar/maven/3.8.2/libexec
export PATH=${PATH}:${M2_HOME}/bin

此處/opt/homebrew/Cellar/maven/3.8.2/libexec是我的maven安裝位置，修改成你實際的自定義目錄即可。
然后source ~/.zshrc即可（同樣，Linux用戶應該是~/.bashrc文件）。

運行mvn -version可以查看maven版本。

(base) orion-orion@MacBook-Pro libexec % mvn -version
Apache Maven 3.8.2 (3599d3414f046de2324203b78ddcf9b5e4388aa0)
Maven home: /opt/homebrew/Cellar/maven/3.8.2/libexec
Java version: temurin-17, vendor: Oracle Corporation, runtime: /Library/Java/JavaVirtualMachines/temurin-17.jdk/Contents/Home
Default locale: zh_CN_#Hans, platform encoding: UTF-8
OS name: "mac os x", version: "12.3.1", arch: "aarch64", family: "mac"

3.新建Maven項目

首先，用VSCode打開一個存放用於項目的目錄（在我電腦上是 "/Users/lonelyprince7/Documents/LocalCode/Hadoop-MapReduce" ），然后在右鍵菜單中選擇從Maven原型中創建新項目。

NLP多任務學習

然后從下拉選單中選擇“maven-archetype-quickstart”。

NLP多任務學習

然后隨便選擇一個版本即可。

NLP多任務學習 然后再輸入組織的名稱（該名稱在將你的項目打包發布有用）。組織名稱一般命名為`com.×××`，這里我命名為`com.orion`。注意組織名稱只能由小寫字符和下換線組成，不能包括大寫字符和空格之類的東西。 NLP多任務學習 接下來輸入工程（archetype）的名稱，這里我們命名為"hello_world"即可。 NLP多任務學習

然后我們的工程目錄就選擇 "/Users/lonelyprince7/Documents/LocalCode/Hadoop-MapReduce" 就行。

NLP多任務學習

之后VSCode會提示是否跳轉到"hello_world"工程的目錄，選擇“是”，然后就退跳轉到該目錄。
進入該目錄后，我們會發現控制台正在初始化Maven配置，有以下打印輸出:
NLP多任務學習
其中，會跳出一些選項讓我們選擇，我們只需要全部按回車選擇默認值即可。
NLP多任務學習
最后，我們看到項目"hello_world"成功創建，項目目錄如下：
NLP多任務學習

3.進行測試

我們可以看到App.java已經為我們生成，為如下內容:

package com.orion;

/**
 * Hello world!
 *
 */
public class App 
{
    public static void main( String[] args )
    {
        System.out.println( "Hello World!" );
    }
}

pom.xml只引入了最基本的junit依賴包，並配置了一些基本的Maven項目初始化的內容：

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.orion</groupId>
  <artifactId>hello_world</artifactId>
  <version>1.0-SNAPSHOT</version>

  <name>hello_world</name>
  <!-- FIXME change it to the project's website -->
  <url>http://www.example.com</url>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.7</maven.compiler.source>
    <maven.compiler.target>1.7</maven.compiler.target>
  </properties>

  <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.11</version>
      <scope>test</scope>
    </dependency>
  </dependencies>

  <build>
    <pluginManagement><!-- lock down plugins versions to avoid using Maven defaults (may be moved to parent pom) -->
      <plugins>
        <!-- clean lifecycle, see https://maven.apache.org/ref/current/maven-core/lifecycles.html#clean_Lifecycle -->
        <plugin>
          <artifactId>maven-clean-plugin</artifactId>
          <version>3.1.0</version>
        </plugin>
        <!-- default lifecycle, jar packaging: see https://maven.apache.org/ref/current/maven-core/default-bindings.html#Plugin_bindings_for_jar_packaging -->
        <plugin>
          <artifactId>maven-resources-plugin</artifactId>
          <version>3.0.2</version>
        </plugin>
        <plugin>
          <artifactId>maven-compiler-plugin</artifactId>
          <version>3.8.0</version>
        </plugin>
        <plugin>
          <artifactId>maven-surefire-plugin</artifactId>
          <version>2.22.1</version>
        </plugin>
        <plugin>
          <artifactId>maven-jar-plugin</artifactId>
          <version>3.0.2</version>
        </plugin>
        <plugin>
          <artifactId>maven-install-plugin</artifactId>
          <version>2.5.2</version>
        </plugin>
        <plugin>
          <artifactId>maven-deploy-plugin</artifactId>
          <version>2.8.2</version>
        </plugin>
        <!-- site lifecycle, see https://maven.apache.org/ref/current/maven-core/lifecycles.html#site_Lifecycle -->
        <plugin>
          <artifactId>maven-site-plugin</artifactId>
          <version>3.7.1</version>
        </plugin>
        <plugin>
          <artifactId>maven-project-info-reports-plugin</artifactId>
          <version>3.0.0</version>
        </plugin>
      </plugins>
    </pluginManagement>
  </build>
</project>

選中App.java文件按F5進行編譯並運行，看到控制台成功打印Hello World!：

(base) lonelyprince7@lonelyprince7deMacBook-Pro hello_world %  /usr/bin/env /Library/Java/JavaVirtualMachines/temurin-17.jdk/Contents/Home/bin/java -agentlib:jdwp=transport=dt_socket,server=n,suspend=y,address=localhost:50684 -XX:+ShowCodeDetailsInExceptionMessages -cp /Users/lonelyprince7/Documents/LocalCode/Hadoop-MapReduce/hello_world/target/classes com.orion.App 
Hello World!

我們接下來試試用Maven導入Hadoop依賴。我們只需要在pom.xml依賴項就行。相關的依賴項的名稱和版本號我們可以在Maven倉庫的官網 https://mvnrepository.com/ 進行查詢，比如我們可以查詢到Hadoop-common(3.3.1)版本的依賴項如下：

NLP多任務學習

一般來說，Hadoop項目需要引入hadoop-common、hadoop-hdfs、hadoop-client、hadoop-yarn-api這幾個api，我們需要將下列標簽加入<dependencies> <dependencies/>之間，也即：

<dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.11</version>
      <scope>test</scope>
    </dependency>
    <!-- 導入hadoop依賴環境 -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>3.3.1</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>3.3.1</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>3.3.1</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>3.3.1</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-yarn-api</artifactId>
        <version>3.3.1</version>
    </dependency>
  </dependencies>

但是聰明的逆可能已經注意到了，這樣版本號就完全屬於“硬編碼”了。后期我要修改hadoop的版本號，只能把上面的挨個修改，非常麻煩。好在我們在<properties></properties>標簽之間先集中定義好一些后面要使用的常量(比如版本號)，后面再使用${變量名}的形式來引用即可。如我們將hadoop的版本號hadoop.version追加到<properties></properties>標簽之間：

  <!-- 集中定義版本號 -->
  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.7</maven.compiler.source>
    <maven.compiler.target>1.7</maven.compiler.target>
    <hadoop.version>3.3.1</hadoop.version> <!--這里追加hadoop版本號-->
  </properties>

然后后面我們就可以使用${hadoop.version}來替代前面頻繁出現的3.3.1了。
最后給出我們完整的pom.xml文件:

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.orion</groupId>
  <artifactId>hello_world</artifactId>
  <version>1.0-SNAPSHOT</version>

  <name>hello_world</name>
  <!-- FIXME change it to the project's website -->
  <url>http://www.example.com</url>

  <!-- 集中定義版本號 -->
  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.7</maven.compiler.source>
    <maven.compiler.target>1.7</maven.compiler.target>
    <hadoop.version>3.3.1</hadoop.version> <!--這里追加hadoop版本號-->
  </properties>

  <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.11</version>
      <scope>test</scope>
    </dependency>
 <!-- 導入hadoop依賴環境 -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-yarn-api</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
  </dependencies>
  </dependencies>

  <build>
    <pluginManagement><!-- lock down plugins versions to avoid using Maven defaults (may be moved to parent pom) -->
      <plugins>
        <!-- clean lifecycle, see https://maven.apache.org/ref/current/maven-core/lifecycles.html#clean_Lifecycle -->
        <plugin>
          <artifactId>maven-clean-plugin</artifactId>
          <version>3.1.0</version>
        </plugin>
        <!-- default lifecycle, jar packaging: see https://maven.apache.org/ref/current/maven-core/default-bindings.html#Plugin_bindings_for_jar_packaging -->
        <plugin>
          <artifactId>maven-resources-plugin</artifactId>
          <version>3.0.2</version>
        </plugin>
        <plugin>
          <artifactId>maven-compiler-plugin</artifactId>
          <version>3.8.0</version>
        </plugin>
        <plugin>
          <artifactId>maven-surefire-plugin</artifactId>
          <version>2.22.1</version>
        </plugin>
        <plugin>
          <artifactId>maven-jar-plugin</artifactId>
          <version>3.0.2</version>
        </plugin>
        <plugin>
          <artifactId>maven-install-plugin</artifactId>
          <version>2.5.2</version>
        </plugin>
        <plugin>
          <artifactId>maven-deploy-plugin</artifactId>
          <version>2.8.2</version>
        </plugin>
        <!-- site lifecycle, see https://maven.apache.org/ref/current/maven-core/lifecycles.html#site_Lifecycle -->
        <plugin>
          <artifactId>maven-site-plugin</artifactId>
          <version>3.7.1</version>
        </plugin>
        <plugin>
          <artifactId>maven-project-info-reports-plugin</artifactId>
          <version>3.0.0</version>
        </plugin>
      </plugins>
    </pluginManagement>
  </build>s
</project>

按ctrl/command+s保存，項目會對pom.xml重新解析，導入我們添加進入的包。

最后我們嘗試在App.java中導入hadoop相關的包：

package com.orion;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
/**
 * Hello world!
 *
 */
public class App 
{
    public static void main( String[] args )
    {
        System.out.println( "Hello World!" );
    }
}

按'F5'重新編譯運行，成功打印輸出Hello World!，說明我們的包導入成功。

(base) lonelyprince7@lonelyprince7deMacBook-Pro hello_world %  /usr/bin/env /Library/Java/JavaVirtualMachines/temurin-17.jdk/Contents/Home/bin/java -agentlib:jdwp=transport=dt_socket,server=n,suspend=y,address=localhost:54181 --enable-preview -XX:+ShowCodeDetailsInExceptionMessages -cp "/Users/lonelyprince7/Library/Application Support/Code/User/workspaceStorage/fe34994f622cdbfbf60e8ed045c6bde3/redhat.java/jdt_ws/jdt.ls-java-project/bin" com.orion.App 
Hello World!

注意，如果報錯org.apache.hadoop.fs.FileSystem cant be resolved這種錯誤，則需要先清空項目緩存，然后再重新編譯運行。

至此，我們已經成功用VScode+Maven創建好一個Hadoop的開發環境。在Hadoop編程中，最基本的一種分布式編程范式即MapReduce編程。在后面我們會借由“WordCount”（詞頻統計）這個MapReduce編程的入門項來講解Hadoop中MapReduce編程的基本語法，敬請繼續關注。


免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。



猜您在找 Maven搭建Hadoop開發環境 Maven開發環境搭建 Maven構建Hadoop開發環境 Hadoop Eclipse開發環境搭建 hadoop搭建與eclipse開發環境設置 搭建基於MyEclipse的Hadoop開發環境 在Eclipse下搭建Hadoop開發環境 搭建hadoop java開發環境 VSCode搭建java開發環境 搭建 Erlang + VScode 開發環境
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM