0-0 前言

最近和同事做爬蟲，其中我主要遇到的問題是：同事在github上放了爬蟲demo讓我自己去下載，然后自己能搭好環境讓整個項目跑起來去抓51job找工作數據。git上克隆一個項目下來，項目是通過maven管理各種插件jar包，我自己摸索搭環境跑起來。

（1）網頁內容爬取用python2.7來做，爬取主要用的庫有：beautifulsoup4-4.5.1，lxml-3.6.0，stomp.py-4.1.9；均可去官網下載后解壓，在解壓目錄運行steup.py文件即可。

（2）消息隊列中間件用apache-activemq-5.9.1，下載后解壓運行bin\win64\activemq.bat,開啟一個消息隊列mq

（3）其中java處理部分用Intellij IDEA IDE，導入后發現各個依賴均沒有自動下載。Intellij iDEA IDE怎么導入maven工程，選擇file——open——projectName，打開項目，發現各種依賴包都沒有，需要我一個一個的去找再下載，然后放在本地自己安裝的maven項目里面，依賴的包太多，根本找不過來，只能重新想辦法。

用到的技巧是：導入一個maven項目到 IntellijIDAE2016.2，關鍵的一點是選擇open——》pom.xml，會自動下載和導入依賴包文件，而不用手動去一個一個的找。超級方便。如果選項目名稱導入的話需要配置pom.xml

0. 引言

今天想跟大家分享一下我主要的 Java 開發工具，我一般是這樣工作的：用 IDEA 寫代碼，用 Maven 管理 jar 包依賴與項目打包，用 Git 進行代碼版本控制。

關於這三款工具的安裝與配置的過程，本文不作說明，有不太明白的朋友，可以給我留言，我會盡力解答。

下面以開發 Smart 應用為例，描述一下這三款工具的具體使用方法。

1. 使用 Git 下載源碼

首先，在你的磁盤里找個單獨的文件夾來存放 Smart 的所有項目源碼，例如：D:\Project\smart，以下稱為“工作目錄”。

然后，分別通過 git clone 命令下載 Smart Framework 與 Smart Sample 的源碼到本地磁盤上。下載地址如下：

Smart Framwork：http://git.oschina.net/huangyong/smart-framework
Smart Sample：http://git.oschina.net/huangyong/smart-sample
Smart Cache：http://git.oschina.net/huangyong/smart-plugin-cache

例如：使用 git clone http://git.oschina.net/huangyong/smart-framework 命令，下載 Smart Framework 項目源碼。

執行完以上三條 git clone 命令后，你的工作目錄中應該會看到這三個子目錄：smart-framework、smart-sample、smart-plugin-cache。

2. 編寫 Maven 項目配置文件

此時，你可以在工作目錄里（也就是在以上三個項目目錄的同級）編寫一個 Maven 項目配置文件（作為根配置文件），同樣需要命名為 pom.xml，用它來組織這三個項目。代碼如下：

<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
         http://maven.apache.org/xsd/maven-4.0.0.xsd">

    <modelVersion>4.0.0</modelVersion>

    <groupId>smart</groupId>
    <artifactId>smart</artifactId>
    <version>1.0</version>
    <packaging>pom</packaging>

    <modules>
        <module>smart-framework</module>
        <module>smart-sample</module>
        <module>smart-plugin-cache</module>
    </modules>

</project>