TPC-H數據導入Hive方案

參考博文：

https://blog.csdn.net/haoxiaoyan/article/details/53033870    -->在這篇博文中，前面步驟對我有很大幫助，但后面將tpc-h生成的數據導入到hive的步驟，我沒用看懂，我會在后面介紹另外一種方案導入數據。

https://github.com/maomao1994/TPC-H/blob/master/Hive-HiveQL/Hive-HiveQL.md    -->我使用了該作者提供的源代碼，實現了往hive中導入tpc-h測試集數據。

https://www.ibm.com/support/knowledgecenter/STXKQY_BDA_SHR/bl1bda_tpch.htm    -->ibm介紹的關於將tpch數據導入hive方案。

使用系統：centos 7

 

 

正文：

1：下載TPC-H源碼，用來生成測試數據：

      地址：http://www.tpc.org/tpc_documents_current_versions/current_specifications.asp  -->選擇下載tpc-h那欄.zip格式的文件。

 

2：將下載好的.zip文件解壓到一個文件夾下：

      最好將該解壓文件夾放到一個存儲空間大的文件夾下，別放在根目錄下。我起初放在了一個小文件夾下，最后生成測試集數據后，啟動hive報錯。

      錯誤類型如下，最后更改了存放位置，就OK啦。

    Resources are low on NN. Please add or free up more resources then turn off safe mode manually.

 

 

3：進入該解壓文件夾下，進入dbgen目錄：(我的文件夾名字為：tpc-h，解壓到了home目錄下)

    cd /home/tpc-h/dbgen

       找到一個名字叫makefile.suite的文件，用vim打開並修改：

    vi makefile.suite

       在makefile.suite文件里找到對應行，更改為如下形式：

     CC      = gcc

     # Current values for DATABASE are: INFORMIX, DB2, TDAT (Teradata)  

     #                                  SQLSERVER, SYBASE  

     # Current values for MACHINE are:  ATT, DOS, HP, IBM, ICL, MVS, 

     #                                  SGI, SUN, U2200, VMS, LINUX, WIN32   

     # Current values for WORKLOAD are:  TPCH 

     DATABASE= SQLSERVER  

     MACHINE = LINUX  

     WORKLOAD = TPCH

      更改完畢，保存文件。在當前目錄下，更改makefile.suite文件為makefile.代碼如下：(目的是為了后面使用make命令)

     mv  makefile.suite  makefile

     檢查你的系統是否含有gcc編譯器，若沒有，則需要安裝。代碼如下：

     yum install gcc

 

4：修改dbgen文件夾下的tpcd.h文件：

     vi tpcd.h

 在該文件里，找到SQLSERVER段落，修改為下面內容：

     #ifdef  SQLSERVER
     #define GEN_QUERY_PLAN        "EXPLAIN;"
     #define START_TRAN                "START TRANSACTION;\n"
     #define END_TRAN                "COMMIT;\n"
     #define SET_OUTPUT                ""
     #define SET_ROWCOUNT                "limit %d;\n"
     #define SET_DBASE                "use %s;\n"
     #endif

 

 5：執行make命令，鍵入如下代碼：

     make

 對，在命令行輸入make四個字母就可以了，接着會出現很多.o格式的文件。

 

6：鍵入如下代碼，生成測試集數據（要在dbgen目錄下執行）：

    ./dbgen -s 1

 代碼解釋：-s為數據規模因子，1代表1G，如果改為10就表示10G。看你要多少。執行完畢后你會發現在當前目錄下，出現了8個.tbl文件。這就是生成的數據。

 

7：將tpc-h數據導入hive：

     7.1 輸入如下命令，啟動hive：（下面的命令均在hive里進行）   

    hive

 

    7.2 先創建一個數據庫：

    CREATE DATABASE tpch;

         
          然后使用該數據庫：

    USE tpch;

 

    7.3 創建8張數據表，名字和我們之前生成的8個.tbl文件的名字保持相同。代碼如下：(代碼來自於參考博文之第2篇)

 

   Create external table lineitem (L_ORDERKEY INT, L_PARTKEY INT,L_SUPPKEY INT,L_LINENUMBER INT,L_QUANTITY DOUBLE,L_EXTENDEDPRICE DOUBLE,L_DISCOUNT DOUBLE,L_TAX DOUBLE,L_RETURNFLAG STRING,L_LINESTATUS STRING,L_SHIPDATE STRING,L_COMMITDATE STRING,L_RECEIPTDATE STRING,L_SHIPINSTRUCT STRING,L_SHIPMODE STRING,L_COMMENT STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION '/tpch/lineitem';

   Create external table nation (N_NATIONKEY INT,N_NAME STRING,N_REGIONKEY INT,N_COMMENT STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION '/tpch/nation';

   Create external table region (R_REGIONKEY INT,R_NAME STRING,R_COMMENT STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION '/tpch/region';

   Create external table part (P_PARTKEY INT , P_NAME STRING , P_MFGR STRING, P_BRAND  STRING, P_TYPE STRING , P_SIZE INT , P_CONTAINER  STRING, P_RETAILPRICE DOUBLE, P_COMMENT STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION '/tpch/part';

   Create external table supplier (S_SUPPKEY INT , S_NAME STRING ,S_ADDRESS STRING , S_NATIONKEY  INT , S_PHONE  STRING, S_ACCTBAL DOUBLE, S_COMMENT STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION '/tpch/supplier';

   Create external table partsupp (PS_PARTKEY INT , PS_SUPPKEY INT , PS_AVAILQTY INT , PS_SUPPLYCOST DOUBLE, PS_COMMENT STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION '/tpch/partsupp';

   Create external table customer (C_CUSTKEY INT , C_NAME STRING , C_ADDRESS STRING , C_NATIONKEY  INT , C_PHONE  STRING , C_ACCTBAL DOUBLE , C_MKTSEGMENT STRING , C_COMMENT STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION '/tpch/customer';

   Create external table orders (O_ORDERKEY INT , O_CUSTKEY INT ,O_ORDERSTATUS STRING,O_TOTALPRICE DOUBLE, O_ORDERDATE DATE , O_ORDERPRIORITY STRING, O_CLERK  STRING,  O_SHIPPRIORITY  INT ,  O_COMMENT STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION '/tpch/orders';

 

     7.4 將數據導入hive，代碼如下：(下面 /home/mao/tpch_workplace/tpc_h_tool，應替換你測試集所在的實際地址)

   LOAD DATA LOCAL INPATH '/home/mao/tpch_workplace/tpc_h_tool/dbgen/region.tbl' INTO TABLE region;
   LOAD DATA LOCAL INPATH '/home/mao/tpch_workplace/tpc_h_tool/dbgen/nation.tbl' INTO TABLE nation;
   LOAD DATA LOCAL INPATH '/home/mao/tpch_workplace/tpc_h_tool/dbgen/part.tbl'   INTO TABLE part;
   LOAD DATA LOCAL INPATH '/home/mao/tpch_workplace/tpc_h_tool/dbgen/supplier.tbl' INTO TABLE supplier;
   LOAD DATA LOCAL INPATH '/home/mao/tpch_workplace/tpc_h_tool/dbgen/partsupp.tbl' INTO TABLE partsupp;
   LOAD DATA LOCAL INPATH '/home/mao/tpch_workplace/tpc_h_tool/dbgen/customer.tbl' INTO TABLE customer;
   LOAD DATA LOCAL INPATH '/home/mao/tpch_workplace/tpc_h_tool/dbgen/orders.tbl' INTO TABLE orders;
   LOAD DATA LOCAL INPATH '/home/mao/tpch_workplace/tpc_h_tool/dbgen/lineitem.tbl' INTO TABLE lineitem;

 

     7.5 完畢，可以使用SQL查詢語句，看數據表中是否有數據。導入過程耗時：10G數據大概6分鍾。

     7.6 除了這種導入數據的方案，還有其他幾種方案，移步文章開頭介紹的參考博文：第一篇博文和第三篇博文。