環境搭建 Hadoop+Hive(orcfile格式)+Presto實現大數據存儲查詢一

本文轉載自查看原文 2016-11-25 17:27 12145 MongoDB

一、前言

Hadoop簡介

Hadoop就是一個實現了Google雲計算系統的開源系統，包括並行計算模型Map/Reduce，分布式文件系統HDFS，以及分布式數據庫Hbase，同時Hadoop的相關項目也很豐富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase，Mahout，flume等.接下來我們使用的是Hive

Hive簡介

Hive 是一個基於 Hadoop的開源數據倉庫工具，用於存儲和處理海量結構化數據。它把海量數據存儲於 hadoop 文件系統，而不是數據庫，但提供了一套類數據庫的數據存儲和處理機制，並采用 HQL （類 SQL ）語言對這些數據進行自動化管理和處理。我們可以把 Hive 中海量結構化數據看成一個個的表，而實際上這些數據是分布式存儲在 HDFS 中的。 Hive 經過對語句進行解析和轉換，最終生成一系列基於 hadoop 的 map/reduce 任務，通過執行這些任務完成數據處理。

Presto簡介

Presto是一個開源的分布式SQL查詢引擎，適用於交互式分析查詢，數據量支持GB到PB字節。Presto的設計和編寫完全是為了解決像Facebook這樣規模的商業數據倉庫的交互式分析和處理速度的問題。Presto支持在線數據查詢，包括Hive, Cassandra, 關系數據庫以及專有數據存儲。一條Presto查詢可以將多個數據源的數據進行合並，可以跨越整個組織進行分析。

二、環境准備

Hadoop2.X

apache-hive-2.1.0

presto-server-0.156.tar.gz

Mysql5.7

三、速度測試

四、本機服務器准備

　　虛擬機使用linux的centos

　　Hadoop 192.168.209.142,192.168.209.140

　　hive 192.168.209.140

　　presto 192.168.209.140

　　mysql 10.0.0.7

五、環境搭建

　　1.Hadoop環境搭建<略>

　　2.Hive環境搭建

　　解壓Hive文件

　　[root@HDP134 ~]# tar -zxvf /home/hive/apache-hive-2.1.0-bin.tar.gz

　　配置hive

　　[root@HDP134 ~]# vi /etc/profile

　　因為HIVE用到了Hadoop需要在最下邊加上hadoop和Hive的路徑

　　#Hadoop

　　export HADOOP_INSTALL=/opt/hadoop

　　export PATH=$PATH:$HADOOP_INSTALL/bin

　　export HADOOP_HOME=$HADOOP_INSTALL

　　#Hive

　　export HIVE_HOME=/home/hive/apache-hive-2.1.0-bin

　　export PATH=$PATH:$HIVE_HOME/bin

　　保存退出之后進入配置文件，復制並生命名hive-env.sh,hive-site.xml

　　[root@HDP134 ~]# cd /home/hive/apache-hive-2.1.0-bin/conf

　　[root@HDP134 ~]# cp hive-env.sh.template hive-env.sh

　　[root@HDP134 ~]# cp hive-default.xml.template hive-site.xml

　　配置hive-site.xml

　　替換hive-site.xml文件中的 ${system:java.io.tmpdir} 和 ${system:user.name}

　　默認情況下, Hive的元數據保存在了內嵌的 derby 數據庫里, 但一般情況下生產環境使用 MySQL 來存放 Hive 元數據。

　　繼續修改Hive-site.xml配置Mysql

<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>hive</value> </property>