Druid入門（1）—— 快速入門實時分析利器-Druid_0.17

本文轉載自查看原文 2020-02-10 09:05 789 大數據

一、安裝准備

本次安裝的版本是截止2020.1.30最新的版本0.17.0

軟件要求

需要Java 8（8u92 +）以上的版本，否則會有問題
Linux，Mac OS X或其他類似Unix的操作系統（不支持Windows）

硬件要求

Druid包括一組參考配置和用於單機部署的啟動腳本：

nano-quickstart
micro-quickstart
small
medium
large
xlarge

單服務器參考配置

Nano-Quickstart：1個CPU，4GB RAM

啟動命令： bin/start-nano-quickstart
配置目錄： conf/druid/single-server/nano-quickstart

微型快速入門：4個CPU，16GB RAM

啟動命令： bin/start-micro-quickstart
配置目錄： conf/druid/single-server/micro-quickstart

小型：8 CPU，64GB RAM（〜i3.2xlarge）

啟動命令： bin/start-small
配置目錄： conf/druid/single-server/small

中：16 CPU，128GB RAM（〜i3.4xlarge）

啟動命令： bin/start-medium
配置目錄： conf/druid/single-server/medium

大型：32 CPU，256GB RAM（〜i3.8xlarge）

啟動命令： bin/start-large
配置目錄： conf/druid/single-server/large

大型X：64 CPU，512GB RAM（〜i3.16xlarge）

啟動命令： bin/start-xlarge
配置目錄： conf/druid/single-server/xlarge

我們這里做測試使用選擇最低配置即可nano-quickstart

二、下載安裝包

訪問官網：

http://druid.io/現在也會跳轉https://druid.apache.org/

或者直接訪問https://druid.apache.org/

file

點擊download進入下載頁面：

file

選擇最新版本: apache-druid-0.17.0-bin.tar.gz 進行下載

200多M

file

也可以選擇下載源碼包用maven進行編譯

三、安裝

上傳安裝包

在終端中運行以下命令來安裝Druid：

tar -xzf apache-druid-0.17.0-bin.tar.gz
cd apache-druid-0.17.0

安裝包里有這幾個目錄：

file

LICENSE和NOTICE文件
bin/* -腳本
conf/* -單服務器和集群設置的示例配置
extensions/* -擴展
hadoop-dependencies/* -Druid Hadoop依賴
lib/* -Druid庫
quickstart/* -快速入門教程的配置文件，樣本數據和其他文件

配置文件

#進入我們要啟動的配置文件位置：
cd conf/druid/single-server/nano-quickstart/

file

_common 公共配置

file

是druid一些基本的配置，比如元數據庫地址各種路徑等等

其他的是各個節點的配置

比較類似，比如broker

cd broker/

file

jvm配置

main配置

runtime運行時相關的配置

回到主目錄

啟動的conf在

cd conf/supervise/single-server

file

里面是不同配置啟動不同的腳本

四、啟動

回到主目錄

./bin/start-nano-quickstart

啟動成功：

file

訪問

localhost:8888

看到管理頁面

file

如果要修改端口，需要修改配置的端口和主目錄下的

vi bin/verify-default-ports

五、加載數據

Druid提供了一個示例數據文件，其中包含2015年9月12日發生的Wiki的示例數據。

此樣本數據位於quickstart/tutorial/wikiticker-2015-09-12-sampled.json.gz

示例數據大概是這樣：

{
  "timestamp":"2015-09-12T20:03:45.018Z",
  "channel":"#en.wikipedia",
  "namespace":"Main",
  "page":"Spider-Man's powers and equipment",
  "user":"foobar",
  "comment":"/* Artificial web-shooters */",
  "cityName":"New York",
  "regionName":"New York",
  "regionIsoCode":"NY",
  "countryName":"United States",
  "countryIsoCode":"US",
  "isAnonymous":false,
  "isNew":false,
  "isMinor":false,
  "isRobot":false,
  "isUnpatrolled":false,
  "added":99,
  "delta":99,
  "deleted":0,
}

Druid加載數據分為以下幾種：