一、solrcloud部署
1、下載部署
1)、下載二進制包
#wget http://mirrors.tuna.tsinghua.edu.cn/apache/lucene/solr/8.3.0/solr-8.3.0-src.tgz #下載最新版
2)、解壓
#tar zxvf solr-8.3.0.tgz -C /data1/hadoop/
#mv solr-8.3.0 solr
3)、配置環境變量
修改當前用戶下的bashrc文件 ~/.bashrc, 添加如下配置:
export SOLR_HOME=/data1/hadoop/solr
export PATH=${SOLR_HOME}/bin:$PATH
使用source 讓配置生效
#source ~/.bashrc
注:solrcloud依賴於zookeeper,在部署solrcloud時,需要安裝zookeeper。
2、修改配置
1)、修改/data1/hadoop/solr/bin/solr.in.sh文件
修改屬性如下:
SOLR_JAVA_HOME="/data1/jdk" #jdk SOLR_HEAP="5g" #堆內存,建議2g以上 ZK_HOST="rslog084:2181,rslog085:2181,rslog086:2181/solr" #zookeeper地址 SOLR_HOST="xxx" #solr主機地址,由於是集群模式,這里的地址為當前機器的主機名或者ip,所以拷貝到其他節點時,這個值需要修改 SOLR_HOME=/data1/hadoop/solr/ranger_audit_server #solr家目錄,用於存放數據,索引的跟路徑 SOLR_DATA_HOME=/data1/hadoop/solr/ranger_audit_server/data #數據目錄 SOLR_LOGS_DIR=/data1/hadoop/solr/ranger_audit_server/logs #數據目錄 SOLR_PORT=4051 #端口,默認是8983
注:上述的目錄需要自己手動創建
2)、拷貝配置
上述配置修改完以后,把整個solr目錄拷貝到其他節點
示例 #scp -r /data1/hadoop/solr 遠程主機:/data1/hadoop
記得修改SOLR_HOST的值
3)、在zookeeper生成跟路徑
#solr zk mkroot /solr -z rslog084:2181
用於集合碎片共享配置集
3、啟動solr
在每一台節點都需要啟動,執行如下命令:
#solr start
4、創建集合
#solr create -c ranger_audits -d /data1/hadoop/ranger/ranger-admin/contrib/solr_for_audit_setup/conf/ -s 3 -rf 3
上述參數解析:
create: 創建集合或者core
-c 指定集合名稱
-d 指定server目錄,該目錄為ranger admin的conf目錄,該目錄存放着配置集
-s 指定碎片數量
-rf 指定副本數量
5、web界面查
web界面查看創建的數據集
二、ranger admin 配置
主要是修改install.properties文件,主要修改的屬性如下:
SQL_CONNECTOR_JAR=/usr/share/java/mysql-connector-java.jar db_root_user=root db_root_password=xxx db_host=rslog84 db_name=ranger db_user=root db_password=xxx audit_store=solr audit_solr_urls=http://xxx:4051/solr/ranger_audits audit_solr_user=solr audit_solr_zookeepers=rslog084:2181,rslog085:2181,rslog086:2181/solr audit_solr_collection_name=ranger_audits audit_solr_config_name=ranger_audits audit_solr_no_shards=3 audit_solr_no_replica=3 policymgr_external_url=http://xxx:4052 #以下是配置kerberos,如果沒有集成kerberos,不需要配置下面的信息 spnego_principal=HTTP/rslog084@HADOOP.COM spnego_keytab=/data1/hadoop/ranger/ranger-admin/ranger.keytab token_valid=30 cookie_domain=rslog084 admin_principal=ranger/rslog084@HADOOP.COM admin_keytab=/data1/hadoop/ranger/ranger-admin/ranger.keytab lookup_principal=ranger/rslog084@HADOOP.COM lookup_keytab=/data1/hadoop/ranger/ranger-admin/ranger.keytab hadoop_conf=/data1/hadoop/hadoop/etc/hadoop/conf
上述配置完以后,需要使用setup.sh重新初始化ranger admin
訪問ranger的admin 界面,
如果報錯,報錯信息可能如下:
Error running solr query, please check solr configs. Error from server at http://xxxx:4051/solr/ranger_audits: sort param field can't be found: evtTime
出現這種:基本就是配置文件,或者創建集合指定配置集有問題如。