tispark部署步驟


正常在我們的環境使用tidb集群,都默認沒有spark集群的,但之前部署tidb的時候,spark默認已經和系統編譯,下面我們的工作就是搭建spark集群和tikv融合

 

官方是要我們下載tispark,但我們不需要下載:

1.配置文件:

cd /data/tidb/deploy/spark/conf

cat spark-defaults.conf

--------------------------------------

spark.driver.memory 2g
spark.eventLog.enabled False
spark.tispark.grpc.framesize 268435456
spark.tispark.grpc.timeout_in_sec 100
spark.tispark.meta.reload_period_in_sec 60
spark.tispark.request.command.priority Low
spark.tispark.table.scan_concurrency 256

spark.master spark://10.40.21.81:7077

spark.tispark.pd.addresses 10.40.21.81:2379,10.40.21.82:2379,10.40.21.83:2379

--------------------------------------

2.啟動master

 cd /data/tidb/deploy/spark/sbin

sh start-master.sh

3.啟動slave(在tikv上操作,默認工作的節點要和數據節點本地化原則)

cd /data/tidb/deploy/spark/sbin

./start-slave.sh spark://10.40.21.81:7077

至此,tidb+spark集群就搭建完成

 

調整spark使用的系統資源限制可以在下面腳本中調整,然后執行。

spark-env.sh

也可以通過ansible來統一配置管理,但前提是要在ansible環境參數文件中,將spark的信息注冊進去

cat inventory.ini 

[spark_master]
10.40.21.81

[spark_slaves]
10.40.21.83
10.40.21.84
10.40.21.85


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM