shell中sparksql語句調試、執行方式

1.命令方式執行sparksql查詢

SQL="use mydatatable;;select count(1) from tab_videousr_onlne where p_regiion=101 and p_date='2017-04-05' and p_hour=21;"

/home/mr/spark/bin/beeline -u jdbc:hive2://localhost:18000 -n mr -p mr --maxwidth=3000 -e "$SQL" >> /home/mr/query_result.txt

注：在執行語句后重定向（>>）生成文件，可以收集查詢結果。

p.s. 也可以通過shell命令手動輸入sql語句：echo -n input the query SQL: ; read SQL;

 

2.腳本方式執行sparksql查詢

su - mr -c "beeline -u jdbc:hive2://localhost:18000/mydatatable -n mr -f /home/1209sparktableupgrade/spark_add_table.sql"