通過HQL語句
可以將hive 中表的數據生成到指定的目錄。
有時候 我們可以利用hive來生成統計的中間文件(比源文件小的多的)
方法有如下2種:
1.INSERT OVERWRITE LOCAL DIRECTORY
將結果輸出到指定的目錄:
生成的文件數 和redurcer的數目的一樣的
在hive下面執行
INSERT OVERWRITE LOCAL DIRECTORY '/hive_dat/package_name'
select package_name,count(1) from app_list group by package_name;
2.直接查詢生成結果文件:
在linux下面執行:(也支持后台運行 如果執行時間比較長的話)
hive -S -e"select package_name,count(1) from app_list group by package_name;"> grp_app_id.dat
這個只生成一個文件 並且輸出的文件里面的列 是以空格隔開的。
