【原創】Hadoop配置詳解


  1. 作業配置

mapred.job.name

作業名

mapred.job.priority

作業優先級

mapred.job.map.capacity

最多同時運行map任務數

mapred.job.reduce.capacity

最多同時運行reduce任務數

hadoop.job.ugi

作業執行權限

mapred.map.tasks

map任務個數

mapred.reduce.tasks

reduce任務個數

mapred.job.groups

作業可運行的計算節點分組

mapred.task.timeout

任務沒有響應(輸入輸出)的最大時間

mapred.compress.map.output

map的輸出是否壓縮

mapred.map.output.compression.codec

map的輸出壓縮方式

mapred.output.compress

reduce的輸出是否壓縮

mapred.output.compression.codec

reduce的輸出壓縮方式

stream.map.output.field.separator

map輸出分隔符


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM