1. 環境
| Hadoop | Sqoop | awsEMR |
| 2.8.5 | 1.4.7 | 5.26.0 |
2.錯誤描述
在使用Sqoop抽取MySQL數據時，使用hdfs作為緩存，s3作為hive的存儲地址，命令如下。
sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" -Dmapreduce.job.queuename=default \ --connect jdbc:mysql://${host}:${port}/${db}?tinyInt1isBit=false\&zeroDateTimeBehavior=convertToNull \ --username ${user} \ --password ${password} \ --hive-import \ --hive-overwrite \ --hive-database ${hiveDb} \ --hive-table ${hiveTable} \ --fields-terminated-by '\0x01' \ --lines-terminated-by '\n' \ --null-string '\\N' \ --null-non-string '\\N' \ --hive-partition-key pt \ --hive-partition-value ${pt} \ --hive-delims-replacement ' ' \ --target-dir hdfs:///vova-bd-prod/sqoop-tmp/${db}/${table} \ --query "select ${hive_columns} from ${table} where \$CONDITIONS" \ --split-by ${split_id} -m ${mapers}
抽取到hdfs之后，需要distcp到s3，這時發生錯誤如下：
FAILED Container [pid=3951,containerID=container_1567749318934_0017_01_000010] is running beyond physical memory limits. Current usage: 1.1 GB of 1 GB physical memory used; 8.1 GB of 5 GB virtual memory used. Killing container.
3.原因以及解決方法
使用sqoop導入數據，distcp使用hadoop-discp-*.jar的jar包，因為這個jar包內置"distcp-default.xml"配置文件，jar包路徑：/usr/lib/hadoop/hadoop-distcp-2.8.5-amzn-4.jar。
里面的配置代碼如下，它會覆蓋'mapred-site.xml' and 'yarn-site.xml'的map、reduce內存配置。
################ <property> <name>mapred.job.map.memory.mb</name> <value>1024</value> </property> <property> <name>mapred.job.reduce.memory.mb</name> <value>1024</value> </property> ################
所以我們在Sqoop后邊加上這個參數就可以了，
sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" -Dmapred.job.map.memory.mb=4096 -Dmapred.job.reduce.memory.mb=4096