花费 8 ms
mapreduce出现类似死锁情况

在往hbase表里通过bulkload导数据时,某个mapreduce跑了一个多小时还没跑,看yarn界面,发现map还有一小部分没跑完,没跑完的map全在pending,running中没有,同时reduce在copy阶段把资源全用光,导致map没资源去跑,进而导致reduce一直在copy状态 ...

Thu Jul 23 00:56:00 CST 2015 0 10147
Spark、BulkLoad Hbase、单列、多列

背景 之前的博客:Spark:DataFrame写HFile (Hbase)一个列族、一个列扩展一个列族、多个列 用spark 1.6.0 和 hbase 1.2.0 版本实现过spark BulkLoad Hbase的功能,并且扩展了其只能操作单列的不便性。 现在要用spark 2.3.2 ...

Wed Sep 18 23:36:00 CST 2019 0 761

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM