花费 17 ms
hadoop常用的端口号

1,namenode http端口:50070 2,datanode http端口:50075 3,secondaryNameNode 节点http端口号:50090 4,datanode后端访 ...

Sun Jun 14 23:21:00 CST 2020 0 3421
yarn的调度器以及它们的区别

yarn 一共有3个类型的调度器:FIFO调度器、容量调度器、公平调度器。 1,FIFO调度器。先进先出,队列中同一时间只有一个任务在运行。该任务独占整个集群的资源。 2,容量调度器。多队列,每个 ...

Tue Jun 16 19:25:00 CST 2020 0 865
hadoop系统宕机,解决办法

1,如果是mr程序导致的。需要考虑控制集群运行任务的并行度;控制单个任务可以申请的最大内存。 2,如果是namenode宕机了,需要考虑控制写入的速度。可以使用kafka来做中间缓存,kafka存储 ...

Tue Jun 16 19:41:00 CST 2020 0 790
yarn的job提交流程

1,客户端想RM申请一个application。 2,RM向客户端返回一个资源提交路径和一个application_id。 3,客户端提交资源,资源包含job.xml和job.split和jar包 ...

Tue Jun 16 19:07:00 CST 2020 0 722

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM