博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop-----joblog读写流程
阅读量:3982 次
发布时间:2019-05-24

本文共 699 字,大约阅读时间需要 2 分钟。

1、job提交后,调用JobSubmitter的submitJobInternal方法提交job相关文件到hdfs

 

2、nodemanager启动时会初始化本地目录,并清除本地yarn.nodemanager.local-dirs下的filecache/usercache/nmprivate目录下的资源文件

 

3、nodemanager的container资源初始化:ResourceLocalizationService服务中LocalizerRunner分别会去下载job相关文件

 

4、container运行完成时会触发JobHistoryEvent事件,JobHistoryEventHandler接收事件就向hdfs写对应job的log

 

5、Historyserver服务会定时(默认间隔1天)删除mapreduce.jobhistory.done-dir目录中过期(默认七天过期)的.jhist/_conf.xml文件

 

6、Historyserver服务会定时(默认间隔3分钟)从hdfs的mapreduce.jobhistory.intermediate-done-di目录将.jhist/_conf.xml移动到mapreduce.jobhistory.done-dir目录,同时删除/.summary文件

应用优化点:Historyserver上面会有几个定时任务用于log及job相关文件的搬迁,这里面可以方便定制自己的定时任务,比如成功job日志和失败job日志删除时间不一样,以及增加mapreduce jar包缓存功能后,可以定时删除hdfs上的文件。

 

对应流程如下图所示:

 

转载地址:http://nhpui.baihongyu.com/

你可能感兴趣的文章
excel 查找一个表的数据在另一个表中是否存在
查看>>
centos 7 上配置dnsmasq 同时支持ipv4和ipv6的DHCP服务
查看>>
AsyncTask、View.post(Runnable)、ViewTreeObserver三种方式总结frame animation自动启动
查看>>
Android中AsyncTask的简单用法
查看>>
windows Server 2003 IIS 网站发布说明书
查看>>
S3C6410启动模式介绍
查看>>
使用JLink间接烧写S3C2410、S3C2440开发板Nor、Nand Flash的方法(暂未验证)
查看>>
Jlink + ADS调试 S3C2440
查看>>
2440初始化存储器原理(接上一篇)
查看>>
S3C2440 USB 设备控制器(转)
查看>>
Linux usb 设备驱动 (1)
查看>>
Linux usb设备驱动(2)---> usbmouse.c 源码分析
查看>>
USB芯片
查看>>
ajax工作原理
查看>>
理解Sharding jdbc原理,看这一篇就够了
查看>>
XiaoMi面试题记录
查看>>
解决跨网场景下,CAS重定向无法登录的问题(无需修改现有代码)
查看>>
java反编译命令
查看>>
activemq依赖包获取
查看>>
版本号中Snapshot的含义
查看>>