
oozie
小Huya
加油!努力!明天会更好!!!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
oozie当中任务的查看以及杀死
查看所有普通任务oozie jobs -oozie http://bd001:11000/oozie查看定时任务oozie jobs -oozie http://bd001:11000/oozie -jobtype coordinator oozie job -oozie http://bd001:11000/oozie -info 0000033-200526143050941-oozie-root-W杀死某个任务oozie可以通过jobid来杀死某个定时任务..原创 2020-06-03 20:27:13 · 4864 阅读 · 0 评论 -
oozie的任务调度,定时任务执行
在oozie当中,主要是通过Coordinator来实现任务的定时调度,与workflow类似的,Coordinator这个模块也是主要通过xml来进行配置即可,接下来我们就来看看如何配置Coordinator来实现任务的定时调度Coordinator的调度主要可以有两种实现方式第一种:基于时间的定时任务调度,oozie基于时间的调度主要需要指定三个参数,第一个起始时间,第二个结束时间,第三个调度频率第二种:基于数据的任务调度,只有在有了数据才会去触发执行这种是基于数据的调...原创 2020-06-03 20:25:06 · 5360 阅读 · 0 评论 -
oozie的任务串联
在实际工作当中,肯定会存在多个任务需要执行,并且存在上一个任务的输出结果作为下一个任务的输入数据这样的情况,所以我们需要在workflow.xml配置文件当中配置多个action,实现多个任务之间的相互依赖关系需求:首先执行一个shell脚本,执行完了之后再执行一个MR的程序,最后再执行一个hive的程序第一步:准备工作目录cd /export/servers/oozie-4.1.0-cdh5.14.0/oozie_worksmkdir -p sereval-actions.原创 2020-06-03 20:22:45 · 3862 阅读 · 0 评论 -
oozie ErrorCode含义
E0000(XLog.STD,“系统属性'oozie.home.dir”未定义”)E0001(XLog.OPS,“无法创建运行目录,{0}”)E0002(XLog.STD,“系统在安全模式”)E0003(XLog.OPS,“ Oozie主目录必须是绝对路径[{0}]”))E0004(XLog.OPS,“ Oozie主目录不存在[{0}]”)E0010 (XLog.OPS,“无法初始化日志服务,{0}”)E0011(XLog.OPS,“ Log4j文件必须是文件名[{0}]””)E0012(XLog....原创 2020-06-03 10:42:44 · 4649 阅读 · 0 评论 -
使用oozie调度MR任务
新手上路多多关照原创 2020-06-02 22:35:58 · 3944 阅读 · 0 评论 -
使用oozie调度hive
第一步:拷贝hive的案例模板cd /export/servers/oozie-4.1.0-cdh5.14.0cp -ra examples/apps/hive2/ oozie_works/第二步:编辑hive模板这里使用的是hiveserver2来进行提交任务,需要注意我们要将hiveserver2的服务给启动起来hive --service hiveserver2 &hive --service metastore &修改job.pr...原创 2020-06-02 22:26:13 · 4665 阅读 · 0 评论 -
oozie调度shell脚本
KEY 含义 nameNode HDFS地址 jobTracker jobTracker(ResourceManager)地址 queueName Oozie队列(默认填写default) examplesRoot 全局目录(默认填写examples) oozie.usr.system.lib...原创 2020-06-02 22:19:00 · 4179 阅读 · 0 评论 -
Oozie的安装及使用
Oozie的介绍Oozie是运行在hadoop平台上的一种工作流调度引擎,它可以用来调度与管理hadoop任务,如,MapReduce、Pig等。oozie的组件介绍workFlow:工作流,定义工作流任务的执行,主要由一个个的action组成,每个action都是一个任务,在xml中进行配置即可Coordinator:协作器,可以理解为工作流的协调器,可以将多个工作流协调成一个工作流来进行处理。也是oozie当中的定时任务调度的模块,Bundle:捆,束。多个Coordinat..原创 2020-06-02 22:13:21 · 4122 阅读 · 0 评论