
Oozie
文章平均质量分 60
Apache Oozie
不死鸟.亚历山大.狼崽子
太极计算机股份有限公司系统架构师,从事ios、.net、flex、java等开发
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Oozie:ErrorCode含义
E0814(XLog.STD,动作ID = [{0}]的SignalCommand已被处理,状态= [{1}] 、、待定= [{2}]“),E0818(XLog.STD,“操作[{0}]”状态正在运行,但WF Job [{1}]的状态为[{2}]。E0707(XLog.STD,“节点无法转换到自身节点[{0}],” ,“在解析时检测到循环,节点[{0}]“),E0732(XLog.STD,“叉[{0}] / Join [{1}]不成对(联接应具有已被[{2}])“),正在跳过操作结束执行”),转载 2023-02-06 18:04:16 · 192 阅读 · 0 评论 -
Apache Oozie(5):Oozie调度Hive
修改 workflow.xml(实际上无修改)修改 job.properties。原创 2023-02-05 17:50:37 · 203 阅读 · 0 评论 -
Apache Oozie(4):Oozie调度shell脚本
注意:上传的 hdfs 目录为/user/root,因为 hadoop 启动的时候使用的是root 用户,如果 hadoop 启动的是其他用户,那么就上传到/user/其他用户。oozie.wf.application.path:指定oozie调度资源存储于hdfs的工作路径;注意:这个脚本一定要是在我们 oozie 工作路径下的 shell 路径下的位置。把 shell 的任务模板拷贝到 oozie 的工作目录当中去。通过 oozie 的命令来执行调度任务。EXEC:指定执行任务的名称。原创 2023-02-05 15:19:40 · 857 阅读 · 0 评论 -
Apache Oozie(3):优化更新hadoop相关配置
设置 mapreduce.map.memory.mb 和 mapreduce.reduce.memory.mb配置否则 Oozie 读取的默认配置 -1, 提交给 yarn 的时候会抛异常。更新hadoop配置重启集群。原创 2023-02-05 14:53:07 · 157 阅读 · 0 评论 -
Apache Oozie(2):Apache Oozie安装
hadoop.proxyuser.root.hosts 允许通过 httpfs 方式访问 hdfs 的主机名、域名;hadoop.proxyuser.root.groups 允许访问的客户端的用户组。通过浏览器访问 Hadoop Jobhistory 的 WEBUI。修改 hadoop 的配置文件 mapred-site.xml。修改 hadoop 的配置文件 core-site.xml。启动 history-server。停止 history-server。原创 2023-02-05 10:43:57 · 552 阅读 · 0 评论 -
Apache Oozie(1):Apache Oozie简介
Oozie 是一个用来管理 Hadoop 生态圈 job 的工作流调度系统。Oozie 是运行于 Java servlet 容器上的一个 java web 应用。Oozie 的目的是按照 DAG(有向无环图)调度一系列的 Map/Reduce或者Hive 等任务。Oozie 工作流由 hPDL(Hadoop Process Definition Language)定义(这是一种 XML 流程定义语言)。需要按顺序进行一系列任务;需要定时、周期触发的任务;运行结果或异常的通报。需要并行处理的任务;原创 2023-02-04 12:09:24 · 802 阅读 · 0 评论