DolphinScheduler操作步骤

最新推荐文章于 2025-06-19 18:55:46 发布

大数据海中游泳的鱼

最新推荐文章于 2025-06-19 18:55:46 发布

阅读量639

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据 DW 文章标签： hadoop 大数据

本文链接：https://blog.csdn.net/Wxh_bai/article/details/130253866

大数据同时被 2 个专栏收录

61 篇文章

订阅专栏

3 篇文章

订阅专栏

本文详细介绍了如何启动DolphinScheduler，使用普通用户登录后上传工作流脚本至资源中心，接着在WorkerServer节点分发脚本依赖。然后，通过admin用户配置运行环境，包括HADOOP、SPARK等组件的路径。接下来，在DolphinScheduler中创建工作流并配置任务节点，最后上线并执行工作流。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1）启动DolphinScheduler

2）使用普通用户登录

3)向DolphinScheduler资源中心上传工作流所需脚本

1）创建文件夹
2）上传工作流所需脚本：将工作流所需的所有脚本上传到资源中心scripts路径下

4）向DolphinScheduler的WorkerServer节点分发脚本依赖的组件

5）配置运行环境

（1）切换到 admin 用户，在环境管理下创建环境
（2）在环境配置中添加如下内容

export HADOOP_HOME=/opt/data/hadoop-3.1.3
export HADOOP_CONF_DIR=/opt/data/hadoop-3.1.3/etc/hadoop
export SPARK_HOME=/opt/data/spark
export SPARK_HOME2=/opt/soft/spark2
export PYTHON_HOME=/opt/soft/python
export JAVA_HOME=/opt/data/jdk1.8.0_212
export HIVE_HOME=/opt/data/hive
export FLINK_HOME=/opt/soft/flink
export DATAX_HOME=/opt/data/datax
export PATH=$HADOOP_HOME/bin:$SPARK_HOME1/bin:$SPARK_HOME2/bin:$PYTHON_HOME:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_HOME/bin:$PATH