weixin_43103956的博客

【代码】flink1.18 standalone集群多节点配置。

6.优化参看另一篇实践总结：https://blog.csdn.net/weixin_43103956/article/details/145569759?本次验证用的是：https://www.apache.org/dyn/closer.lua/flink/flink-1.18.1/flink-1.18.1-bin-scala_2.12.tgz。1.下载Flink：https://flink.apache.org/downloads/

1.官方文档：2.提交PyFlink作业 - Submitting PyFlink Jobs #（1）环境检查当前用户可以通过命令行提交PyFlink作业。不要指定 jar 文件路径或者主类入口，跟Java作业提交不一样。当使用 flink run 提交Python作业时，Flink会运行命令 python。请运行下面的命令确保Python可执行程序在当前环境中，并指向Python 3.6+ 版本。

taskmanager.memory.task.off-heap.size：设置 TaskManager 的堆外内存大小（用于网络缓冲、状态后端等）。jobmanager.memory.process.size：设置 JobManager 的总内存大小，包括堆内存和堆外内存。taskmanager.memory.task.heap.size：设置 TaskManager 的 JVM 堆内存大小。taskmanager.memory.process.size：设置 TaskManager 的总内存大小。

Flink Java compatibility

taskmanager.numberOfTaskSlots: X(调大点，比如30，50)解决方法是修改配置文件 flink-conf.yaml，重新设置任务槽的数量。

主要是消息有挤压，本次遇到的问题是消费kafka offset从earlist开始，消费从十天前开始的，所以出现了短暂的busy(max)100%