Flink入门编程

已于 2023-06-05 22:40:36 修改
阅读量4.3k 收藏 20
点赞数 3
CC 4.0 BY-SA版权
分类专栏： Flink 文章标签： hive hadoop apache hdfs 大数据
于 2022-04-19 22:20:13 首次发布
本文为 cpucode.blog.csdn.net 原创作品，欢迎转载，请保留出处，谢谢！
本文链接：https://blog.csdn.net/qq_44226094/article/details/124285293

Flink入门编程

环境准备

Flink 底层是以 Java 编写，但给开发提供了 Java 和 Scala API

使用 IntelliJ IDEA 作为开发工具，用 Maven 作为包管理工具

  • 基于 Flink 1.13.0
  • 基于 JDK 1.8

GitHub 代码托管 : https://github.com/CPU-Code/Hadoop

创建项目

创建工程

打开 IntelliJ IDEA ，创建一个 Maven 工程

image-20220418154914540

image-20220418154949749

将这个 Maven 工程命名为 FlinkDemo , 选定这个 Maven 工程所在存储路径，并点击 Finish

image-20220418155123570

添加项目依赖

在项目的 pom 文件中，增加 <properties> 标签设置属性，然后增加 <denpendencies> 标签引入需要的依赖

Flink的架构中使用了 Akka 来实现底层的分布式通信，而 Akka 是用 Scala 开发

    <properties>
        <flink.version>1.13.0</flink.version>
        <java.version>1.8</java.version>
        <scala.binary.version>2.12</scala.binary.version>
        <slf4j.version>1.7.30</slf4j.version>
    </properties>

    <dependencies>
        <!-- 引入 Flink 相关依赖-->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <!-- 客户端，可省略 -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!-- 引入日志管理相关依赖-->
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-api</artifactId>
            <version>${slf4j.version}</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>${slf4j.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-to-slf4j</artifactId>
            <version>2.14.0</version>
        </dependency>
    </dependencies>

image-20220418155359718

配置日志管理

在目录 src/main/resources 下添加文件: log4j.properties

image-20220418155440291

内容配置 :

log4j.rootLogger=error, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%-4r [%t] %-5p %c %x - %m%n

image-20220418155453325

编写代码

需求 : 统计一段文字中，每个单词出现的频次

源码位于 src/main/java 目录下。首先新建一个包，命名为 com.cpucode.wc

image-20220418155622221

批处理

批处理 : 输入是收集好的数据集。将要统计的文字，写入一个文本文档，然后读取这个文件处理数据

在目录 src/main/resources 下新建一个 input 文件夹，并在下面创建文本文件 words.txt

在 words.txt 中输入一些文字 :

hello world
hello flink
hello java

image-20220418155750866

创建建 Java 类 BatchWordCount，在静态 main 方法中编写测试代码

image-20220418160100656

进行单词频次统计的基本思路是：

  • 先逐行读入文件数据，然后将每一行文字拆分成单词
  • 接着按照单词分组，统计每组数据的个数，就是对应单词的频次

具体代码实现 :

package com.cpucode.wc;

// 在引入包时，有 Java 和 Scala ，注意选用 Java 的包
import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.operators.AggregateOperator;
import org.apache.flink.api.java.operators.DataSource;
import org.apache.flink.api.java.operators.FlatMapOperator;
import org.apache.flink.api.java.operators.UnsortedGrouping;
import org.apache.flink.api.java.tuple.Tuple2;

import org.apache.flink.util.Collector;

/**
 * @author : cpucode
 * @date : 2022/4/18 16:00
 * @github : https://github.com/CPU-Code
 * @csdn : https://blog.csdn.net/qq_44226094
 */
public class BatchWordCount {
    public static void main(String[] args) throws Exception {
        // 1. 创建执行环境 , 获取执行环境对象，也就是运行时上下文环境
        ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

        // 2. 从文件读取数据 按行读取(存储的元素就是每行的文本)
        DataSource<String> lineDS = env.readTextFile("FlinkDemo/src/main/resources/input/words.txt");

        // 3. 转换数据格式 flatmap 方法可以对一行文字进行分词转换
        FlatMapOperator<String, Tuple2<String, Long>> wordAndOne = lineDS.flatMap((String line, Collector<Tuple2<String, Long>> out) -> {
            // 每一行文字拆分成单词
            String[] words = line.split(" ");
            for (String word : words) {
                // 转换成(word,count)形式的二元组
                out.collect(Tuple2.of(word, 1L));
            }
        }).returns(Types.TUPLE(Types.STRING, Types.LONG));
        //当 Lambda 表达式使用 Java 泛型的时候, 由于泛型擦除的存在, 需要显示的声明类型信息


        // 4. 按照 word 进行分组 , 采用位置索引或属性名称进行分组
        UnsortedGrouping<Tuple2<String, Long>> wordAndOneUG = wordAndOne.groupBy(0);

        // 5. 分组内聚合统计 , 指定聚合字段的位置索引或属性名称
        AggregateOperator<Tuple2<String, Long>> sum = wordAndOneUG.sum(1);

        // 6. 打印结果
        sum.print();
    }
}

运行程序

将文档中的所有单词的频次，全部统计出来，以二元组的形式在控制台打印输出

image-20220419210759646

上面的实现方式，是基于 DataSet API ( 软弃用 ) , 从 Flink 1.12 开始，推荐使用 DataStream API，流批统一的处理架构，在提交任务时将执行模式设为 BATCH 来进行批处理 ：

bin/flink run -Dexecution.runtime-mode=BATCH BatchWordCount.jar

流处理

  • 用 DataSet API 实现批处理
  • 用 DataStream API 实现流处理

Flink : 流才是整个处理逻辑的底层核心，所以DataStream API实现了流批统一，可以直接处理批处理和流处理的所有场景

读取文件

读取文档 words.txt 中的数据，并统计每个单词出现的频次

在 com.cpucode.wc 包下新建 Java 类 BoundedStreamWordCount ，在静态 main 方法中编写测试代码

具体代码实现 :

package com.cpucode.wc;

import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.KeyedStream;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

import java.util.Arrays;

/**
 * @author : cpucode
 * @date : 2022/4/19 21:18
 * @github : https://github.com/CPU-Code
 * @csdn : https://blog.csdn.net/qq_44226094
 */
public class BoundedStreamWordCount {
    public static void main(String[] args) throws Exception {
        // 1. 创建流式执行环境 , 流处理
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 2. 读取文件
        DataStreamSource<String> lineDSS = env.readTextFile("FlinkDemo/src/main/resources/input/words.txt");

        // 3. 转换数据格式
        SingleOutputStreamOperator<Tuple2<String, Long>> wordAndOne = lineDSS.flatMap((String line, Collector<String> word) -> {
            Arrays.stream(line.split(" ")).forEach(word::collect);
        }).returns(Types.STRING)
                .map(word -> Tuple2.of(word, 1L))
                .returns(Types.TUPLE(Types.STRING, Types.LONG));

        // 4. 分组 , 匿名函数作为键选择器
        KeyedStream<Tuple2<String, Long>, String> wordAndOneKS = wordAndOne.keyBy(t -> t.f0);

        // 5. 求和
        SingleOutputStreamOperator<Tuple2<String, Long>> result = wordAndOneKS.sum(1);

        // 6. 打印
        result.print();

        // 7. 开始执行任务
        env.execute();
    }
}

运行程序

image-20220419213250289

与批处理的结果是完全不同

  • 批处理针对每个单词，只会输出一个最终的统计个数
  • 而流处理的打印结果中，单词每出现一次，都会有一个频次统计数据输出。

这就是流处理的特点，数据逐个处理，每来一条数据就会处理输出一次

显示的编号为 1~16，是 CPU 是 16 核，所以默认模拟的并行线程是 16 个。不同的运行环境，得到的结果会是不同的

读取文本流

在实际的生产环境中，真正的数据流是无界的，只有开始没有结束

为了模拟这种场景，就不读取文件来获取数据了，而是监听数据发送端主机的指定端口，统计发送来的文本数据中出现过的单词的个数

新建一个 Java 类 StreamWordCount， 将 BoundedStreamWordCount 代码中读取文件数据的 readTextFile 方法，替换成读取 socket 文本流的方法 socketTextStream

具体代码实现 :

package com.cpucode.wc;

import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.KeyedStream;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

import java.lang.reflect.Array;
import java.util.Arrays;

/**
 * @author : cpucode
 * @date : 2022/4/19 21:37
 * @github : https://github.com/CPU-Code
 * @csdn : https://blog.csdn.net/qq_44226094
 */
public class StreamWordCount {
    public static void main(String[] args) throws Exception {
        // 1. 创建流式执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 2. 读取文本流 , 发送端主机名和端口号
        DataStreamSource<String> lineDSS = env.socketTextStream("cpu101", 7777);

        // 3. 转换数据格式
        SingleOutputStreamOperator<Tuple2<String, Long>> wordAndOne = lineDSS.flatMap((String line, Collector<String> words) -> {
            Arrays.stream(line.split(" ")).forEach(words::collect);
        }).returns(Types.STRING)
                .map(word -> Tuple2.of(word, 1L))
                .returns(Types.TUPLE(Types.STRING, Types.LONG));

        // 4. 分组
        KeyedStream<Tuple2<String, Long>, String> wordAndOneKS = wordAndOne.keyBy(t -> t.f0);

        // 5. 求和
        SingleOutputStreamOperator<Tuple2<String, Long>> result = wordAndOneKS.sum(1);

        // 6. 打印
        result.print();

        // 7. 执行
        env.execute();
    }
}

在 Linux 环境的主机 cpu101 上，发送数据进行测试

安装 netcat 工具

yum install -y nc

nc -lk 7777

运行程序

image-20220419214645798

程序启动后没有任何输出也不会退出。 Flink 的流处理是事件驱动的，程序会一直处于监听状态，只有接收到数据才会执行任务、输出统计结

从 cpu101 发送数据：

image-20220419214703128

看到控制台输出结果 :

image-20220419214713534

Flink入门编程 | 用Java构建实时数据处理应用
CyberFlare的博客
09-10 278
Apache Flink是一个开源的流处理框架，用于构建高性能、可靠的实时数据处理应用程序。通过编写类似上述示例代码的Flink应用程序，你可以开始构建更加复杂和功能丰富的实时数据处理应用。Flink提供了丰富的操作符和API，可以满足各种数据处理需求，并具有良好的可扩展性和容错性。然后，创建一个新的Java项目并将Flink相关的依赖项添加到项目配置文件中（例如，使用Maven管理依赖）。在本地环境中，你可以使用Flink自带的MiniCluster来运行应用程序。
Flink 入门案例介绍
weixin_44480009的博客
06-05 455
在 IDEA 中创建一个 Maven 工程：FlinkTutorial。
Flink入门 (二)--Flink程序的编写
zzy66666c的博客
08-09 1218
其他案例demo可以参考我的GitHubhttps://github.com/NuistGeorgeYoung/flink_stream_test/ 编写一个Flink程序大致上可以分为以下几个步骤： 之后你可以设置以下配置- 按行读取文件并将其作为字符串返回。- 按行读取文件并将它们作为StringValues返回。StringValues是可变字符串。- 解析逗号（或其他字符）分隔字段的文件。返回元组或POJO的DataSet。支持基本java类型及其Value对应作为字段类型。- 解析新行（或
flink入门代码
xwcj3的博客
04-11 568
flink入门代码
Flink 快速入门
最新发布
qq_45469225的博客
05-19 1862
本文详细介绍了Apache Flink的系统架构和核心概念，适合深入学习和理解Flink的开发者。文章以Standalone会话模式为例，详细解析了Flink的作业提交和执行流程，包括客户端、JobManager、TaskManager等组件的功能与交互。JobManager作为任务管理和调度的核心，包含JobMaster、资源管理器和分发器三个组件，分别负责作业管理、资源分配和任务分发。TaskManager则是实际执行任务的进程，负责数据流的具体计算。文章还介绍了如何在本地IDEA中运行Flink程序并
flink入门代码演示(Java)
TreeCode的博客
02-01 442
引入坐标： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.10.1</version> </dependency> <dependency>
Flink 编程接口
weixin_30835933的博客
09-22 369
欢迎来 kk大数据，今天分享的是 Flink 提供了哪些编程接口可以给我们开发。 一、数据集类型 现实世界中，所有的数据都是以流式的形态产生的，不管是哪里产生的数据，在产生的过程中都是一条条地生成，最后经过了存储和转换处理，形成了各种类型的数据集。 根据现实世界中，数据产生方式和数据产生是否含有边界（具有起始点和终止点）角度，将数据分为两种类型的数据集，一种是有界...
最全面的flink入门编程案例
09-18
【标题】：“最全面的Flink入门编程案例” 在大数据处理领域，Apache Flink是一个流行的开源流处理框架，它提供了一种低延迟、高吞吐量的数据处理能力，支持批处理和流处理两种模式。本篇文章将深入浅出地引导初学...
flink入门文档.pdf
08-16
Flink 入门文档 Flink 是一个大数据处理框架，具有批流一体、高容错、高吞吐、低延迟、大规模计算、多平台部署等核心特点。本文档将对 Flink 的核心概念、架构、API 层次进行详细介绍。 1. 核心概念 Flink 是一个...
Flink核心编程
qq_38800259的博客
11-25 2328
Flink核心编程 1、Environment ​ Flink Job在提交执行计算时，需要首先建立和Flink框架之间的联系，也就指的是当前的flink运行环境，只有获取了环境信息，才能将task调度到不同的taskManager执行。而这个环境对象的获取方式相对比较简单。 批处理环境 ExecutionEnvironment benv = ExecutionEnvironment.getExecutionEnvironment(); ​ 流式数据处理环境 StreamExecutionEnviron
flink代码demo
01-02
flink demo应用 讲述flatmap reducemap datastream等等
实验8 Flink初级编程实践
06-28
实验内容与完成情况： 1. 使用IntelliJ IDEA工具开发WordCount程序 在Linux操作系统中安装IntelliJ IDEA，然后使用IntelliJ IDEA工具开发WordCount程序，并打包成JAR包，提交到Flink中运行。 安装Flink并启动： 安装maven： 使用IntelliJ IDEA写java： 使用maven打包JAR包 运行JAR包结果： 2. 数据流词频统计 使用Linux操作系统自带的NC程序模拟生成数据流，不断产生单词并发送出去。编写Fink程序对NC程序发来的单词进行实时处理，计算词频，并输出词频统计结果。要求首先在IntelliJ IDEA中开发和调试程序，然后打包成JAR包部署到Flink中运行。 使用IntelliJ IDEA写java： 运行NC并输入数据： 运行JAR包：
大数据技术原理及应用课实验8 ：Flink初级编程实践
01-16
一、实验目的 1. 通过实验掌握基本的Flink编程方法。 2. 掌握用IntelliJ IDEA工具编写Flink程序的方法。 二、实验内容和要求 1. Ubuntu18.04（或Ubuntu16.04）。 2. IntelliJ IDEA。 3. Flink1.9.1。 三、实验步骤（每个步骤下均需有运行截图） 1．使用IntelliJ IDEA工具开发WordCount程序 在Linux系统中安装IntelliJ IDEA，然后使用IntelliJ IDEA工具开发WordCount程序，并打包成JAR文件，提交到Flink中运行。 在本次实验中，主要是学习掌握基本的Flink编程方法编写Flink程序的方法以及对大数据的基础编程技能进行巩固。并且还学习了Flink的基本原理和运行机制，还通过具体的代码实现，了解到Flink程序的编写步骤和注意事项。此外，还学会了如何使用IntelliJ IDEA工具进行Flink程序的编写和调试，加深了对开发工具的了解。
Flink-数据流编程
m0_61332144的博客
05-26 824
数据流是一个可能无限的事件序列。 一.数据流图 数据流程序描述了数据如何在算子之间流动，节点表示算子， 边表示数据之间的依赖性。 算子是数据流图中的功能单元，一个算子用来接收输入的数据，并将它们加工计算生成数据输出用于进一步处理。一个数据流图至少包含一个数据源和一个数据接收器。 二、数据并行与任务并行 第一，我们可以对输入的数据进行分区，并在数据子集上并行执行具有相同的算子的任务执行，这种类型的并行性就叫做数据并行性。 第二，我们可以将不同算子在相同或不同的数据上执行。这种并行性称为任务并行
Apache Flink 零基础入门（八）： SQL 编程实践
Ververica的博客
09-06 1361
作者：伍翀（云邪） 本文是 Apache Flink 零基础入门系列文章第八篇，将通过五个实例讲解 Flink SQL 的编程实践。 注： 本教程实践基于 Ververica 开源的 sql-training 项目。基于 Flink 1.7.2 。 通过本课你能学到什么？ 本文将通过五个实例来贯穿 Flink SQL 的编程实践，主要会涵盖以下几个方面的内容。 如何使用 SQL CLI 客户...
Flink 编程实战 - 构建程序框架
u013560925的博客
09-03 1305
  背景           Flink文档中介绍窗口、水印和触发器等功能偏理论，浏览之后对编程方式懵懵懂懂，故作如下练习，是一个基础Flink编程框架，并不是所有Flink程序都如下程序框架所述。          理解如下代码，需要正确理解Event Time和Watermark，可以浏览《Flink Event Time和WaterMark结合优势分析》 博文和《Flink Windo...
Flink代码初学记录
AEsun的博客
09-16 606
Flink代码初学记录第一次使用markdown编辑器言归正传，Flink代码学习功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导...
Flink-入门编程及算子介绍
qq_30868737的博客
01-28 457
编程模型 Flink提供了不同级别的编程抽象，通过调用抽象的数据集调用算子构建DataFlow就可以实现对分布式的数据进行流式计算和离线计算，DataSet是批处理的抽象数据集，DataStream是流式计算的抽象数据集，他们的方法都分别为Source、Transformation、Sink Source主要负责数据的读取 Transformation主要负责对数据的转换操作 Sink负责最终计算好的结果数据输出。 DataStream实时wordcount package com.wedoctor.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值