Kafka Connect 启动服务以及提交任务初体验

本文介绍了Kafka Connect的启动方式,包括单机版standalone和分布式版distributed,并展示了如何提交source和sink任务。通过REST API,可以创建、管理Kafka Connect任务,如基于Debezium的CDC源任务和HDFS接收器的sink任务。文章还提及了配置Avro转换器和Kafka Connect的transform功能。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

0

Kafka提供两种启动方式,一种是单机版standalone,一种是分布式版distributed,与之想对应的配置文件也是分开的

单机版的配置文件:connect-standalone.properties

分布式的配置文件:connect-distributed.properties

单机启动方式:bin/connect-standalone.sh -daemon config/connect-standalone.properties config/connect-console-sink.properties

分布式启动方式:bin/connect-distributed.sh -daemon config/connect-distributed.properties

启动完之后就能通过curl的方式请求确认服务是否正常

curl localhost:8083/connectors

单机模式配置信息在提交的配置文件里面,例如:config/connect-console-sink.properties

集群模式需要通过REST API去提交 

基于Debezium 的CDC为例,介绍下如何提交一个Kafka Connect source 任务:

curl -X POST -H "Content-Type: application/json" http://localhost:8083/connectors -d  '{
  "name": "test-source",
  "config": {
    "conne

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值