Kafka Connect

Kafka MirrorMaker2 从使用到迁移

September 28, 2025
技术总结
Kafka, MirrorMaker2, Kafka Connect, Replication

本文中使用的 Kafka 版本为 v3.3.2

引言 #

Kafka MirrorMaker2 是 Kafka 官方提供的跨集群数据复制工具, 它是基于 Kafka Connect 框架构建的。MirrorMaker2 支持多种部署模式, 包括 Dedicated 模式和 Connect 集群模式，还有 standalone 模式。

其中, Dedicated 模式有一个启动脚本 kafka-mirror-maker.sh, 该脚本会启动一个独立的 MirrorMaker2 实例, 而不需要依赖 Kafka Connect 集群。Dedicated 模式适合小规模的复制任务, 但在大规模部署中, 它缺乏可扩展性和高可用性。

相比之下, Connect 集群模式则是先搭建出一个 Kafka Connect 集群, 再提交 MirrorMaker2 的 MirrorSourceConnector 任务。这种模式下, 可以通过增加或减少 Connect 工作节点来动态调整复制任务的资源, 具备更好的弹性和容错能力。

当然配置上也会更复杂一些, 需要管理 Connect 集群的配置和任务。

那么, 如果我们已经在使用 Dedicated 模式部署了 MirrorMaker2, 但现在需要切换到 Connect 集群模式, 应该如何操作呢? 本文将介绍从 Dedicated 模式迁移到 Connect 集群模式时，怎么处理已经同步的 offset 进度, 以确保数据的一致性和连续性。

...

近期的一些经验总结

December 17, 2024
技术总结
CDC, DMS, Istio, APISIX, ShardingSphere Proxy, Kafka, Kafka Connect, Doris, Pyroscope

这里不会过多的介绍软件的相关概念和架构，主要是针对实际问题的解决方案和思考。

问题汇总 #

  • CDC 相关

    • CDC kafka-connect mysql sink 侧消费积压问题
    • CDC kafka-connect mysql source 侧删除事件投递了两条事件，导致删除动作数据量被放大
    • CDC kafka-connect mongodb 数据同步任务异常（消息超过 1MB ）

    更新于: 2025-02-06

    • CDC Elasticsearch sink 怎么自定义索引名称？
    • 自定义 transform 实现自定义索引名称

  • DMS 数据同步相关

    • 数据迁移完成后，怎么对比源数据和目标数据是否一致？
    • 如果不一致怎么处理？

  • Istio 相关

    • Istio 中多个 gateway 使用相同 host，analyze 是提示错误
    • Istio 中一个服务提供了多个端口的服务，怎么配置 Virtual Service ？

  • APISIX 相关

    • 使用 APISIX 作为网关，怎么进行有条件的响应重写？
    • APISIX 插件的执行顺序是怎么样的？

  • ShardingSphere Proxy

    • HINT策略 在 ShardingSphere Proxy 中的使用

  • Kafka 相关

    • 如何将迁移kafka集群中的数据？

  • Pyroscope 相关

    • 使用 Go Pull 模式采集数据时为什么只有 cpu + gourotines + cpu samples 三个指标？

  • Doris 相关

    ...

访问量 访客数