Kafka Connect

近期的一些经验总结

December 17, 2024
技术总结
CDC, DMS, Istio, APISIX, ShardingSphere Proxy, Kafka, Kafka Connect, Doris, Pyroscope

这里不会过多的介绍软件的相关概念和架构，主要是针对实际问题的解决方案和思考。

问题汇总 #

  • CDC 相关

    • CDC kafka-connect mysql sink 侧消费积压问题
    • CDC kafka-connect mysql source 侧删除事件投递了两条事件，导致删除动作数据量被放大
    • CDC kafka-connect mongodb 数据同步任务异常（消息超过 1MB ）

  • DMS 数据同步相关

    • 数据迁移完成后，怎么对比源数据和目标数据是否一致？
    • 如果不一致怎么处理？

  • Istio 相关

    • Istio 中多个 gateway 使用相同 host，analyze 是提示错误
    • Istio 中一个服务提供了多个端口的服务，怎么配置 Virtual Service ？

  • APISIX 相关

    • 使用 APISIX 作为网关，怎么进行有条件的响应重写？
    • APISIX 插件的执行顺序是怎么样的？

  • ShardingSphere Proxy

    • HINT策略 在 ShardingSphere Proxy 中的使用

  • Kafka 相关

    • 如何将迁移kafka集群中的数据？

  • Pyroscope 相关

    • 使用 Go Pull 模式采集数据时为什么只有 cpu + gourotines + cpu samples 三个指标？

  • Doris 相关

    ...

访问量 访客数