赵志浩的个人空间 贪、嗔、痴,本分、平常心、实事求是,加油 🎉

kafka 客户端手动 ack频率过高,导致kafka 内部消费__consumer_offsets 分区积压

一个group id 会分配到 __consumer_offsets 的某一个partition上,那么如果这个group id提交的ack的标识qps 很高,则可能会导致kafka内部消费这个partition积压。 从监控中可知,该 __consumer_offsets topic对应的某几个P

赵志浩 赵志浩 Published on 2022-06-07

kafka 消费组功能验证以及消费者数据重复数据丢失问题说明 3

背景 上一篇文章记录了kafka的副本机制和容错功能的说明,本篇则主要在上一篇文章的基础上,验证多分区Topic的消费者的功能验证; 目录: 消费组功能验证

赵志浩 赵志浩 Published on 2020-12-04

kafka 消费者 3

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 2 --topic arnold_consumer_test_1 ./kafka-topics.sh --describ

赵志浩 赵志浩 Published on 2020-12-02

kafka 副本机制和容错处理 -2

副本机制 Kafka的副本机制会在多个服务端节点上对每个主题分区的日志进行复制,当集群中的某个节点上出现故障时,访问故障节点的请求会被转移到其他正常节点的副本上,副本的单位是主题的分区; kafka每个主题的每个分区都会有一个主副本(Leader)以及0个或多个备份副本(Follower),主副本负

赵志浩 赵志浩 Published on 2020-08-24

Kafka 基本概念 -1

Kafka 系列 Kafka从0.9版本开始,Kafka的标语已经从一个“高吞吐量,分布式的消息系统”更改为了“一个分布式的流平台”; 注:不要小看标语的改变,标语的改变其实意味着很多。 流式数据平台所需要具备的特点 消息系统 消息系统下有两种消息模式,分别是“队列和发布订阅”两种模式; 队列模式

赵志浩 赵志浩 Published on 2020-08-24