kafka 消费组功能验证以及消费者数据重复数据丢失问题说明 3

背景上一篇文章记录了kafka的副本机制和容错功能的说明，本篇则主要在上一篇文章的基础上，验证多分区Topic的消费者的功能验证；目录：消费组功能验证

赵志浩 Published on 2020-12-04

kafka 消费者 3

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 2 --topic arnold_consumer_test_1 ./kafka-topics.sh --describ

赵志浩 Published on 2020-12-02

智能推荐 #Cat

Cat 消息文件存储结构

消息模型消息流水线消息文件存储 CAT 针对消息写多读少的场景，设

赵志浩 Published on 2020-11-30

DataBase #Canal

MySql Binlog 说明 & Canal 集成MySql的更新异常说明 & MySql Binlog 常用命令汇总

目录背景介绍开启MySql binlog binlog-format参数说明 binlog_row_image参数说明测试参数变更对Binlog日志记录内容的影响 binlog_row_image配置为FULL进行测试 binlog_row_image配置为MINIMAL测试常用的MySql

赵志浩 Published on 2020-11-17

Java 中间件 #ElasticSearch

ElasticSearch 集群基本概念及常用操作汇总（建议收藏）

目录： ElasticSearch集群特性 es部署安装，要踩的坑少不了 ElasticSearch CRUD操作 ElasticSearch Search操作 ElasticSearch 分词器analyzer ElasticSearch,集群特性 ES的集群是基于Master Slave架构的

赵志浩 Published on 2020-11-10

Java 中间件 #Canal

Canal源码中好用的细节以及一些值得学习的部分

在 IDEA Canal项目中直接全局搜索 “好用”；以及搜索 FIXME相关的内容： canal中的项目结构，以及项目的打包方式，项目的pom关联，以及项目的打包最终生成的项目结构，都值得再好好学习一下； canal中对于kafka的封装，es6，es7的一些封装，对一些其它的mq的封装，还有一

赵志浩 Published on 2020-11-07

Java 中间件 #Canal #P8S

K8S Canal基于Prometheus进行实时指标监控

部署canal的prometheus监控到k8s中 1、grafana的docker部署方式；https://grafana.com/grafana/download?platform=docker 2、prometheus的docker部署方式： https://github.com/promet

赵志浩 Published on 2020-11-06

Java 中间件 #Canal

Canal开发：CanalV2需优化项-20200901

canal优化 1、配置的所有dataSource，默认项目启动时将会全部进行初始化；但是如果存在第三方库被删除等情况，导致jdbc连接不上时，此时canal异常需告警出去。 2、新建dataSource时，jdbcUrl错误导致ds初始化异常，此时异常应外抛给展示层 3、批量ETL时，如果此时SQ

赵志浩 Published on 2020-09-01

Java 中间件 #Kafka

kafka 副本机制和容错处理 -2

副本机制 Kafka的副本机制会在多个服务端节点上对每个主题分区的日志进行复制，当集群中的某个节点上出现故障时，访问故障节点的请求会被转移到其他正常节点的副本上，副本的单位是主题的分区； kafka每个主题的每个分区都会有一个主副本（Leader）以及0个或多个备份副本（Follower），主副本负

赵志浩 Published on 2020-08-24

Java 中间件 #Kafka

Kafka 基本概念 -1

Kafka 系列 Kafka从0.9版本开始，Kafka的标语已经从一个“高吞吐量，分布式的消息系统”更改为了“一个分布式的流平台”；注：不要小看标语的改变，标语的改变其实意味着很多。流式数据平台所需要具备的特点消息系统消息系统下有两种消息模式，分别是“队列和发布订阅”两种模式；队列模式

赵志浩 Published on 2020-08-24