赵志浩的个人空间 贪、嗔、痴,本分、平常心、实事求是,加油 🎉

MySql Binlog 说明 & Canal 集成MySql的更新异常说明 & MySql Binlog 常用命令汇总

目录 背景介绍 开启MySql binlog binlog-format参数说明 binlog_row_image参数说明 测试参数变更对Binlog日志记录内容的影响 binlog_row_image配置为FULL进行测试 binlog_row_image配置为MINIMAL测试 常用的MySql

赵志浩 赵志浩 Published on 2020-11-17

Canal源码中好用的细节以及一些值得学习的部分

在 IDEA Canal项目中直接全局搜索 “好用”; 以及搜索 FIXME相关的内容: canal中的项目结构,以及项目的打包方式,项目的pom关联,以及项目的打包最终生成的项目结构,都值得再好好学习一下; canal中对于kafka的封装,es6,es7的一些封装,对一些其它的mq的封装,还有一

赵志浩 赵志浩 Published on 2020-11-07

K8S Canal基于Prometheus进行实时指标监控

部署canal的prometheus监控到k8s中 1、grafana的docker部署方式;https://grafana.com/grafana/download?platform=docker 2、prometheus的docker部署方式: https://github.com/promet

赵志浩 赵志浩 Published on 2020-11-06

Canal开发:CanalV2需优化项-20200901

canal优化 1、配置的所有dataSource,默认项目启动时将会全部进行初始化;但是如果存在第三方库被删除等情况,导致jdbc连接不上时,此时canal异常需告警出去。 2、新建dataSource时,jdbcUrl错误导致ds初始化异常,此时异常应外抛给展示层 3、批量ETL时,如果此时SQ

赵志浩 赵志浩 Published on 2020-09-01

Canal开发:20200820-待验证问题

1、canal 新建db与es的映射文件时,如果有两个名字不同的文件,但是配置内容完全相同的情况,sql不同,对应的处理情况是如何?(会去加载两次?然后一条数据,会读取两次文件,然后同步两次?还是?规则具体是什么?如果是名字不同,但内容也不同,但是内容中使用的key是相同的,处理情况是如何的) an

赵志浩 赵志浩 Published on 2020-08-20

Canal-2020-07-23初次记录

server (deployer项目,其中canal.properties 用来配置canal启动后的port端口信息,已经canal.admin的一些配置,也就是一些整个server端的配置在这里面,包括如果要配置一些kafka的信息,也是在这里面,更改canal.serverMode=kafka

赵志浩 赵志浩 Published on 2020-07-23