目录 背景介绍 开启MySql binlog binlog-format参数说明 binlog_row_image参数说明 测试参数变更对Binlog日志记录内容的影响 binlog_row_image配置为FULL进行测试 binlog_row_image配置为MINIMAL测试 常用的MySql
在 IDEA Canal项目中直接全局搜索 “好用”; 以及搜索 FIXME相关的内容: canal中的项目结构,以及项目的打包方式,项目的pom关联,以及项目的打包最终生成的项目结构,都值得再好好学习一下; canal中对于kafka的封装,es6,es7的一些封装,对一些其它的mq的封装,还有一
部署canal的prometheus监控到k8s中 1、grafana的docker部署方式;https://grafana.com/grafana/download?platform=docker 2、prometheus的docker部署方式: https://github.com/promet
canal优化 1、配置的所有dataSource,默认项目启动时将会全部进行初始化;但是如果存在第三方库被删除等情况,导致jdbc连接不上时,此时canal异常需告警出去。 2、新建dataSource时,jdbcUrl错误导致ds初始化异常,此时异常应外抛给展示层 3、批量ETL时,如果此时SQ
1、canal 新建db与es的映射文件时,如果有两个名字不同的文件,但是配置内容完全相同的情况,sql不同,对应的处理情况是如何?(会去加载两次?然后一条数据,会读取两次文件,然后同步两次?还是?规则具体是什么?如果是名字不同,但内容也不同,但是内容中使用的key是相同的,处理情况是如何的) an
server (deployer项目,其中canal.properties 用来配置canal启动后的port端口信息,已经canal.admin的一些配置,也就是一些整个server端的配置在这里面,包括如果要配置一些kafka的信息,也是在这里面,更改canal.serverMode=kafka