博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
【商城】canal数据库数据实时同步利器
阅读量:4119 次
发布时间:2019-05-25

本文共 1198 字,大约阅读时间需要 3 分钟。

此处将以Alibaba canal([https://github.com/alibaba/canal])为例,说明Canal的使用,Canal作为数据库数据异步实时同步利器,为分库分表条件下数据一致性维护启到重要作用。

流程图

Canal实时异步处理

Canal可以实时异步监听多Master数据库数据变化,并异步将数据同步到给其他应用,这些应用不仅可以使ES集群,也可以是其他相关应用。

配置

以canal 1.1.4版本为例,支持mysql最新版本8.x,解压后分别配置如下

配置canal.properties文件:

(1)canal.zkServers 配置zookeeper集群地址;

(2)canal.ip配置为本机的host实际IP地址;
(3)canal.register.ip配置为本机的host实际IP地址;
(4)canal.destinations配置为数据库分片数,可以通过拷贝其中source目录进行类似配置:

  • 执行命令 cp -r source sharding1
  • canal.destinations=source,sharding1,sharding2,shardingn

(5)网络配置

  • canal.instance.network.receiveBufferSize=65536
  • canal.instance.network.sendBufferSize=65536

(6)配置集群支持

  • canal.instance.global.sprint.xml=casspath:spring/default-instance.xml 其他注释掉

配置intance.properties文件:

分别进入source,sharding1,sharding2文件目录,找到旗下此文件,以下以source文件为例:

  • canal.instance.master.address=master1:3306
  • canal.instance.dbUsername=canal
  • canal.instance.dbPassword=canal

进入sharding1目录,是种配置master的slave权限,配置如下,其他类似:

  • canal.instance.master.address=master2:3306
  • canal.instance.dbUsername=canal
  • canal.instance.dbPassword=canal

注意,配置时候需要提前在master数据库,创建一个具有slave权限的canal用户,并设置相应的密码canal;

启动

进入bin目录执行命令,可以在命令里面修改JVM参数。

./startup.sh

验证

使用canal用户或所有权用户登录到master数据库,执行命令

show processlist
如果能够正常常看到Dump进程,则说明配置成功。

转载地址:http://pccpi.baihongyu.com/

你可能感兴趣的文章
【C#】如何实现一个迭代器
查看>>
【C#】利用Conditional属性完成编译忽略
查看>>
DirectX11 光照演示示例Demo
查看>>
VUe+webpack构建单页router应用(一)
查看>>
Node.js-模块和包
查看>>
(python版)《剑指Offer》JZ01:二维数组中的查找
查看>>
Spring MVC中使用Thymeleaf模板引擎
查看>>
PHP 7 的五大新特性
查看>>
深入了解php底层机制
查看>>
PHP中的stdClass 【转】
查看>>
XHProf-php轻量级的性能分析工具
查看>>
OpenCV gpu模块样例注释:video_reader.cpp
查看>>
OpenCV meanshift目标跟踪总结
查看>>
就在昨天,全球 42 亿 IPv4 地址宣告耗尽!
查看>>
听说玩这些游戏能提升编程能力?
查看>>
如果你还不了解 RTC,那我强烈建议你看看这个!
查看>>
沙雕程序员在无聊的时候,都搞出了哪些好玩的小玩意...
查看>>
Mysql复制表以及复制数据库
查看>>
matplotlib.pyplot.plot()参数详解
查看>>
MFC矩阵运算
查看>>