神彩争霸8官方一个分布式 MySQL Binlog 存储系统的架构设计

  • 时间:
  • 浏览:28
  • 来源:彩神网快三官方-彩神大发快3

一个分布式 MySQL Binlog 存储系统的挂接

kingbus是一个基于raft强一致协议实神彩争霸8官方现的分布式MySQL binlog 存储系统。它也能充当一个MySQL Slave从真正的Master上同步binglog,并存储在分布式集群中。

作者:佚名来源:Github|2019-01-28 11:46

 1. kingbus简介

1.1 kingbus是哪几种?

kingbus是一个基于raft强一致协议实现的分布式MySQL binlog 存储系统。它也能充当一个MySQL Slave从真正的Master上同步binglog,并存储在分布式集群中。一齐又充当一个MySQL Master将集群中的binlog 同步给一点Slave。 kingbus具有如下形态学 :

  • 兼容MySQL 基因重组协议,通神彩争霸8官方过Gtid辦法 同步Master上的binlog,一齐支持slave通过Gtid辦法 从kingbus拉取binlog。
  • 跨地域数据基因重组,kingbus通过raft协议支持跨地域间的数据基因重组。写入到集群的binlog数据在多个节点间保证强一致,并保证binlog顺序与master上删剪一致。
  • 高可用,刚刚kingbus是构建在Raft强一致协议之上,也能实现集群中过半数节点存活的情况汇报下,整个binlog拉取和推送服务高可用。

1.2 kingbus能处置哪几种问提?

  • kingbus能降低Master的网络传输流量。在一主多从的基因重组拓扑中,Master需用发送binlog到各个slave,刚刚slave太多一句话,网络流量很有刚刚达到Master的网卡上限。同类在Master执行delete大表刚刚online DDL等操作,全是刚刚造成瞬间生成少量的binlog event,刚刚master下面挂10台slave一句话,master上的网卡流量就会放大10倍。刚刚master使用千兆网卡,产生了10MB/S以上的流量全是刚刚将其网卡跑满。通过kingbus连接master的辦法 ,都也能将slave分散到多台机器上,从而均衡传输流量。
  • 比较复杂Master Failover流程,只需将连接在kingbus上的一台Slave提升为Master,并将kingbus重新指向新的Master,一点slave依旧连接在kingbus上,基因重组拓扑保持不变。
  • 节省Master存储binlog文件的空间。一般MySQL上全是较为昂贵的SSD,刚刚binlog文件占用空间较多,就使得MySQL存储的数据不得不降低。都也能通过将binlog都存储到kingbus中,从而降低Master上binlog文件的存储数量
  • 支持异构基因重组。通过阿里巴巴开源的canal连接到kingbus,kingbus源源不断推送binlog给canal,canal接收完binlog再推送给kafka消息队列,最终存入HBase里,业务部门通过Hive直接写SQL的辦法 来实现业务的实六时 析。

2.kingbus总体架构

kingbus整体架构如下图所示:

  • storage负责存储raft log entry和Metadata,在kingbus中,将raft log和mysql binlog融合在一齐了,通过不同的头部信息区分,raft log的数据累积就说 binlog event,一个就不需用分开存储两类log,节省存储空间。刚刚kingbus需用存储一点元信息,同类raft 节点投票信息、一点特殊binlog event的具体内容(FORMAT神彩争霸8官方_DESCRIPTION_EVENT)。
  • raft基因重组kingbus集群的Lead选举、日志基因重组等功能,使用的是etcd raft library。
  • binlog syncer,只运行在Raft集群的Lead节点上,整个集群只一个syncer。syncer伪装成一个slave,向Master建立主从基因重组连接,Master会根据syncer发送的executed_gtid_set过滤syncer刚刚接受的binlog event,只发送syncer没人 接收过的binlog event,这套基因重组协议删剪兼容MySQL 主从基因重组机制。syncer收到binlog event后,会根据binlog event类型做一点处置,就说 将binlog event封装成一个消息提交到raft 集群中。通过raft算法,一点 binlog event就都也能在多个节点存储,并达到强一致的效果。
  • binlog server,就说 一个实现了基因重组协议的Master,真正的slave都也能连接到binlog server监听的端口,binlog server会将binlog event发送给slave,整个发送binlog event的过程参照MySQL 基因重组协议实现。当没人 binlog event发送给slave时,binlog server会定期发送heartbeat event给slave,保活基因重组连接。
  • api server,负责整个kingbus集群的管理,包括以下内容:
    • raft cluster membership操作,查看集群情况汇报,打上去一个节点、移除一个节点,更新节点信息等
    • binlog syncer相关操作,启动一个binlog syncer,停止binlog syncer,查看binlog syncer情况汇报。
    • binlog server相关操作,启动一个binlog server,停止binlog server,查看binlog server情况汇报。 server层的各种异常,全是会影响到raft层,server都也能理解为本身 插件,按需启动和停止。刚刚扩展kingbus时,只需用实现相关逻辑的server就行。同类实现一个kafka协议的server,没人 就都也能通过kafka client消费kingbus中的消息。

3.kingbus核心实现

3.1 storage的核心实现

storage中有 本身 日志形态学 ,本身 是raft日志(以下称为raft log),由raft算法产生和使用,另本身 是用户形态学 的Log(也就说 mysql binlog event)。Storage在设计中,将本身 Log形态学 组合成一个Log Entry。就说 通过不同的头部信息来区分。Storage由数据文件和索引文件组成,如下图所示:

  • segment固定大小(1GB),非要追加写入,名字为first_raft_index-last_raft_index,表示该segment的raft index范围。
  • 非要***一个segment可写,其文件名为first_raft_index-inprogress,一点segment只读。
  • 只读的segment和对应的index file全是通过mmap辦法 写入和读取。
  • ***一个segment的index 内容一齐存储在磁盘和内存。读取索引是只需用在内存中读取。

3.2 etcd raft库的使用

Etcd raft library在处置刚刚Apply的日志、committed entries等内容时,是单程序处置的。具体函数参考链接,一点 函数处置时间要确保尽刚刚短,刚刚处置时间超过raft 选举时间,会造成集群重新选举。一点 点需用有点儿注意。

3.3 binlog syncer的核心实现

binlog syncer主要工作就说 :

  • 拉取binlog event
  • 解析并处置binlog event
  • 提交binlog event到raft 集群。 很明显都也能通过pipeline机制来提个整个过程的处置下行速度 ,每个阶段kingbus都使用单独的goroutine来处置,通过管道来衔接不同阶段。 刚刚binlog syncer是按照binlog event一个一个接收的,syncer从非要保证事务删剪性,有刚刚在syncer挂了后,需用重新连接Master,这刚刚***一个事务有刚刚不删剪,binlog syncer需用有发现事务删剪性的能力,kingbus实现了事务删剪性解析的功能,删剪参考MySQL源码实现。

3.4 binlog server的核心实现

binlog server实现了一个master的功能,slave与binlog server建立基因重组连接时,slave会发送相关命令,binlog server需用响应哪几种命令。最终发送binlog event给slave。对于每个slave,binlog server会启动一个goroutine不断读取raft log,并打上去相关头部信息,就变成了binlog event,就说 再发送给slave。

4. 总结

本文简要介绍了kingbus整体架构和核心组件及流程,通过这篇文章,希望读者对kingbus有个较为全面的认识。

【编辑推荐】

【责任编辑:

张燕妮

TEL:(010)684763006】



点赞 0