高并发高性能的DB数据同步方案
发布网友
发布时间：2024-09-28 17:51
共1个回答
热心网友
时间：2024-11-13 21:06
MongoShake从源库抓取oplog数据，通过不同的tunnel通道发送至目的库。源库支持多种类型，包括ReplicaSet、Sharding、Mongod等，目的库支持Mongos、Mongod等。现有通道类型包括直接写入、通过net/rpc、tcp、文件和Kafka等方式连接。
在数据同步中，MongoShake支持表级别和文档级别的并发。然而，id级别的并发要求数据库中没有唯一索引约束，而表级别并发在表数量较少或分布不均的情况下性能不佳。因此，MongoShake提供了写入前的冲突检测功能，以解决表内唯一键冲突。目前，MongoShake仅支持唯一索引类型，不支持前缀索引、稀疏索引、TTL索引等其他索引。
冲突检测功能的前提是MongoDB Schema一致，且不监听Oplog的System.indexes表改动。此外，MongoShake在同步过程中对索引的操作可能引发异常，如后台创建索引期间的写请求、前台创建索引导致的用户请求阻塞以及数据不一致情况下的处理方式。
为了支持冲突检测，MongoShake修改了MongoDB内核，使其在Oplog中包含uk字段，标识涉及的唯一索引信息。处理流程包括将连续的oplog打包成batch，分析依赖关系并划分成多个段，以及对段内数据进行并发写入和段间顺序写入。存在依赖关系的oplog将被拆分到两个段中，以确保段内并发和段间顺序执行。
通过插入barrier或基于关系依赖图进行拆分，MongoShake支持数据的并发处理和依赖关系的管理，从而提高数据同步性能。扩展应用场景包括修改数据异步刷盘场景，如个人属性、商品属性、订单信息和评论信息的修改等。对于微博评论内容，可以采用消息队列异步刷盘方式，通过分区和串行化处理实现高效的并发性能。
欲了解更多分布式应用系统架构设计与实践内容，欢迎关注公众号：互联网架构师之路，获取最新架构材料。
热心网友
时间：2024-11-13 21:06
MongoShake从源库抓取oplog数据，通过不同的tunnel通道发送至目的库。源库支持多种类型，包括ReplicaSet、Sharding、Mongod等，目的库支持Mongos、Mongod等。现有通道类型包括直接写入、通过net/rpc、tcp、文件和Kafka等方式连接。
在数据同步中，MongoShake支持表级别和文档级别的并发。然而，id级别的并发要求数据库中没有唯一索引约束，而表级别并发在表数量较少或分布不均的情况下性能不佳。因此，MongoShake提供了写入前的冲突检测功能，以解决表内唯一键冲突。目前，MongoShake仅支持唯一索引类型，不支持前缀索引、稀疏索引、TTL索引等其他索引。
冲突检测功能的前提是MongoDB Schema一致，且不监听Oplog的System.indexes表改动。此外，MongoShake在同步过程中对索引的操作可能引发异常，如后台创建索引期间的写请求、前台创建索引导致的用户请求阻塞以及数据不一致情况下的处理方式。
为了支持冲突检测，MongoShake修改了MongoDB内核，使其在Oplog中包含uk字段，标识涉及的唯一索引信息。处理流程包括将连续的oplog打包成batch，分析依赖关系并划分成多个段，以及对段内数据进行并发写入和段间顺序写入。存在依赖关系的oplog将被拆分到两个段中，以确保段内并发和段间顺序执行。
通过插入barrier或基于关系依赖图进行拆分，MongoShake支持数据的并发处理和依赖关系的管理，从而提高数据同步性能。扩展应用场景包括修改数据异步刷盘场景，如个人属性、商品属性、订单信息和评论信息的修改等。对于微博评论内容，可以采用消息队列异步刷盘方式，通过分区和串行化处理实现高效的并发性能。
欲了解更多分布式应用系统架构设计与实践内容，欢迎关注公众号：互联网架构师之路，获取最新架构材料。
