问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

mysql集群是什么意思

发布网友 发布时间:2022-04-24 22:16

我来回答

4个回答

懂视网 时间:2022-04-08 05:25

MySQL集群

       MySQL集群是一个无共享的(shared-nothing)、分布式节点架构的存储方案,其目的是提供容错性和高性能。

      

       数据更新使用读已提交隔离级别(read-committedisolation)来保证所有节点数据的一致性,使用两阶段提交机制(two-phasedcommit)保证所有节点都有相同的数据(如果任何一个写操作失败,则更新失败)。

      

        无共享的对等节点使得某台服务器上的更新操作在其他服务器上立即可见。传播更新使用一种复杂的通信机制,这一机制专用来提供跨网络的高吞吐量。

  

       通过多个MySQL服务器分配负载,从而最大程序地达到高性能,通过在不同位置存储数据保证高可用性和冗余。



架构图



技术分享


如何存储数据

   

    Mysqlcluster数据节点组内主从同步采用的是同步复制,来保证组内节点数据的一致性。一般通过两阶段提交 协议来实现,一般工作过程如下:


   a)Master执行提交语句时,事务被发送到slave,slave开始准备事务的提交。   b)每个slave都要准备事务,然后向master发送OK(或ABORT)消息,表明事务已经准备好(或者无法准备该事务)。   c)Master等待所有Slave发送OK或ABORT消息
 
   d)如果Master收到所有 Slave的OK消息,它就会向所有Slave发送提交消息,告诉Slave提交该事务;如果Master收到来自任何一个Slave的ABORT消息,它就向所有 Slave发送ABORT消息,告诉Slave去中止事务。
   e)每个Slave等待来自Master的OK或ABORT消息。

         如果Slave收到提交请求,它们就会提交事务,并向Master发送事务已提交 的确认;

         如果Slave收到取消请求,它们就会撤销所有改变并释放所占有的资源,从而中止事务,然后向Masterv送事务已中止的确认。


    f)当Master收到来自所有Slave的确认后,就会报告该事务被提交(或中止),然后继续进行下一个事务处理。

由于同步复制一共需要4次消息传递,故mysql  cluster的数据更新速度比单机mysql要慢。所以mysql cluster要求运行在千兆以上的局域网内,节点可以采用双网卡,节点组之间采用直连方式。


    Mysql cluster将所有的索引列都保存在主存中,其他非索引列可以存储在内存中或者通过建立表空间存储到磁盘上。如果数据发生改变(insert,update,delete等),mysql 集群将发生改变的记录写入重做日志,然后通过检查点定期将数据定入磁盘。由于重做日志是异步提交的,所以故障期间可能有少量事务丢失。为了减少事务丢失,mysql集群实现延迟写入(默认延迟两秒,可配置),这样就可以在故障发生时完成检查点写入,而不会丢失最后一个检查点。一般单个数据节点故障不会导致任何数据丢失,因为集群内部采用同步数据复制。


MySQL集群的横向扩展


    1.添加数据节点组来扩展写操作,提高 cluster的存储能力。支持在线扩容,先将新的节点加入到clsuter里,启动后用


ALTER ONLINE TABLE table_name REORGANIZE PARTITION
命令进行数据迁移,把数据平均分配到数据节点上。


    2.添加Slave仅仅扩展读,而不能做到写操作的横向扩展。


整个系统的平均负载可以描述为:

AverageLoad=∑readload+ ∑writeload / ∑capacity

假设每个服务器每秒有10000的事务量,而Master每秒的写负载为4000个事务,每秒的读负载为6000,结果就是:

AverageLoad=6000+4000/10000=100%


    现在,添加3个slave,每秒的事务量增加到40000。因为写操作也会被复制,每个写操作执行4次,这样每个slave的写负载就是每秒4000个事务。那么现在的平均负载为:


AverageLoad=6000+4*4000/ 4*10000=55%



MySQL集群的优缺点

优点:

    99.999%的高可用性;快速的自动失效切换;灵活的分布式体系结构,没有单点故障;高吞吐量和低延迟;可扩展性强,支持在线扩容


缺点:


    存在很多限制,比如:不支持外键;部署、管理、配置很复杂;占用磁盘空间大,内存大;备份和恢复不方便;重启的时候,数据节点将数据load到内存需要很长时间

版权声明:本文为博主原创文章,未经博主允许不得转载。

集群技术(三)MySQL集群深度解析

标签:

热心网友 时间:2022-04-08 02:33

开在一台服务器上,而是开到一个群组的所有服务器上,一般20台为一个群组。
问:集群空间跟传统空间的最大不同是什么?
答:集群空间有数据同步和宕机检测与智能解析域名的功能。
问:集群空间为什么会比传统空间稳定?
答:因为当客户开通一个集群空间后集群空间系统就会把客户的空间和站点资料同步到同
一个群组的所有服务器上,一但当前访问的服务器不能正常工作时,智能系统就会把客
户的域名解析到能正常工 作的服务器上。
问:站点数据同步需要多长时间?
答:新开设的站点数据同步到所有服务器上大概需要一个小时。如果站点数据小会更快。
问:站点参数(如:加减域名绑定)修改多长时间同步?
答:10分钟内同步成功
问:当服务器坏了多长时间会转移到正常的服务器上。
答:最长不会超过1分钟,因为宕机检测30秒一次,同时域名的重新解析也需要30秒才生
效。
问:站点跟数据库是否可以开在同一台服务器上?
答:最好不要,因为集群系统暂时还没同步大型数据库(mssql;mysql)。所以当服务器不
能正常工作时,集群系统只是把您的站点转移到别的服务器上,并没把数据库也同时转
移过去,所以最好把数据库开设在群外的服务器上。
问:集群空间是否支持开通php空间?
答:可以支持php,但还没办法同步mysql数据同步。将在二期工程实现.
问:集群空间跟传统空间使用上有什么不同?
答:考虑到用户的方便使用,我们在设计的时候就本着尽量减少手工操作的思路,所以在使
用方面他们没有太大的区别,唯一的区别是我们用免费提供的二级域名代替原来的IP,
也就是说使用传统的空间时,用户是把自己的域名解析到IP上,现在是作别名
(CNAME)解析到我们免费提供的二级域名,和登录FTP的地址是我们提供的二级域
名。
问:域名本身(不带www)如何作别名(CNAME)解析?
答:作别名解析的时候主机名不能为空,如果要给域名本身作别名解析请在主机名的位置上填写noprefix ,提交后自然变为空。
问:集群空间是否能防CC攻击?
答:集群空间系统本身没防CC攻击的功能。可我们也有自主开发的防CC攻击防火墙可以屏蔽掉95%的攻击IP。
问:正被攻击的空间转到集群空间是否马上有效。
答:必须在您把站点资料传到服务器上大概三个小时才有效,因为系统把您的站点资料同步到同群内的所有服务器上的过程需要大概三个小时。您站点资料比较少就会更快。追问以上说的不是web集群吗
那数据库mysql集群呢

热心网友 时间:2022-04-08 03:51

集群主要分成三大类 (高可用集群, 负载均衡集群,科学计算集群)
高可用集群( High Availability Cluster)
负载均衡集群(Load Balance Cluster)
科学计算集群(High Performance Computing Cluster)

1、高可用集群(High Availability Cluster)
常见的就是2个节点做成的HA集群,有很多通俗的不科学的名称,比如”双机热备”, “双机互备”, “双机”。高可用集群解决的是保障用户的应用程序持续对外提供服务的能力。 (请注意高可用集群既不是用来保护业务数据的,保护的是用户的业务程序对外不间断提供服务,把因软件/硬件/人为造成的故障对业务的影响降低到最小程度)。

2、负载均衡集群(Load Balance Cluster)

负载均衡系统:集群中所有的节点都处于活动状态,它们分摊系统的工作负载。一般Web服务器集群、数据库集群和应用服务器集群都属于这种类型。

负载均衡集群一般用于相应网络请求的网页服务器,数据库服务器。这种集群可以在接到请求时,检查接受请求较少,不繁忙的服务器,并把请求转到这些服务器上。从检查其他服务器状态这一点上看,负载均衡和容错集群很接近,不同之处是数量上更多。

3、科学计算集群(High Performance Computing Cluster)

高性能计算(High Perfermance Computing)集群,简称HPC集群。这类集群致力于提供单个计算机所不能提供的强大的计算能力。

高性能计算分类: 

3.1、高吞吐计算(High-throughput Computing)
有一类高性能计算,可以把它分成若干可以并行的子任务,而且各个子任务彼此间没有什么关联。象在家搜寻外星人( SETI@HOME – Search for Extraterrestrial Intelligence at Home )就是这一类型应用。
这一项目是利用Internet上的闲置的计算资源来搜寻外星人。SETI项目的服务器将一组数据和数据模式发给Internet上参加SETI的计算节点,计算节点在给定的数据上用给定的模式进行搜索,然后将搜索的结果发给服务器。服务器负责将从各个计算节点返回的数据汇集成完整的 数据。因为这种类型应用的一个共同特征是在海量数据上搜索某些模式,所以把这类计算称为高吞吐计算。
所谓的Internet计算都属于这一类。按照 Flynn的分类,高吞吐计算属于SIMD(Single Instruction/Multiple Data)的范畴。

3.2、分布计算(Distributed Computing)
另一类计算刚好和高吞吐计算相反,它们虽然可以给分成若干并行的子任务,但是子任务间联系很紧密,需要大量的数据交换。按照Flynn的分类,分布式的高性能计算属于MIMD(Multiple Instruction/Multiple Data)的范畴。

下面说说这几种集群的应用场景:

高可用集群这里不多作说明。

想Dubbo是比较偏向于负载均衡集群,用过的猿友应该知道(不知道的可以自行了解一下),Dubbo同一个服务是可以有多个提供者的,当一个消费者过来,它要消费那个提供者,这里是有负载均衡机制在里面的。

搜索引擎Elasticsearch比较偏向于科学计算集群的分布计算。

而到这里,可能不少猿友都知道,集群的一些术语:集群容错、负载均衡。

我们以Dubbo为例:
集群容错(http://bbo.io/User+Guide-zh.htm#UserGuide-zh-%E9%9B%86%E7%BE%A4%E5%AE%B9%E9%94%99)

Dubbo提供了这些容错策略:
集群容错模式:
可以自行扩展集群容错策略,参见:集群扩展
Failover Cluster
失败自动切换,当出现失败,重试其它服务器。(缺省)
通常用于读操作,但重试会带来更长延迟。
可通过retries="2"来设置重试次数(不含第一次)。

Failfast Cluster
快速失败,只发起一次调用,失败立即报错。
通常用于非幂等性的写操作,比如新增记录。

Failsafe Cluster
失败安全,出现异常时,直接忽略。
通常用于写入审计日志等操作。

Failback Cluster
失败自动恢复,后台记录失败请求,定时重发。
通常用于消息通知操作。

Forking Cluster
并行调用多个服务器,只要一个成功即返回。
通常用于实时性要求较高的读操作,但需要浪费更多服务资源。

可通过forks="2"来设置最大并行数。

Broadcast Cluster
广播调用所有提供者,逐个调用,任意一台报错则报错。(2.1.0开始支持)
通常用于通知所有提供者更新缓存或日志等本地资源信息。

负载均衡(http://bbo.io/User+Guide-zh.htm#UserGuide-zh-%E8%B4%9F%E8%BD%BD%E5%9D%87%E8%A1%A1)

Dubbo提供了这些负载均衡策略:

Random LoadBalance

随机,按权重设置随机概率。

在一个截面上碰撞的概率高,但调用量越大分布越均匀,而且按概率使用权重后也比较均匀,有利于动态调整提供者权重。

RoundRobin LoadBalance
轮循,按公约后的权重设置轮循比率。
存在慢的提供者累积请求问题,比如:第二台机器很慢,但没挂,当请求调到第二台时就卡在那,久而久之,所有请求都卡在调到第二台上。

LeastActive LoadBalance
最少活跃调用数,相同活跃数的随机,活跃数指调用前后计数差。
使慢的提供者收到更少请求,因为越慢的提供者的调用前后计数差会越大。

ConsistentHash LoadBalance
一致性Hash,相同参数的请求总是发到同一提供者。
当某一台提供者挂时,原本发往该提供者的请求,基于虚拟节点,平摊到其它提供者,不会引起剧烈变动。
算法参见:http://en.wikipedia.org/wiki/Consistent_hashing。

缺省只对第一个参数Hash,如果要修改,请配置<bbo:parameter key="hash.arguments" value="0,1" />

缺省用160份虚拟节点,如果要修改,请配置<bbo:parameter key="hash.nodes" value="320" />

热心网友 时间:2022-04-08 05:26

就是机器多一点嘛
声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
大同四区和市区的区别 大同云冈属于哪里 大同市云冈区建成区范围都有哪些 it wasn't long before i found a job.---before是什么意思 It wasn't long before a man from It wasn't long before和It won't be long before有什么区别吗? it wasn't long before和it won't be long before有什么不同?_百度知 ... 微信怎么查和一个好友的红包记录 马龙巴黎奥运会夺冠了吗 明天是中国的情人节??? 分布式 MySQL 集群方案,看看京东是怎么做的 Mysql“集群”和”主从“两者的区别 mysql集群中的数据节点是怎么存储数据的? mysql分布式集群的搭建方案 MySQL大型分布式集群具体怎么做 如何解决:mysql集群 mysql集群的几种方案 简述mysql该怎样进行集群部署 mysql集群间的数据复制是通过什么方式实现,一句话叙述原理 如何利用一个数据库中间件扩展MySQL集群 红警2进去怎么黑屏?进去光一个鼠标 红警2进游戏黑屏 跪求关于水利局实习周记10篇~~~求各路英雄豪杰拔刀相助呀 谁有轨道交通运营管理的实习周记,跪求 急求建筑施工员顶岗实习周记,报告!!越多越好啊 、谢谢!!! 求20篇cad实习周记,内容简单就行,字数每篇300左右 发到邮箱429358595@qq... ...建筑CAD设计员、建筑设备安装、其中一个题目的实习周记 准备要... 谁有工程造价的实习周记,急求 ~~ 求建筑设计专业的毕业实习周记(最好是一些有关做CAD之类的) 绘图员顶岗实习周记 只要10篇 谢谢 .. mysql 怎么实现集群 运维mysql主从复制集群中,遇到过哪些问题,如何解决 如何组建MySQL集群 生产环境都使用什么Mysql中间件 arm架构+Centos7.6部署Mysql集群的步骤? 怎样解决mysql 集群问题集 mysql集群架构 怎么看 ps4里的littlstar怎么才能登陆上 哪位大神试过littlstar vr cinema?能连得上吗 有没有人说说Littlstar的使用体验 世界上最早的国际邮展是什么? 最早的国际邮展是在哪个国家 世界上最早的国际邮展是哪国举办的? 世界上最早的国际邮展 世界上最早的国际邮展是在哪里举行的 最早的国际邮展是在哪里举办的? 世界最早的国际邮展在哪举办? 最早国际邮展哪个国家 世界上最早的国际邮展在哪里举办的 大货车是不是有规定必须买全保才能上路?