一、MQ 概述
- MQ(message queue),在互联网架构中,MQ 是一种非常常见的上下游“逻辑解耦+物理解耦”的消息通信服务。使用了 MQ 之后,消息发送上游只需要依赖 MQ,不用依赖其他服务。MQ多用于分布式系统之间进行通信。
换句话说:
有一个大的系统由A系统和B系统组成,A系统先将数据发送给MQ,然后MQ将数据发送给B系统,实现A系统和B系统之间的数据传输。A系统生产数据,称为生产者。B系统消费数据,称为消费者。MQ为存储数据的消息中间件。
MQ 分类
目前市面上常见的MQ有以下几款,从下图可以看出他们之间的区别。
二、MQ的三大优势
以电商应用为例,应用中有订单系统、库存系统、物流系统、支付系统。
应用解耦
在软件设计或者编写代码时,都会追求高内聚低耦合,耦合性降低,系统可用性,扩展性增强。在分布式系统中,需要降低系统之间的耦合性。
用户点击提交订单按钮,访问到订单系统,订单系统需要操作库存、支付、物流三个系统,从上图中的架构方式可以看到,各个系统之间的耦合性较高。当库存系统出现问题后,订单系统操作的整个链路将无法继续进行,导致订单系统出现问题,这是其一。
其二,如果在上图的架构中再加入一个X系统,开发订单系统的人员需要修改订单系统的代码,添加访问X系统的链路代码。如果后期再加系统呢,开发人员需要天天改动,导致代码的可维护性降低。
总结:如果系统耦合性越高的话就会导致系统的容错性降低,可维护性也降低。
这时就需要引入MQ解决以上问题。
用户点击提交订单按钮,访问到订单系统,订单系统只需要发送消息给MQ就可以,然后返回给用户订单提交成功。下游的库存、支付、物流系统只需要消费MQ中的消息数据就可以。当库存系统出问题时,不会影响其他系统的使用;如果需要加入新系统,订单系统的开发人员也无需修改代码,直接让新的系统消费MQ中数据就好。提升了容错性和可维护性。
异步处理
如上图,使用同步方式订单系统进行调用库存、支付、物流三个系统
分别消耗时间300ms,当用户进行下订单操作时总共花费920ms,时长去进行等待,可见系统的响应时间非常慢,为了提升系统的响应速度,引入MQ实现异步处理。
如上图,当用户进行下订单操作后,订单系统向MQ发送数据花费5ms,操作数据库花费20ms,订单系统向用户响应下单成功,整体只消耗25ms处理完一个请求,提高用户的体验和系统的吞吐量。
流量削峰
举个例子:A系统接收用户的请求,每秒钟处理1000个请求。
在双十一的时候,为了提高网站的用户使用量,推出了一个秒杀活动。在当天的12点左右,大量的用户进入A系统,产生大量的请求访问,当请求量剧增时,A系统无法处理,导致A系统宕机。
引入MQ进行流量削峰,当大量的用户进行秒杀活动时,请求数据都先到MQ,然后A系统去消费MQ中的数据,提高A系统的可用性和稳定性。
三、RabbitMQ概述
- AMQP,即Advanced Message Queuing Protocol,一个提供统一消息服务的应用层标准高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计。基于此协议的客户端与消息中间件可传递消息,并不受客户端/中间件不同产品,不同的开发语言等条件的限制。Erlang中的实现有RabbitMQ等。
- RabbitMQ是实现了高级消息队列协议(AMQP)的开源消息代理软件(亦称面向消息的中间件)。RabbitMQ服务器是用Erlang语言编写的,而集群和故障转移是构建在开放电信平台框架上的。所有主要的编程语言均有与代理接口通讯的客户端库。
- RabbitMQ 是一个消息中间件:它接受并转发消息。你可以把它当做一个快递站点,当你要发送一个包裹时,你把你的包裹放到快递站,快递员最终会把你的快递送到收件人那里,按照这种逻辑 RabbitMQ 是一个快递站,一个快递员帮你传递快件。RabbitMQ 与快递站的主要区别在于,它不处理快件而是接收,存储和转发消息数据。
四个关键概念
- 生产者:产生数据发送消息的程序是生产者。
-
交换机:
交换机是 RabbitMQ 非常重要的一个部件,一方面它接收来自生产者的消息,另一方面它将消息推送到队列中。交换机必须确切知道如何处理它接收到的消息,是将这些消息推送到特定队列还是推送到多个队列,亦或者是把消息丢弃,这个得有交换机类型决定。 -
队列:
队列是 RabbitMQ 内部使用的一种数据结构,尽管消息流经 RabbitMQ 和应用程序,但它们只能存储在队列中。队列仅受主机的内存和磁盘限制的约束,本质上是一个大的消息缓冲区。许多生产者可以将消息发送到一个队列,许多消费者可以尝试从一个队列接收数据。这就是我们使用队列的方式。 -
消费者:
消费与接收具有相似的含义。消费者大多时候是一个等待接收消息的程序。请注意生产者,消费者和消息中间件很多时候并不在同一机器上。同一个应用程序既可以是生产者又是可以是消费者。
名词解释
- Broker:接收和分发消息的应用,RabbitMQ Server 就是 Message Broker
- Virtual host:出于多租户和安全因素设计的,把 AMQP 的基本组件划分到一个虚拟的分组中,类似于网络中的 namespace 概念。当多个不同的用户使用同一个 RabbitMQ server 提供的服务时,可以划分出多个 vhost,每个用户在自己的 vhost 创建 exchange/queue 等
- Connection:publisher/consumer 和 broker 之间的 TCP 连接
- Channel:如果每一次访问 RabbitMQ 都建立一个 Connection,在消息量大的时候建立 TCP Connection 的开销将是巨大的,效率也较低。Channel 是在 connection 内部建立的逻辑连接,如果应用程序支持多线程,通常每个 thread 创建单独的 channel 进行通讯,AMQP method 包含了 channel id 帮助客户端和 message broker 识别 channel,所以 channel 之间是完全隔离的。Channel 作为轻量级的Connection 极大减少了操作系统建立 TCP connection 的开销
- Exchange:message 到达 broker 的第一站,根据分发规则,匹配查询表中的 routing key,分发消息到 queue 中去。常用的类型有:direct (point-to-point), topic (publish-subscribe) and fanout (multicast)
- Queue:消息最终被送到这里等待 consumer 取走
- Binding:exchange 和 queue 之间的虚拟连接,binding 中可以包含 routing key,Binding 信息被保存到 exchange 中的查询表中,用于 message 的分发依据。
四、RabbitMQ核心模块
RabbitMQ提供了六种工作模式:简单模式、work queues、发布订阅模式、路由模式、主题模式、RPC远程调用模式。
本次分享RabbitMQ入门概述到这里就结束了,希望对大家有所帮助!!!