3.1.2 消费者客户端的线程模型

3.1.2 消费者客户端的线程模型

消费者连接器的createMessageStreams()方法会调用consume()方法,但consume()方法并不真正消费数据,而只是为消费消息做准备工作,具体步骤如下。

(1)根据客户端传入的topicCountMap构造对应的队列和消息流,消息流引用了队列。
(2)在ZK的消费组父节点下注册消费者子节点。
(3)执行初始化工作,触发再平衡,为消费者分配分区,拉取线程会拉取消息放到队列中。
(4)返回消息流列表,队列中有数据时,客户端就可以从消息流中迭代读取消息。

相关代码如下
在这里插入图片描述
消费者连接拇为了存储拉取线程拉取的消息,本质上还是使用“队列”这种具有缓冲功能的数据结构。将队列封装到消息流中,那么队列和消息流是一一对应的。而根据线程模型,为了保证相同进程内不同线程互相隔离,客户端设置的topicCountMap有多少个线程,就对应了多少个队列和消息流。

消费者客户端线程模型的主要概念有消费者线程、队列、消息流,这三者的关系都是一一对应的。如果将线程模型和服务端的分区再结合起来,一个线程允许分配多个分区,那么多个分区会共用同一个线程对应的一个队列和一个消息流。下面我们分析几个和消费者线程模型相关的变量。

  • topicCountMap,设置主题及其对应的线程个数,每个钱程都对应一个队列和一个消息流。
  • consumer时,即“消费者编号”,用“消费组名称+随机值”表示,指定消费者在消费组中的唯一编号。
  • ConsumerThreadid,即“消费者线程编号”,用“消费者编号+线程编号”表示。
  • consumerThreadidsPerTopicMap,表示每个主题和消费者线程编号集合的映射关系。
  • topicThreadids,表示所有的消费者线程编号集合,相同主题的线程会在同一个数组里。
  • topicThreadidAndQueues,表示消费者线程和队列的映射关系,因为每个线程对应一个队列。

下面的示例中,假设消费者Cl订阅的主题l有2个线程,主题2有3个线程。topicThread!ds一共有5个消费者线程,队列和消息流的组合(queuesAndStreams)也有5个元素:

在这里插入图片描述
消费者客户端只需要指主订阅的主题和线程数量,具体主题分成几个分区、线程分配到了哪些分区、分区分布在哪些节点上,对客户端都是透明的。客户端的关注点是·每个线程都对应一个队列,每个队91J都对应了一个消息流,只要队列中有数据,就能从消息流中迭代读取出消息。但是,consume()方法仅仅创建了队列,还没有往队列中填充数据。客户端在迭代消息流时会轮询队列,那么一定要有其他的线程(即“拉取线程”)往队列中生产数据。如阁3-1l所示,队列作为消息流和拉取线程的共享内存数据结构,会通过消费者连接器的topicThreadldAndQue盹S全局引用,传递到拉取线程。当拉取线程往队列中填充数据时,消费者客户端就可以通过消息流从队列rJ=1读取消息。

在这里插入图片描述

相关推荐
<p> <span style="font-size:14px;color:#E53333;">限时福利1:</span><span style="font-size:14px;">购课进答疑群专享柳峰(刘运强)老师答疑服务</span> </p> <p> <br /> </p> <p> <br /> </p> <p> <span style="font-size:14px;"></span> </p> <p> <span style="font-size:14px;color:#337FE5;"><strong>为什么需要掌握高性能MySQL实战?</strong></span> </p> <p> <span><span style="font-size:14px;"><br /> </span></span> <span style="font-size:14px;">由于互联网产品用户量大、高并发请求场景多,因此对MySQL性能、可用性、扩展性都提出了很高要求。使用MySQL解决大量数据以及高并发请求已经是程序员必备技能,也是衡量一个程序员能力和薪资标准之一。</span> </p> <p> <br /> </p> <p> <span style="font-size:14px;">为了让大家快速系统了解高性能MySQL核心知识全貌,我为你总结了</span><span style="font-size:14px;">「高性能 MySQL 知识框架图」</span><span style="font-size:14px;">,帮你梳理学习重点,建议收藏!</span> </p> <p> <br /> </p> <p> <img alt="" src="https://img-bss.csdnimg.cn/202006031401338860.png" /> </p> <p> <br /> </p> <p> <span style="font-size:14px;color:#337FE5;"><strong>【课程设计】</strong></span> </p> <p> <span style="font-size:14px;"><br /> </span> </p> <p> <span style="font-size:14px;">课程分为四大篇章,将为你建立完整 MySQL 知识体系,同时将重点讲解 MySQL 底层运行原理、数据库性能调优、高并发、海量业务处理、面试解析等。</span> </p> <p> <span style="font-size:14px;"><br /> </span> </p> <p> <span style="font-size:14px;"></span> </p> <p style="text-align:justify;"> <span style="font-size:14px;"><strong>一、性能优化篇:</strong></span> </p> <p style="text-align:justify;"> <span style="font-size:14px;">主要包括经典 MySQL 问题剖析、索引底层原理和事务与锁机制。通过深入理解 MySQL 索引结构 B+Tree ,学员能够从根本上弄懂为什么有些 SQL 走索引、有些不走索引,从而彻底掌握索引使用和优化技巧,能够避开很多实战中遇到“坑”。</span> </p> <p style="text-align:justify;"> <br /> </p> <p style="text-align:justify;"> <span style="font-size:14px;"><strong>二、MySQL 8.0新特性篇:</strong></span> </p> <p style="text-align:justify;"> <span style="font-size:14px;">主要包括窗口函数和通用表表达式。企业中许多报表统计需求,如果不采用窗口函数,用普通 SQL 语句是很难实现。</span> </p> <p style="text-align:justify;"> <br /> </p> <p style="text-align:justify;"> <span style="font-size:14px;"><strong>三、高性能架构篇:</strong></span> </p> <p style="text-align:justify;"> <span style="font-size:14px;">主要包括主从复制和读写分离。在企业生产环境中,很少采用单台MySQL节点情况,因为一旦单个节点发生故障,整个系统都不可用,后果往往不堪设想,因此掌握高可用架构实现是非常有必要。</span> </p> <p style="text-align:justify;"> <br /> </p> <p style="text-align:justify;"> <span style="font-size:14px;"><strong>四、面试篇:</strong></span> </p> <p style="text-align:justify;"> <span style="font-size:14px;">程序员获得工作第一步,就是高效准备面试,面试篇主要从知识点回顾总结角度出发,结合程序员面试高频MySQL问题精讲精练,帮助程序员吊打面试官,获得心仪工作机会。</span> </p>
©️2020 CSDN 皮肤主题: 酷酷鲨 设计师:CSDN官方博客 返回首页