3.2.5分区信息对象的偏移量

3.2.5分区信息对象的偏移量

在结束本节之前,我们来看一下分区信息对象的偏移量在拉取钱程中的使用方式。消费者的拉取线程第一次拉取消息时,会从ZK中读取fetchedOffset来决定要从分区的哪个位置开始拉取消息。消费者在读取到消息后,会更新分区的consuMedOffset。同时,消费者也会使用consuMedOffset作为分区的消费进度并定时地提交到ZK中。

注意:但并不是说拉取线程每次拉取消息都要读取ZK的偏移量作为fetchedOffset(那样和ZK交互就太频繁了)。因为客户端已经保存了consuMedOffset来表示消息的消费进度,所以拉取线程在正常的拉取工作过程中,会直接读取本地的consuMedOffset作为下一次的fetchedOffset,并且会在读取到消息后更新consuMedOffset。通过这种方式,fetchedOffset和consuMedOffset不断交替更新,消费者就能不断读取到新的消息。

如图3-17所示,分区信息对象的偏移盘在拉取线程中起到很重要的作用,具体步骤如下。

(1)关闭拉取线程时提交consuMedOffset偏移量到ZK。
(2)重新启动拉取线程时读取ZK中的偏移量。
(3)将ZK的偏移量作为刚开始的fetchedOffset。
(4)客户端读取到消息后会更新consumedOffset。
(5)在这之后每次拉取使用的fetchedOffset都来向于最新的consumedOffset。
(6)客户端进程定时提交偏移i注和(l)类似,也是取consuMedOffset写到ZK中。

在这里插入图片描述

总结一下消费者客户端使用消费者连接器的主要工作,具体步骤如下。

(1)创建队列和消息流,前者用于保存消费者拉取的消息,后者会读取消息。
(2)注册各种事件的监昕器,当事件发生时,消费组所有消费者成员都会再平衡。
(3)再平衡会为消费者重新分配分区,并构造分区信息加入topicRegistry。
(4)拉取线程获取topicRegistry中分配给消费者的所有分区信息、开始T作。
相关推荐
<p> 课程演示环境:Windows10  </p> <p> 需要学习<span>Ubuntus</span>系统<span>YOLOv4-tiny</span>同学请前往《<span>YOLOv4-tiny</span>目标检测实战:训练自己数据集》 <span></span> </p> <p> <span> </span> </p> <p> <span style="color:#E53333;">YOLOv4-tiny</span><span style="color:#E53333;">来了!速度大幅提升!</span><span></span> </p> <p> <span> </span> </p> <p> <span>YOLOv4-tiny</span>在<span>COCO</span>上性能可达到:<span>40.2% AP50, 371 FPS (GTX 1080 Ti)</span>。相较于<span>YOLOv3-tiny</span>,<span>AP</span>和<span>FPS</span>性能有巨大提升。并且,<span>YOLOv4-tiny</span>权重文件只有<span>23MB</span>,适合在移动端、嵌入式设备、边缘计算设备上部署。<span></span> </p> <p> <span> </span> </p> <p> 本课程将手把手地教大家使用<span>labelImg</span>标注和使用<span>YOLOv4-tiny</span>训练自己数据集。课程实战分为两个项目:单目标检测(足球目标检测)和多目标检测(足球和梅西同时检测)。<span></span> </p> <p> <span> </span> </p> <p> 本课程<span>YOLOv4-tiny</span>使用<span>AlexAB/darknet</span>,在<span>Windows10</span>系统上做项目演示。包括:<span>YOLOv4-tiny</span>网络结构、安装<span>YOLOv4-tiny</span>、标注自己数据集、整理自己数据集、修改配置文件、训练自己数据集、测试训练出网络模型、性能统计<span>(mAP</span>计算<span>)</span>和先验框聚类分析。 <span> </span> </p> <p> <span> </span> </p> <p> 除本课程《<span>Windows</span>版<span>YOLOv4-tiny</span>目标检测实战:训练自己数据集》外,本人推出了有关<span>YOLOv4</span>目标检测系列课程。请持续关注该系列其它视频课程,包括:<span></span> </p> <p> 《<span>Windows</span>版<span>YOLOv4</span>目标检测实战:训练自己数据集》<span></span> </p> <p> 《<span>Windows</span>版<span>YOLOv4</span>目标检测实战:人脸口罩佩戴识别》<span></span> </p> <p> 《<span>Windows</span>版<span>YOLOv4</span>目标检测实战:中国交通标志识别》<span></span> </p> <p> 《<span>Windows</span>版<span>YOLOv4</span>目标检测:原理与源码解析》<span></span> </p> <p> <span> <img alt="" src="https://img-bss.csdnimg.cn/202007061503586145.jpg" /></span> </p> <p> <span><img alt="" src="https://img-bss.csdnimg.cn/202007061504169339.jpg" /><br /> </span> </p>
©️2020 CSDN 皮肤主题: 酷酷鲨 设计师:CSDN官方博客 返回首页