NSQ源码剖析之nsqd
NSQ简介 NSQ 是实时的分布式消息处理平台，其设计的目的是用来大规模地处理每天数以十亿计级别的消息。NSQ 具有分布式和去中心化拓扑结构，该结构具有无单点故障、故障容错、高可用性以及能够保证消息的可靠传递的特征，是一个成熟的、已在大规模生成环境下应用的产品。 NSQ 由 3 个守护进程 ...
原文：NSQ源码剖析(一)：NSQD主要结构方法和消息生产消费过程
目录 概述 主要结构体及方法 . NSQD . tcpServer . protocolV . clientV . Topic . channel 启动过程 消费和生产过程 . 消息生产 . 消息消费 . 延迟消费 概述 NSQ包含 个组件: nsqd：每个nsq实例运行一个nsqd进程，负责接收生产者消息 向nsqlookupd注册 向消费者推送消息 nsqlookupd：集群注册中心，可以有 ...
2020-02-01 14:30 2 1076 推荐指数：
相关推荐
go笔记 NSQ (6) ( nsqd如何创建消费者以及消费消息)
前面几章中可以看到，nsq进行消息消费的时候主要使用tcpServer去处理，也就是如下的方法 func (p *tcpServer) Handle(clientConn net.Conn) { p.ctx.nsqd.logf(LOG_INFO, "TCP: new ...
go笔记 NSQ (5) ( nsqd如何监听生产者的消息，select关键字使用)
本节主要来探究nsq如何监听生产者的消息。 通过上节我们得知nsq接收消息发送主要是靠下面这个http处理器 当然了也可以通过原生tcp的方式进行消息发送，由于具体处理流程类似，所以文末会有提到。 router.Handle("POST", "/pub ...
nsq源码阅读笔记之nsqd（四）——Channel
与Channel相关的代码主要位于nsqd/channel.go, nsqd/nsqd.go中。 Channel与Topic的关系 Channel是消费者订阅特定Topic的一种抽象。对于发往Topic的消息，nsqd向该Topic下的所有Channel投递消息，而同一个Channel只投递一次 ...
SpringBoot 消费NSQ消息
使用监听器，来实现实时消费nsq的消息 一、目前spring boot中支持的事件类型如下 ApplicationFailedEvent：该事件为spring boot启动失败时的操作 ApplicationPreparedEvent：上下文context准备时触发 ...
nsq的消费者通过nsqlookup连接nsqd发生的timeout的错误
报错如下： 要弄明白这个错误，我们就得知道它的原因 在nsq中，如果消费者通过nsqlookup去连接nsqd从而获取消息中的数据，那个他的过程是如下的： 首先启动一个nsqlookup节点，用来维护，管理，发现nsqd节点 然后启动nsqd节点，nsqd节点启动的时候需要 ...
剖析nsq消息队列(二) 去中心化源码解析
剖析nsq消息队列-目录 在上一篇帖子剖析nsq消息队列(一) 简介及去中心化实现原理中，我介绍了nsq的两种使用方式，一种是直接连接，还有一种是通过nslookup来实现去中心化的方式使用，并大概说了一下实现原理，没有什么难理解的东西，这篇帖子我把nsq实现去中心化的源码和其中的业物逻辑展示 ...
springboot项目整合nsq，消费者直连nsqd
项目需要用到nsq，并且是单点的，网上看到的springboot整合nsq都是先连接lookup后，从lookup获取nsqd的连接信息。由于本项目用到了docker，映射的端口都不是原始端口了。而lookup分发的连接nsqd还是默认的4150端口。所以是连不通的。这时候需要直连nsqd ...