消息队列总结：RabbitMQ、Kafka、RocketMQ 与 Redis MQ 选型对比与实践避坑

消息队列是分布式系统里最常见的「异步管道」。这篇笔记把 RabbitMQ、Kafka、RocketMQ 和 Redis MQ 放在一起比较，重点回答：什么时候该用哪个？推和拉到底怎么选？长连接有什么影响？以及实际使用中的避坑和异常处理经验。

一、为什么需要消息队列？

在没有 MQ 的系统中，A 服务调用 B 服务通常是同步的：

A ──同步调用──▶ B ──同步调用──▶ C
     等待返回      等待返回

链路越长，响应越慢，容错越差。MQ 的核心价值是把「同步依赖」变成「异步管道」：

A ──发送消息──▶ MQ ──接收消息──▶ B
   立即返回         异步处理

1.1 MQ 解决的三大问题

1. 解耦：生产方只负责发消息，不用关心谁消费、怎么消费。
2. 异步：把非核心链路（发短信、记日志、发券）从主流程剥离，降低接口 RT。
3. 削峰填谷：突发流量先写入队列，下游按自身能力消费，避免被压垮。

1.2 什么时候必须引入 MQ？

• 上下游处理速度差异大，同步调用会导致阻塞或超时。
• 需要保证某些操作最终执行，但不需要实时返回结果。
• 系统拆分后，多个服务需要感知同一事件。
• 大促/活动场景下，需要缓冲突发流量。

二、四种 MQ 横向对比

RabbitMQ、Kafka、RocketMQ 是主流企业级 MQ，Redis 也能当轻量 MQ 用，但定位不同。

2.1 核心定位

2.2 性能对比

说明：

• Kafka 吞吐数字通常来自批量、压缩、顺序写的日志场景；单条小消息低延迟不如 RocketMQ。
• RabbitMQ 延迟低，但高吞吐和海量堆积不是强项。
• RocketMQ 在「中等吞吐 + 低延迟 + 强堆积」之间取得了较好平衡。
• Redis MQ 性能高，但消息堆积、持久化、事务、延迟消息都不完善，适合轻量、临时场景。

2.3 成本与生态

2.4 适用场景推荐

2.5 一句话选型

可靠交易、事务消息、顺序消息、在线业务  →  RocketMQ
快速搭建、路由灵活、团队规模小          →  RabbitMQ
日志/流处理/大数据管道、吞吐优先          →  Kafka
轻量通知、临时队列、已有 Redis 生态       →  Redis MQ

很多大厂内部是「Kafka 做日志流 + RocketMQ 做业务消息 + RabbitMQ 做轻量任务 + Redis 做缓存/通知」组合使用，不是单选题。

三、底层架构与核心差异

3.1 四种 MQ 架构对比

flowchart LR
    subgraph RocketMQ
        P1[Producer] --> NS[NameServer]
        NS --> B1[Broker Master]
        B1 --> B2[Broker Slave]
        B1 --> C1[Consumer]
    end

    subgraph Kafka
        P2[Producer] --> KZ[ZooKeeper / KRaft]
        KZ --> KB1[Broker 1]
        KZ --> KB2[Broker 2]
        KB1 --> C2[Consumer]
    end

    subgraph RabbitMQ
        P3[Producer] --> EX[Exchange]
        EX --> Q1[Queue A]
        EX --> Q2[Queue B]
        Q1 --> C3[Consumer A]
        Q2 --> C4[Consumer B]
    end

    subgraph RedisMQ
        P4[Producer] --> R[(Redis)]
        R --> C5[Consumer BLPOP]
        R --> C6[Subscriber]
    end

3.2 存储模型

flowchart TB
    subgraph RocketMQ_Storage["RocketMQ 存储模型"]
        CL[CommitLog<br/>所有消息顺序写]
        CQ1[ConsumeQueue A<br/>偏移索引]
        CQ2[ConsumeQueue B<br/>偏移索引]
        CL --> CQ1
        CL --> CQ2
    end

    subgraph Kafka_Storage["Kafka 存储模型"]
        KP1[TopicA-P0 Log<br/>独立 Partition]
        KP2[TopicA-P1 Log<br/>独立 Partition]
    end

    subgraph RabbitMQ_Storage["RabbitMQ 存储模型"]
        MQ1[Queue A<br/>独立索引]
        MQ2[Queue B<br/>独立索引]
    end

3.3 路由与元数据管理

3.4 复制与高可用

四、推、拉模式与长连接

4.1 Push vs Pull 对比

4.2 四种 MQ 的推拉实现

4.3 长连接的影响

flowchart LR
    subgraph 长连接优势
        A1[低延迟]
        A2[实时推送]
        A3[减少建连开销]
    end

    subgraph 长连接代价
        B1[连接数消耗大]
        B2[需要心跳保活]
        B3[网络断开感知延迟]
        B4[Consumer 慢会拖垮 Broker]
    end

长连接的好处：

• 消息到达可以立刻推送给 Consumer，延迟低。
• 避免频繁建立/断开 TCP 连接的开销。
• 适合在线业务、实时通知类场景。

长连接的代价：

• Broker 需要维护大量连接，连接数成为重要资源。
• 必须有心跳机制，否则无法及时发现 Consumer 宕机。
• Consumer 处理慢时，消息会堆积在 Broker 内存或磁盘，容易把 Broker 压垮。
• 网络闪断后需要重连、重平衡，可能带来消费抖动。

4.4 选择原则

flowchart TD
    A[选择消费模式] --> B{实时性要求高?}
    B -->|是| C{消费逻辑轻量?}
    B -->|否| D[Pull 模式]
    C -->|是| E[Push 模式]
    C -->|否| F[Pull 模式 或 限流 Push]
    D --> G[批量处理/ETL/数据同步]
    E --> H[在线业务/实时通知]
    F --> I[重任务/视频渲染/大数据]

五、使用注意点与避坑指南

5.1 RocketMQ 避坑

5.2 Kafka 避坑

5.3 RabbitMQ 避坑

5.4 Redis MQ 避坑

5.5 通用最佳实践

1. 消息体尽量小：传 ID 不传大对象。
2. 幂等设计：所有 Consumer 都要做幂等，MQ 只保证至少一次投递。
3. 监控到位：堆积量、消费 TPS、延迟、死信队列、Broker 资源。
4. 版本一致：服务端和客户端版本不要差距太大。
5. 提前创建资源：生产环境不要依赖自动创建 Topic/Queue。
6. 区分可重试与不可重试异常：网络抖动可以重试，参数错误直接进死信。

六、异常场景处理（分 MQ 说明）

下面列出的异常场景在 RocketMQ、RabbitMQ、Kafka、Redis MQ 中都会遇到，但每种 MQ 提供的机制和最佳实践不同。这一节把四种 MQ 放在一起对比说明。

flowchart LR
    P[Producer 发送层] -->|发送失败/超时| B[Broker 存储层]
    B -->|刷盘/复制失败| C[Consumer 消费层]
    C -->|重复/失败/卡住| Biz[业务异常兜底]

6.1 消息丢失：各 MQ 如何防范

消息丢失通常发生在三个环节：Producer 发送失败、Broker 存储失败、Consumer 消费失败未 ACK。四种 MQ 的防范方式如下：

关键提醒：

• RocketMQ：SYNC_MASTER + SYNC_FLUSH 配置最安全，但性能最低；在线交易通常用 SYNC_MASTER + ASYNC_FLUSH 折中。
• RabbitMQ：默认自动 ACK 最容易丢消息，生产环境一定要改手动 ACK。
• Kafka：acks=all 配合 min.insync.replicas 才能保证写入 ISR 多数副本；只配置 acks=all 不够。
• Redis MQ：Redis 本身不是为消息可靠性设计的，不要把核心交易消息的防丢失交给 Redis。

6.2 消息重复：各 MQ 的投递语义与幂等

四种 MQ 大多只保证「至少一次投递」（at-least-once），重复消费要靠业务层幂等。

# 通用幂等伪代码，适用于四种 MQ
def consume(msg):
    biz_key = extract_biz_key(msg)  # RocketMQ keys / RabbitMQ message_id / Kafka key
    try:
        idempotent_record.insert(biz_key=biz_key, status="processing")
    except UniqueViolation:
        return SUCCESS  # 已处理过，直接成功

    try:
        do_business(msg)
        idempotent_record.update(biz_key, status="done")
        return SUCCESS
    except RetryableException:
        idempotent_record.update(biz_key, status="failed")
        return RETRY
    except NonRetryableException:
        idempotent_record.update(biz_key, status="failed")
        return DEAD_LETTER

6.3 消费失败：重试与死信机制

消费失败后，不同 MQ 的重试和死信（DLQ）机制差异很大：

flowchart TD
    A[Consumer 处理失败] --> B{MQ 类型}
    B -->|RocketMQ| C[返回 RECONSUME_LATER]
    B -->|RabbitMQ| D[NACK + requeue=false 进 DLX]
    B -->|Kafka| E[写入 Error Topic 或暂停消费]
    B -->|Redis Stream| F[XCLAIM 或人工处理 Pending]
    C --> G{重试超限?}
    G -->|是| H[进入 DLQ]
    G -->|否| C
    D --> H
    E --> I[补偿服务消费 Error Topic]
    F --> J[业务侧补偿]

可重试异常：网络超时、依赖服务短暂不可用、数据库连接池耗尽。

不可重试异常：参数非法、依赖返回 4xx、业务规则冲突、数据不存在。

6.4 业务异常处理

业务异常（如参数错误、状态冲突、规则校验失败）和系统异常（网络、DB、依赖故障）要分开处理。

flowchart TD
    A[Consumer 捕获异常] --> B{异常类型}
    B -->|系统异常<br/>网络/DB/依赖| C[MQ 重试]
    B -->|业务异常<br/>参数/规则/状态冲突| D[记录失败明细]
    D --> E{能否修复?}
    E -->|能| F[人工补偿/修复后重投]
    E -->|不能| G[进死信队列或丢弃]
    C --> H{重试成功?}
    H -->|否| I[进入死信/Error Topic]

业务异常兜底策略：

1. 记录失败明细：消息内容、异常原因、时间、Consumer 实例、业务 Key。
2. 人工补偿平台：按业务 Key 重投、跳过、标记已处理。
3. 状态机兜底：订单等核心业务要有最终一致性校验。
4. 告警分级：死信队列增长、消费停滞、重试频繁分级告警。
5. 不要无限重试业务异常：参数错误重试 16 次没有意义。

6.5 消息卡住/消费停滞

消费停滞是四种 MQ 都会遇到的异常，但原因和处理方式各有侧重：

flowchart LR
    A[消息堆积] --> B{原因}
    B -->|Consumer 少| C[扩容 Consumer]
    B -->|单条处理慢| D[优化消费逻辑/异步化]
    B -->|Consumer 宕机| E[心跳超时触发重平衡]
    B -->|下游依赖慢| F[限流/降级/异步处理]
    B -->|Partition/Queue 热点| G[调整 Key 或增加分区]

6.6 顺序消息异常

顺序消息一旦某条处理卡住，后续消息都会被阻塞，四种 MQ 的处理方式不同：

flowchart LR
    A[Queue/Partition 内顺序消费] --> B[消息 1 处理失败或超慢]
    B --> C[消息 2 等待]
    C --> D[消息 3 等待]
    B --> E{如何处理?}
    E -->|跳过| F[破坏顺序性]
    E -->|重试| G[阻塞后续消息]
    E -->|转移| H[进死信/Error Topic]

顺序消息异常处理原则：

• 只在真正需要顺序的场景使用顺序消息。
• 单条消息处理要轻量，避免长耗时阻塞队列。
• 业务上设计「局部顺序」而不是「全局顺序」。
• 顺序消息失败时，优先考虑业务补偿，而不是无限重试或简单跳过。

七、总结

1. 选型不是单选题：RocketMQ 适合在线业务，Kafka 适合日志/流处理，RabbitMQ 适合轻量快速落地，Redis MQ 适合轻量辅助场景。
2. 推/拉不是对立关系：RocketMQ 的 Push 底层是长轮询 Pull；RabbitMQ 是真 Push；Kafka 是真 Pull。选择看「谁来控制消费节奏」。
3. 长连接是双刃剑：实时性好，但连接维护、背压、心跳都要考虑。
4. 异常处理要分层：发送层确认、Broker 层持久化、消费层幂等 + 重试 + 死信。
5. 业务异常要兜底：区分可重试与不可重试，建立补偿机制和人工介入平台。
6. 避坑靠规范：订阅一致、消息体小、顺序消息慎用、监控到位、版本一致。

参考

• RocketMQ 基础科普：推/拉/通知模式、异常处理与高并发实践
• 《RocketMQ 实战与核心原理》
• 《RocketMQ 技术内幕》
• 《Kafka 权威指南》
• 《RabbitMQ 实战指南》

如果对你有帮助，欢迎在评论区交流你在 MQ 选型或异常处理上的经验。

• 系统架构

• 消息队列
• RabbitMQ
• Kafka
• RocketMQ
• Redis MQ
• 分布式系统
• 后端架构

方糖猫（大可）

18 年后端架构，现在独立做 AI 产品。这里记录 AI 视频、AI Agent 与工程实践。