第 2 章 · Kafka 核心架构总览

Broker / Topic / Partition / Replica / Leader / Follower 全景可视化 · 可调集群规模 · 读写链路动画 · Broker 宕机自动切换

1. 实时调整集群规模，看分区 / 副本如何分布

Kafka 创建 Topic 时，Controller 会按「轮转 + 错位」算法把每个 Partition 的副本均匀分配到所有 Broker。同一分区的多个副本永远不会落在同一台 Broker（除非副本数 > Broker 数才会报错）。下面拖动滑块感受这个分布过程：

Leader（接收读写） Follower（同步副本） 未分配

📋 等价的 kafka-topics.sh --describe 输出


    

  


  
  

    

      
2. 一条消息的完整生命周期（12 步）

      
点 下一步 单步演示，或点 自动播放 看完整动画。每一步都对应本章 §2.3 时序图里的一笔。

      

        
        
        
        
      


      

      
    
        
  1. Producer 调用 produce()，本地攒 batch（linger.ms / batch.size）
    2. 
        
  2. batch 攒满 → 通过 TCP 发 ProduceRequest 到 Partition Leader（Broker 1）
    3. 
        
  3. Leader 顺序追加到 .log，分配 offset = N
    4. 
        
  4. Follower 后台 Fetcher 线程发 FetchRequest 拉数据
    5. 
        
  5. Leader 回 FetchResponse 把新 batch 推给两个 Follower
    6. 
        
  6. Follower 写本地 .log，下次 Fetch 携带新 LEO 给 Leader
    7. 
        
  7. Leader 推进 HW = min(ISR.LEO)；当 HW ≥ N 时…
    8. 
        
  8. …回 ProduceResponse(offset=N) 给 Producer（acks=all 完成）
    9. 
        
  9. Consumer 调 poll() → 发 FetchRequest
    10. 
        
  10. Leader 回 batch（只回 ≤ HW 的部分），Consumer 反序列化打印
    11. 
        
  11. Consumer 业务处理完调 commit()，发 OffsetCommit 到 Group Coordinator
    12. 
        
  12. Coordinator 把 offset 写入 __consumer_offsets，回 ACK
    13. 
      

    

  


  
  

    

      
3. Broker 挂掉后 Leader 自动切换

      
下面是一个 3 Broker × 6 Partition × 3 Replica 的集群。点击下方任意 Broker 让它「宕机」，观察该 Broker 上的 Partition Leader 自动切换到 ISR 中的 Follower。Controller（Active Controller，黄色高亮）负责执行整个故障切换流程。


      


      

        
      


      

      
📜 Controller 操作日志

      


      

        ⚠️ 真实生产环境的 Leader 切换通常在 1~3 秒内完成（受 zookeeper.session.timeout.ms 或 KRaft Heartbeat 周期影响）。期间该分区短暂不可写，Producer 会收到 NOT_LEADER_FOR_PARTITION 错误并自动重试。