learnNote

主题

从 0 到 1 学习 Kafka ​

一、项目目标 ​

打造一套适合零基础小白入门、同时覆盖底层原理与面试高频考点的 Kafka 学习教程。要求内容由浅入深、图文并茂、能动手实操，最终达到「看完会用、用了懂原理、面试能答上」的效果。

与 MySQL / PostgreSQL / Redis / ClickHouse 教程的差异化定位：

  • 强调「分布式日志 + 消息中间件 + 流处理平台」三位一体：Kafka 不只是一个「消息队列」，它本质上是一个可重放的分布式提交日志（Distributed Commit Log），之上衍生出 MQ、Event Sourcing、流式计算、CDC 等多种场景。讲解时要时刻让读者意识到「Kafka 的底座是日志，不是队列」。
  • 强调「顺序写 + PageCache + 零拷贝」：这是 Kafka 吞吐高的核心秘密，必须用图解把「磁盘顺序写为什么比内存随机写还快」「sendfile 零拷贝如何绕过用户态」讲透。
  • 强调「分区（Partition）是一切的原子单位」：分区既是并行度、又是顺序保证的边界、又是副本与故障转移的最小单元，几乎所有设计（消费者组再平衡、ISR、Exactly Once、事务、Compaction）都围绕分区展开，必须作为贯穿始终的主线。
  • 强调「从 ZooKeeper 到 KRaft 的演进」：Kafka 2.8 之前依赖 ZooKeeper 管理元数据，3.x 后逐步切到自研的 KRaft（基于 Raft），4.0 起完全移除 ZK。教程要同时讲清楚两种架构，并说明生产环境的迁移路径。
  • 强调「消息中间件大家族对比」：要把 Kafka 放到「RabbitMQ / RocketMQ / Pulsar / NATS / Redis Stream」中比较，让读者理解它的生态位（高吞吐、顺序、可回溯 vs 低延迟 RPC 风格队列）。

二、读者画像 ​

  • 主要受众：从未接触过消息队列、对「异步 / 解耦 / 削峰」概念都比较模糊的初学者，可能用过 HTTP 同步调用，但对分布式日志、分区、消费者组、Offset、ISR、Rebalance、Controller、幂等与事务一无所知。
  • 次要受众：用过 Kafka 但停留在「生产者 send、消费者 poll」层面，希望系统化补齐底层原理（存储结构、副本同步、Exactly Once、事务协议、KRaft、流处理）的后端 / 数据 / 大数据开发者；以及准备后端 / 中间件 / 大数据方向面试的同学。
  • 风格要求：能用「邮局寄信」「快递分拣中心」「广播电台回放」「工厂流水线」「银行流水账」「多车道高速公路」这类生活化的比喻讲清楚 Topic / Partition / Offset / Consumer Group / ISR / Leader Epoch / Compaction / Exactly Once 等晦涩概念。

三、环境约定 ​

  • 服务端无需读者自己安装：教程默认环境中已经有可用的 Kafka 集群（本地 127.0.0.1:9092，或 docker-compose 起的 3 Broker + KRaft / 3 Broker + ZK 均可），文档不再花篇幅讲安装，但会提供一份 docker-compose.yml 作为参考。
  • 默认 Topic 命名：示例统一使用 learn.<chapter>.<scene> 的命名风格（如 learn.01.hello、learn.05.orders），避免污染业务命名空间。
  • 统一客户端：
    • 命令行：kafka-topics.sh / kafka-console-producer.sh / kafka-console-consumer.sh / kafka-consumer-groups.sh / kafka-configs.sh / kafka-dump-log.sh。
    • 编程示例统一使用 Python confluent-kafka（基于 librdkafka，性能与语义完整度最好），全教程保持一致；关键章节补充 Java kafka-clients 版本以便对照官方 API。
    • 可视化 / 管理台推荐 Kafka UI（provectus/kafka-ui）或 Redpanda Console（零依赖即可连 Kafka），方便在浏览器里观察 Topic / 消费组 / Lag。
  • 聚焦点：
    1. Kafka 的正确使用姿势（Producer / Consumer API、Topic 设计、分区数与副本数选型、Key 的作用、Offset 管理、消费组、幂等生产、事务、Kafka Connect、Kafka Streams）。
    2. Kafka 的底层实现逻辑（日志分段存储、稀疏索引、顺序写 + PageCache + 零拷贝、副本同步与 ISR、Controller / KRaft 元数据管理、消费者组协议与 Rebalance、Exactly Once 协议、Log Compaction）。

四、章节内容物（每个章节都必须包含以下 4 部分） ​

每个章节按照统一结构产出，缺一不可：

  1. 学习文档（.md）

    • 用「概念 → 生活类比 → 命令/代码示例 → 底层原理 → 与其他 MQ 对比 → 小结」六段式组织。
    • 大量使用 ASCII 图 / Mermaid 图 / 时序图 展示 Topic-Partition-Segment 存储布局、生产者批次聚合、消费组 Rebalance、ISR 同步、Exactly Once 两阶段提交、KRaft Raft 选举等，避免纯文字堆砌。
    • 关键命令必须给出 kafka-*.sh 实操记录（输入 + 输出），存储相关章节必须配上 kafka-dump-log.sh --files xxx.log --print-data-log 的真实 Segment 文件解码结果。

  2. 实战案例（可运行代码）

    • 至少 1 个贴近真实业务的场景，例如：订单下单事件总线、秒杀削峰、用户行为埋点采集、MySQL → Kafka → ClickHouse 实时数仓链路、日志聚合、IoT 设备上报、CDC 数据同步、Exactly Once 计费扣款、Kafka Streams 实时统计 Top-N 等。
    • 给出完整可运行的代码（Python confluent-kafka 为主，关键案例补充 Java / Kafka Streams / ksqlDB 版本），附带 docker-compose.yml（如需）、初始化脚本 init.sh（创建 Topic、ACL）、造数脚本 seed.py、清理脚本 teardown.sh，方便反复练习。
    • 涉及吞吐 / 延迟的场景要给出可复现的压测数据（同一机器、相同参数下生产 / 消费 QPS、p99 延迟、Broker CPU / 磁盘 IO / PageCache 命中率）。

  3. HTML 演示页面（demo.html）

    • 单文件、零依赖（或仅引入 CDN），打开即可在浏览器中可视化演示该章节的核心概念。
    • 例如：
      • 「Producer 批次聚合」：展示 linger.ms / batch.size / compression.type 对吞吐 / 延迟的影响曲线；
      • 「Partition 内顺序 vs 跨 Partition 无序」：用多车道高速公路动画演示；
      • 「Consumer Group Rebalance」：动画演示 Range / RoundRobin / Sticky / CooperativeSticky 分配策略下的分区再分配；
      • 「ISR 与 HW / LEO」：动画演示 Leader / Follower 的 LEO 如何推进、HW 如何取 min、副本掉队如何被踢出 ISR；
      • 「零拷贝 sendfile」：对比传统 read + write 的 4 次拷贝 / 2 次切换 vs sendfile 的 2 次拷贝 / 1 次切换；
      • 「日志分段与稀疏索引」：动画演示 .log / .index / .timeindex 如何配合二分查找定位 Offset；
      • 「Log Compaction」：动画演示相同 Key 的旧消息如何被压缩、Tombstone 如何实现删除；
      • 「Exactly Once 两阶段提交」：时序图演示 Producer → Transaction Coordinator → Partition Leader → __transaction_state 的完整流程；
      • 「KRaft 选举」：动画演示 Controller Quorum 的 Raft Leader 选举与元数据复制。
    • 页面要有交互（按钮、输入框、步进控制、可调 Broker / Partition / Replica 数量），让读者能「点一下看一步」，直观感受到顺序写 / 批处理 / 零拷贝带来的吞吐差异。

  4. 面试题清单

    • 收集大厂真实面经中该章节的高频题目（至少 5 题）。
    • 每题给出：题目 → 考察点 → 标准答案（分点作答）→ 加分项 / 易错点 → 与其他 MQ（RabbitMQ / RocketMQ / Pulsar）或消息语义（At Most Once / At Least Once / Exactly Once）的对比要点（如适用）。

五、内容深度与表达要求 ​

  • 从 0 到 1：第一次出现的术语必须解释，不能默认读者知道（比如第一次提到 Broker / Topic / Partition / Offset / Consumer Group / ISR / HW / LEO / Leader Epoch / Controller / KRaft / Tombstone / Log Compaction / Rebalance / Idempotent Producer / Transactional Producer / EOS / __consumer_offsets / __transaction_state 都要先讲它是什么）。
  • 生活化类比优先：晦涩点必须先用生活例子打比方，再讲技术细节。常用类比清单：
    • Topic = 邮局的「信件分类柜」；Partition = 同一类信件的多条流水线；Offset = 每条流水线上的流水号。
    • Producer = 寄信人；Consumer = 收信人；Consumer Group = 同一个家庭多个成员共享一个邮箱（同组内消息只被一人取走）。
    • ISR = 「可信快递员名单」，掉队太久的快递员会被暂时踢出名单，直到追上进度才能再加入。
    • HW（High Watermark） = 「已被所有可信快递员确认送达的最高流水号」，只有到 HW 为止的消息才允许被读者看到。
    • Log Compaction = 同一把钥匙的最新配方，旧的配方被清理掉，只留最新那一份。
    • Exactly Once = 银行转账：要么完整到账一次、要么一次都没有，不能重复扣款。
  • 能动手：所有命令、代码、演示页面读者都能复制即用，不要出现伪代码或「此处省略」。所有性能 / 语义结论必须给出可复现的对比实验（相同机器、相同数据、相同 SQL / 参数，开 / 关某项配置的吞吐 / 延迟 / 可靠性对比）。
  • 由浅入深：先讲「怎么用」，再讲「为什么这么设计」，最后引申「源码思想 / 性能调优 / 踩坑」。
  • 横向对比：在合适位置加「📌 与 RabbitMQ / RocketMQ / Pulsar 的区别」小框，例如：
    • 存储模型：RabbitMQ 内存队列 + 持久化 vs Kafka 磁盘顺序日志 + PageCache；
    • 消费模型：RabbitMQ 推（push）+ ACK vs Kafka 拉（pull）+ Offset 提交；
    • 路由：RabbitMQ Exchange / Binding / Routing Key 灵活路由 vs Kafka 仅按 Key Hash 到 Partition；
    • 顺序保证：RabbitMQ 单队列顺序 vs Kafka 单分区顺序（跨分区不保证）；
    • 事务 / EOS：RocketMQ 半消息事务 vs Kafka 幂等 Producer + 事务 Producer + Read Committed；
    • 架构：Kafka Broker = 存储 + 计算 耦合 vs Pulsar Broker（计算）+ BookKeeper（存储）分离；
    • 元数据管理：Kafka ZK 时代 vs KRaft 时代 vs Pulsar ZK + BookKeeper 元数据。

六、建议的章节大纲（可在执行时微调） ​

  1. Kafka 是什么 & 为什么快（消息中间件的价值：解耦 / 异步 / 削峰 / 日志总线；Kafka 的诞生背景（LinkedIn 活动日志）、设计哲学（以日志为中心）、典型场景；与 RabbitMQ / RocketMQ / Pulsar / Redis Stream / NATS 的定位差异；「顺序写 + PageCache + 零拷贝 + 批量 + 压缩」五大性能基石概览）
  2. 核心概念与架构总览（Producer / Broker / Consumer / Topic / Partition / Replica / Offset / Consumer Group / Coordinator / Controller / ZK vs KRaft；一张图看懂 Kafka 集群的读写链路；Kafka 的「三横三纵」：存储层 / 协议层 / 客户端层 × 生产 / 消费 / 管理）
  3. 命令行与客户端基础（kafka-topics.sh 建 / 查 / 删 Topic、kafka-console-producer/consumer.sh 手动收发、kafka-consumer-groups.sh 查看 Lag / 重置 Offset、kafka-configs.sh 动态改配置、kafka-dump-log.sh 解析日志文件；Python confluent-kafka Hello World；Kafka UI 界面导览）
  4. Producer 深入（同步 / 异步 send、acks=0/1/-1(all) 的语义差别、retries / delivery.timeout.ms / max.in.flight.requests.per.connection 的关系、linger.ms / batch.size / compression.type（none / gzip / snappy / lz4 / zstd）对吞吐的影响、Partitioner（默认 Murmur2 Hash、Sticky Partitioner、自定义）、幂等生产者 enable.idempotence=true 的原理（PID + 序列号 + Broker 去重））
  5. Consumer 深入（subscribe vs assign、poll 循环模型、Offset 提交：自动 / 同步 / 异步 / 手动、__consumer_offsets 内部 Topic、auto.offset.reset=earliest/latest/none、消费者心跳 / 会话超时 / max.poll.interval.ms、Consumer Group 与 Coordinator 交互的 6 步协议、重复消费 / 漏消费的根因与规避、seek / pause / resume 高级用法）
  6. Topic 设计与分区策略（分区数怎么选：吞吐 / 并行度 / 有序性 / 扩容代价的权衡；副本数怎么选：可靠性 vs 存储与网络成本；Key 的选择决定顺序保证与热点；min.insync.replicas 的意义；单分区 vs 多分区的顺序保证边界；何时要「重建 Topic」而不是「加分区」）
  7. 存储与日志格式（日志目录布局 log.dirs；Topic-Partition-Segment 三层结构；.log / .index（Offset 索引）/ .timeindex（时间索引）/ .snapshot / leader-epoch-checkpoint 文件作用；index.interval.bytes 稀疏索引原理；V0 / V1 / V2 消息格式与 RecordBatch；kafka-dump-log.sh 实战解码；Log Segment 的滚动条件 log.segment.bytes / log.roll.ms）
  8. 高吞吐的底层原理（磁盘顺序写 vs 随机写的量级差；PageCache：Broker 为什么「不在 JVM 堆里缓存消息」；零拷贝 sendfile 与 transferTo：从 4 次拷贝到 2 次拷贝；批量 + 压缩在 Producer / Broker / Consumer 三端的协同；mmap 在索引文件上的应用）
  9. 副本机制与 ISR（Leader / Follower / Observer；ISR（In-Sync Replicas）的定义与 replica.lag.time.max.ms；HW（High Watermark）与 LEO（Log End Offset）的关系；Leader Epoch 如何解决「HW 截断」导致的数据不一致；unclean.leader.election.enable 的代价；min.insync.replicas + acks=all 的可靠性组合；故障场景：Follower 掉队、Leader 宕机、脑裂）
  10. Controller 与 KRaft（ZK 时代的 Controller 选举与元数据广播；ZK 方案的历史包袱（元数据不一致、扩展上限）；KRaft 的诞生：Raft 化的 __cluster_metadata Topic、Controller Quorum、元数据事件溯源；KRaft 的选举 / 快照 / 恢复流程；从 ZK 迁移到 KRaft 的路径与注意事项；Kafka 4.0 全面移除 ZK 的影响）
  11. 消费者组与 Rebalance（Group Coordinator 的角色；JoinGroup / SyncGroup / Heartbeat / LeaveGroup 四大请求；分区分配策略：Range / RoundRobin / Sticky / CooperativeSticky（增量再平衡）；Eager Rebalance 的「Stop-the-World」之痛；Static Membership（group.instance.id）避免临时抖动导致的 Rebalance；Rebalance 监听器与资源清理；消费 Lag 的排查与治理）
  12. Offset 与「消息语义」（At Most Once / At Least Once / Exactly Once 三种语义的工程含义；自动提交的「先消费后提交」陷阱；手动提交的正确姿势；消费者端幂等设计模式（业务主键 + 去重表 / Redis SETNX / 数据库唯一约束）；seek 到任意 Offset / 时间戳的实战；Offset 在 __consumer_offsets 中的存储结构）
  13. 幂等与事务：Exactly Once 的真相（幂等 Producer 的 PID + Epoch + 序列号机制；事务 Producer 的 initTransactions / beginTransaction / send / sendOffsetsToTransaction / commitTransaction / abortTransaction；__transaction_state 内部 Topic；Transaction Coordinator 的两阶段提交；Consumer 端 isolation.level=read_committed 如何过滤未提交消息；Kafka Streams 的 EOS（processing.guarantee=exactly_once_v2）；EOS 的性能代价与适用场景）
  14. Log Compaction 与 Tombstone（普通 delete 保留策略 vs compact 压缩策略 vs compact,delete 组合；Compaction 的触发条件 min.cleanable.dirty.ratio / segment.ms；null value 作为 Tombstone 实现「删除」；Compaction 在「状态快照 / CDC / __consumer_offsets / __transaction_state」中的应用；Compaction 的线程模型与性能影响）
  15. 安全与多租户（SSL / SASL（PLAIN / SCRAM / GSSAPI / OAUTHBEARER）鉴权；ACL：Topic / Group / Cluster / TransactionalId 级权限；Quota：Producer / Consumer / Request 三类配额；SuperUser 与审计日志；生产环境最小权限模型范式）
  16. Kafka Connect（Source / Sink Connector 模型；Standalone vs Distributed 模式；常见 Connector：JDBC / Debezium CDC / Elasticsearch / S3 / MongoDB / HDFS；Converter（JSON / Avro / Protobuf）与 Schema Registry；SMT（Single Message Transforms）；Dead Letter Queue；Exactly Once Source）
  17. Kafka Streams 与 ksqlDB（流 / 表二元性（Stream-Table Duality）；KStream / KTable / GlobalKTable；无状态算子（map / filter / branch）与有状态算子（aggregate / reduce / count / join / window）；State Store（RocksDB）与 Changelog Topic；时间语义：Event Time / Processing Time / Ingestion Time；窗口：Tumbling / Hopping / Sliding / Session；ksqlDB SQL 化流处理入门）
  18. Schema Registry 与数据治理（为什么要 Schema：字段漂移、版本兼容、多语言互通；Avro / Protobuf / JSON Schema 三种格式对比；兼容性策略：BACKWARD / FORWARD / FULL / NONE 以及 _TRANSITIVE 变体；Confluent Schema Registry 的存储（_schemas Topic）；业务落地：CDC 表结构变更的应对范式）
  19. 可观测性与运维（核心指标：UnderReplicatedPartitions / OfflinePartitionsCount / ActiveControllerCount / RequestHandlerAvgIdlePercent / Network IO / PageCache 命中率 / Producer record-error-rate / Consumer records-lag-max；JMX + Prometheus JMX Exporter + Grafana 面板；日志定位手册：server.log / controller.log / state-change.log / log-cleaner.log；常用运维命令：分区重分配 kafka-reassign-partitions.sh、Leader 迁移 kafka-preferred-replica-election.sh、副本限流；磁盘 / 网络 / JVM 调优清单）
  20. 常见踩坑与排障案例集（分区数选少了导致扩容困难；Key 设计不当导致热点 Partition；acks=1 下的丢消息；auto.offset.reset=latest 导致「初次上线丢历史」；消费慢 + max.poll.interval.ms 超时引发死循环 Rebalance；unclean.leader.election.enable=true 导致的「已 ack 消息丢失」；大消息撑爆 message.max.bytes / replica.fetch.max.bytes；Compaction 不生效；Connect 的 Offset Topic 污染；跨机房网络抖动导致 ISR 频繁收缩）
  21. 综合实战项目（任选其一并贯穿：
    • 实时订单总线：订单服务 → Kafka → 风控 / 库存 / 通知 / 数仓 四路消费；
    • 秒杀削峰系统：前端排队 → Kafka → 后端限流消费 → Redis 库存；
    • CDC 实时数仓：MySQL → Debezium → Kafka → Kafka Streams 清洗 → ClickHouse / Doris；
    • 用户行为埋点分析：SDK → Kafka → Flink / Streams → 实时大屏 + 离线数仓；
    • IoT 设备上报平台：百万设备 → Kafka（百分区）→ 规则引擎 → 告警 / 持久化）

七、产出格式约束 ​

  • 所有文档放在 learnNote/kafka/ 下，按 序号_主题.md 命名（如 01_intro.md、02_architecture.md）。

  • 每章节配套的演示页面与代码放在同名子目录中，例如：

    learnNote/kafka/
├── 0_learn_plan.md                     # 总学习路线（由本文档拆出来的精简版）
├── 01_intro.md
├── 01_intro/
│   ├── demo.html                       # 为什么 Kafka 快：顺序写 / 零拷贝可视化
│   └── code/
│       └── hello_kafka.py
├── 02_architecture.md
├── 02_architecture/
│   ├── demo.html                       # Broker / Topic / Partition / Replica 全景图
│   └── code/
│       └── cluster_probe.py            # 用 AdminClient 打印集群拓扑
├── 04_producer.md
├── 04_producer/
│   ├── demo.html                       # linger.ms / batch.size / acks 对比动画
│   ├── init.sh
│   └── code/
│       ├── sync_producer.py
│       ├── async_producer.py
│       └── benchmark.py                # 不同压缩算法吞吐压测
├── 07_storage.md
├── 07_storage/
│   ├── demo.html                       # .log / .index / .timeindex 查找动画
│   ├── init.sh
│   └── code/
│       └── dump_segment.sh             # 封装 kafka-dump-log.sh
├── 09_replication.md
├── 09_replication/
│   ├── demo.html                       # ISR / HW / LEO / Leader Epoch 时序动画
│   └── code/
│       └── kill_leader_demo.py         # docker 停 Broker 观察 HA
├── 13_eos.md
├── 13_eos/
│   ├── demo.html                       # 事务两阶段提交时序动画
│   └── code/
│       ├── idempotent_producer.py
│       ├── transactional_producer.py
│       └── read_committed_consumer.py
├── 17_streams.md
├── 17_streams/
│   ├── demo.html                       # KStream-KTable 二元性可视化
│   └── code/
│       ├── wordcount_streams.java
│       └── realtime_topn.py            # Faust 版本
├── ...
├── docker-compose.yml                  # 3 Broker + KRaft + Kafka UI + Schema Registry
├── requirements.txt                    # Python 依赖（confluent-kafka / faust-streaming / fastavro 等）
├── interview.md                        # 各章面试题总索引
├── appendix_cheatsheet.md              # 命令 / 关键参数 / JMX 指标速查表
├── appendix_kafka_vs_others.md         # Kafka vs RabbitMQ / RocketMQ / Pulsar 对比速查
└── appendix_pitfalls.md                # 踩坑案例集（ISR 抖动、Rebalance 风暴、EOS 误用等）

  • 文档中的代码块必须标注语言（```bash、```python、```java、```sql、```mermaid、```properties、```yaml 等），方便高亮。

  • 配置项统一使用 bootstrap.servers、acks、enable.idempotence 这类官方配置名（小写 + 点分隔），并在 01_intro.md 开篇明确这一约定；同时给出 Python confluent-kafka 与 Java kafka-clients 的配置键对照。

  • 涉及性能 / 可靠性的章节必须给出可复现的对比数据：

    • 集群规模（Broker 数 / Partition 数 / 副本数 / 机器规格 / 磁盘类型）写在小节开头；
    • 用 Producer / Consumer 的 record-send-rate、records-lag-max、request-latency-avg/p99、Broker JMX 的 MessagesInPerSec / BytesInPerSec / UnderReplicatedPartitions 作为客观指标；
    • 给出「优化前 / 优化后」对照表（例如 acks=1 vs acks=all、linger.ms=0 vs linger.ms=20、compression=none vs compression=zstd）。

  • 面试题统一汇总到每章末尾的「面试高频题」小节，并在 learnNote/kafka/interview.md 做总索引（按主题分类，例如「架构与存储」「生产者与消费者」「副本与高可用」「消费组与 Rebalance」「EOS 与事务」「Streams / Connect」「调优与踩坑」）。

八、写作执行顺序（建议） ​

  1. 先产出 0_learn_plan.md：把第六节的大纲展开成「每章预计字数 / 核心知识点 / 配套实战 / 演示页要点 / 面试题数量」的表格，作为后续章节的施工图。
  2. 再按章节顺序逐个产出 0X_xxx.md + 同名目录下的 demo.html + code/。
  3. 重点章节优先打磨：第 1、4、5、7、9、10、11、13 章是 Kafka 的「灵魂章节」（为什么快 / Producer / Consumer / 存储 / 副本 / KRaft / Rebalance / EOS），可以多投入篇幅与演示动画，其它章节保持节奏即可。
  4. 每完成 3 ~ 5 章，回顾一次 interview.md，把已完成章节的面试题归集进去。
  5. 全部章节产出后，再做一次总复盘，补充三个附录文档——
    • appendix_cheatsheet.md：常用 kafka-*.sh 命令、关键 Broker / Producer / Consumer 配置、重要 JMX 指标、__consumer_offsets / __transaction_state / __cluster_metadata 内部 Topic 速查表；
    • appendix_kafka_vs_others.md：Kafka vs RabbitMQ / RocketMQ / Pulsar / Redis Stream / NATS 对比速查表（存储模型、消费模型、顺序 / 事务 / 延迟 / 吞吐 / 生态）；
    • appendix_pitfalls.md：典型踩坑集（分区数选少、Key 热点、acks=1 丢消息、unclean.leader.election 丢数据、max.poll.interval.ms 引发 Rebalance 风暴、大消息爆 message.max.bytes、Compaction 不生效、EOS 滥用拖垮吞吐、跨机房 ISR 抖动、Connect Offset Topic 污染等）。