面试中关于kafka都需要了解哪些基础?
发布网友
发布时间：2024-10-20 00:38
共1个回答
热心网友
时间：2024-12-01 04:53
消息队列在异步、削峰填谷、解耦方面发挥关键作用。中小型公司倾向于使用开源、社区活跃的RabbitMQ，而大型公司更倾向于性能更强的RocketMQ。在大数据与实时计算、日志采集场景下，Kafka成为业界标准，因其活跃社区与稳定可靠性。
RabbitMQ起源于电信业务的可靠通信，支持AMQP协议，其优点包括广泛的使用与社区支持，但缺点在于与周边系统的整合和兼容性不佳。
RocketMQ借鉴Kafka设计，具备丰富特性和功能，但其与外部系统的整合与兼容性问题较为突出。
Kafka在高可用性方面表现出色，广泛兼容多种开源软件，适应大数据与流计算需求。其数据单元称为消息，批次则用于提高效率，通过主题进行数据分类，分区确保数据有序性与扩展性，副本机制增强数据可靠性。
生产者与消费者共同构建Kafka系统，生产者均衡分布消息至各个分区，消费者通过偏移量区分已读消息，消费组则确保分区不被重复访问，节点Broker作为连接点，每个Broker可轻松处理数万个分区及每秒百万级消息。
主题、分区、副本等关键概念与机制共同构成Kafka系统的基石，确保消息的高效存储与传输。生产消费流程包括消息写入、Leader选举、副本同步等步骤，每个步骤均需精确协调。
通过Leader选举、副本消息同步等机制，Kafka确保高效消息传输，同时提供分区分配算法，支持增删改查操作。通过查询跳跃表，可高效定位偏移量对应的消息，切分文件则确保数据的高效存储与管理。
Kafka实现幂等性，确保消息重复处理时结果一致性，通过添加唯一ID标记消息，确保系统在重发消息时不会出现重复处理的情况。
重平衡在集群架构变动时可能导致消费组状态调整，影响系统可用性，合理规划与监控有助于避免此类问题。ZooKeeper在Kafka中扮演元数据管理与控制器选举的角色，未来Kafka将采用更高效、自主的管理机制。
Leader副本负责对外提供服务，Follower副本则同步Leader数据，但在Leader宕机时随时准备接替，确保系统连续性。Kafka设计不支持读写分离，其副本机制足以提供高效数据同步。
为避免重复消费，Kafka在消息处理流程中加入唯一标识，确保每个消息仅被处理一次。通过设计合理的消费组与消息管理策略，可以有效防止数据丢失。
为保证顺序消费，Kafka通过分区机制与消费组内的有序消费实现，确保消息按顺序被处理。在线上环境中，积压消费问题可通过优化系统负载与资源分配解决。
设计消息队列时，需要考虑性能优化、水平扩容、一致性与分区容错性，借鉴时间轮、零拷贝、IO多路复用等技术，确保系统高效运行。同时，通过消息压缩与批处理技术，进一步提升性能与资源利用效率。
