【1】Kafka概念介绍 【2】安装kafka 【3】kafka配置 【4】kafkatool 可视化客户端工具 【5】集群部署 【6】伪集群部署 【7】kafka manager 【8】spring kafka 配置
【1】Kafka概念介绍 kafka学习笔记：知识点整理
Kafka是一个开源的，分布式的，高吞吐量的消息系统。 Kafka原先的开发初衷是构建一个处理海量日志的框架，基于高吞吐量为第一原则，所以它对消息的可靠性以及消息的持久化机制考虑的并不是特别的完善。0.8版本后，陆续加入了一些复制、应答和故障转移等相关机制以后，才可以让我们在其他关键性业务中使用。 Topic：主题，或者说是一类消息。类似于RabbitMQ中的queue。可以理解为一个队列。 Broker：一个Kafka服务称之为Broker。Kafka可以集群部署，每一个Kafka部署就是一个Broker。 Producer & Consumer：生产者和消费者。生产者产生消息，即把消息放入Topic中，而消费者则从Topic中获取消息处理。一个生产者可以向多个Topic发送消息，一个消费者也可以同时从几个Topic接收消息。同样的，一个Topic也可以被多个消费者来接收消息。 Partition：分区，或者说分组。分组是Kafka提升吞吐量的一个关键设计。这样可以让消费者多线程并行接收消息。创建Topic时可指定Parition数量。一个Topic可以分为多个Partition，也可以只有一个Partition。每一个Partition是一个有序的，不可变的消息序列。每一个消息在各自的Partition中有唯一的ID。这些I