指定位移消费
指定位移消费 在看指定 Offset 消费之前，先看一个参数 auto.offset.reset ，这个参数有三个值：earliest，latest，none，默认值是 latest。通常情况下，我们在配置 consumer 时，我们都会指定 earliest 或 latest。因为当consume
...
消费者拦截器
消费者拦截器原理和生产者的原理一样，主要用于在消费到消息时或者提交 offset 时进行定制化操作。先看看接口的代码
12345678910public interface ConsumerInterceptor<K, V> extends Configurable { //
...
反序列化
反序列化和生产者端的序列化器类似，消费者端对应的是反序列化器。Kafka 中反序列化器实现的都是 Deserializer 接口，默认实现有：
ByteBufferDeserializer
BytesDeserializer
DoubleDeserializer
FloatDeseriali
...
消费者和消费组
消费消费者和消费组对于每一个消费者 Consumer 而言，都有其对应的消费组 Consumer Group。每条消息都只会发送到每个消费组中的一个消费者。消费者数量不应该大于 Topic 分区数量，否则会有消费者消费不到消息的情况。
客户端开发和生产者类似，一个完整的消费逻辑如下：
配置消费者
...
重要的生产者参数
重要的生产者参数直入主题
1. acks
acks = "1"。同时也是默认值。生产者发送消息之后，只要分区 leader 副本成功写入消息，就会收到来自服务端的成功响应；如果消息无法写入 leader 副本，会进行重试（如果设置了重试次数和间隔），不重试则会丢失消息；如果消息成
...
生产者原理分析
生产者数据链路原理分析在消息真正发往 Kafka 之前，有可能会经历的有拦截器、序列化器和分区器等一系列操作。那么在这之后，发送的时候又会发生什么呢。
整个生产者由两个线程协调运行。第一个是线程，另一个是 Sender 线程。
主线程主线程中，KafkaProducer 创建消息，通过拦截器、序列化
...
生产者分区器
分区器 Partitioner在 kafka 里，消息经过序列化之后就需要发往分区器Partitioner确定发送的分区，当然这是指在ProducerRecord未指定partition的情况下。如果没有指定分区，就需要按照其中的key，通过Partitioner来进行分区。
此时，如果 key 为
...
生产者序列化
序列化 Serializer在 Kafka 中，生产者 Producer 发送消息给 Broker 之前，需要先将消息转换成字节数组才能进行发送操作。同样，消费者 Consumer 消费消息时，也需要将来自 Broker 的字节数组转换成具体消息。这就需要序列化和反序列化了。目前来说，Kafka 中
...
生产者拦截器
拦截器 Interceptor目前，在 kafka 中有两种拦截器，一个是生产者拦截器，也就是马上要看的。另一个是对应的消费者拦截器，后面再研究。生产者拦截器作用发生在消息序列化之前，可以提前做一些准备工作，比如按照规则过滤或修改消息值（不建议修改其他部分，如 key，partition等），也可以
...
消息发送
消息发送一个完整的正常的生产者逻辑有以下几个步骤：
配置生产者实例：包括生产者参数配置和生产者实例创建
构建需要发送的消息 message 发送消息
关闭生产者实例
先看一下消息发送的完整代码
123456789101112131415161718192021222324252627282930
...