Kafka 配置参数.pdfVIP

Kafka 配置参数 参参数数 说说明明(解解释释) 以以下下是是config/server.properties中中配配置置参参数数：： broker.id =0 每一个broker在集群中的唯一表示，要求是正数。当该服 器的 IP地址发生改变时，broker.id没有变化，则不会影响consumer s的消息情况 log.dirs=/data/kafka-logs kafka数据的存放地址，多个地址的话用逗号分割/data/kafka- logs-1，/data/kafka-logs-2 port =9092 broker server服 端口 message.max.bytes = 525000 表示消息体的最大大小，单位是字节 num.network.threads =4 broker处理消息的最大线程数，一般情况下不需要去修改 num.io.threads =8 broker处理磁盘IO的线程数，数值应该大于你的硬盘数 background.threads =4 一些后台任 处理的线程数，例如过期消息文件的删除等，一般 情况下不需要去做修改 queued.max.requests =500 等待IO线程处理的请求队列最大数，若是等待IO的请求超过这个 数值，那么会停止接受外部消息，应该是一种自我保护机制。 host.name broker的主机地址，若是设置了，那么会绑定到这个地址上，若 是没有，会绑定到所有的接口上，并将其中之一发送到ZK，一般 不设置 socket.send.buffer.bytes=100*1024 socket的发送缓冲区，socket的调优参数SO_SNDBUFF socket.receive.buffer.bytes =100*1024 socket的接受缓冲区，socket的调优参数SO_RCVBUFF socket.request.max.bytes =100*1024*1024 socket请求的最大数值，防止serverOOM，message.max.byte s必然要小于socket.request.max.bytes，会被topic创建时 的指定参数覆盖 log.segment.bytes =1024*1024*1024 topic的分区是以一堆segment文件存储的，这个控制每个segme nt的大小，会被topic创建时的指定参数覆盖 log.roll.hours =24*7 这个参数会在日志segment没有达到log.segment.bytes设置的 大小，也会强制新建一个segment会被 topic创建时的指定参数 覆盖 log.cleanup.policy = delete 日志清理策略选择有：delete和compact主要针对过期数据的处