消息中间件Kafka资料.ppt

/alibaba/RocketMQ/wiki/rmq_vs_kafka kafka 的轮询间隔：如果轮询间隔设置在 0ms，那么基本可以看作是没有延时 1、可以有很多 producer 2、kafka 集群中可以有很多 broker， 但并不是每个 producer 都和所有的 broker 相连。 producer 和 topic 有关系， 如果topic 在 broker2 上没有数据，则 producer A 不会和 broker 2 相连 3、conumser 可以有很多个， 到底有多少个， 看业务需要。 4、所有公共数据都保存在 zookeeper 中。 状态、消息队列的位置， 是否有宕机等 开发需要注意： 对于有相关性要求的消息，一定要发送到同一个 分区 中 分区的优点： 1、负载均衡：限于单个磁盘的写入速度，多分区有利于提高并发的写入性能 开发需要注意： 对于有相关性要求的消息，一定要发送到同一个 分区 中 异步推送：把小消息合并，减少 TCP 交互次数 1、每个 consumer group 包含多个 consumer 线程； 2、每个 partition 只会被一个 consumer 线程连接。 如果 consumer 线程数超过 partition 数，则会有 consumer 线程一直处于空闲状态； 3、consumer group 可以包含多个进程，但进程中 consumer 线程的总数不大于 partition 分区数。 当增加机器时，把 分区的 数据前移到新的机器上就行 600000, 60W/s 1K 的数据包大小， 处理速度 80MB/s 模板来自于 * * Kafka 一、MQ 系统 二、Kafka 架构 三、Kafka 命令 四、配置文件 MQ 系统 一、Redis 二、ZeroMQ 三、ActiveMQ 四、RocketMQ 五、Kafka MQ系统 Redis Redis是一个NoSQL数据库 处理小流量的消息队列 不适用于大流量的应用场景 MQ系统 ActiveMQ ActiveMQ 2007 年发布第一个版本(同年 JDK1.5发布) 被广泛应用于零售、银行、电子商务和政府等领域。 稳定性好，性能还过得去。 缺少异步 Java API 和 NIO支持，在高资源配置的计算机上扩展性不佳。 Apollo 重写了 ActiveMQ 内核， Apache称其为最快、最强健的STOMP（Streaming Text Orientated Message Protocol，流文本定向消息协议）服务器。 github 一年多没更新，网传 Apollo项目已经失败 MQ系统 ZeroMQ 不支持序列化，阅后即焚。如果服务器宕机，数据将丢失 ZeroMQ本身只是一个网络协议栈的实现库.使用过程中由应用服务器扮演服务器的角色 ZeroMQ的目标是，成为 Linux 内核的一部分 逆天的性能 MQ系统 Kafak VS RocketMQ 定位 Kafak：由 Linkin 开源，用于即时的日志传输 RocketMQ：由淘宝开源，实现非日志的可靠消息传输，用于交易、订单、充值等场景 TPS 性能 kafka 单机写入 TPS 在百万条/秒，消息大小为10b RocketMQ 单机 7万条/秒，消息大小为10b 队列数 kafak 单机超过 64个队列/分区，Load 会发生明显的飙高现象 RocketMQ 最高支持 5万队列 实时性 Kafka使用短轮询方式，实时性取决于轮询间隔时间 RocketMQ使用长轮询，同Push方式实时性一致，消息的投递延时通常在几个毫秒。 成熟度 Kafka在日志领域比较成熟，操作系统Crash，会导致数据丢失 RocketMQ在阿里集团内部有大量的应用在使用，不会丢消息 MQ系统 总结 MQ系统 特点 Redis NO-SQL数据库， 适用于处理少量 MQ 数据 ActiveMQ 久经沙场的老战士， 稳定性好 ZeroMQ 一个网络通信协议栈 性能超级强劲 RocketMQ 阿里出品 标准 MQ 系统中性能最好的 Kafka/Jafka 专为日志收集设计 非标准 MQ 系统，容灾能力弱，性能超过 RocketMQ 消息处理速度上限大约为 100MB/s Kafka 架构 系统结构 kafka cluster Broker 1 Broker 2 Broker 3 Producer-A Producer-B Producer-C Consumer-A Consumer-A Consumer-C Zookeeper 基础架构 Kafka 架构 基本概念 主题：topic 分区：partitio