Kafka学习笔记: 如何估算 kafka集群规模

 

假设带宽是 1Gbps,即每秒处理 1Gb 的数据.

假设每台 Kafka 服务器都是安装在专属的机器上,也就是说每台 Kafka 机器上没有混布其他服务。

通常情况下你只能假设 Kafka 会用到 70% 的带宽资源,因为总要为其他应用或进程留一些资源。


根据实际使用经验,超过 70% 的阈值就有网络丢包的可能性了,故 70% 的设定是一个比较合理的值,

也就是说单台 Kafka 服务器最多也就能使用大约 700Mb 的带宽资源。


这是它能使用的最大带宽资源,你不能让 Kafka 服务器常规性使用这么多资源,

故通常要再额外预留出 2/3 的资源,即单台服务器使用带宽 700Mb / 3  ≈  240Mbps。

 

需要提示的是,这里的 2/3 其实是相当保守的,你可以结合你自己机器的使用情况酌情减少此值。

有了 240Mbps,我们就可以计算 1 小时内处理 1TB 数据所需的服务器数量了。

根据这个目标,我们每秒需要处理 2336Mb 的数据,除以 240,约等于 10 台服务器。

1024*1024/3600*8 = 2330Mb  [注意是小b]

如果消息还需要额外复制两份,那么总的服务器台数还要乘以 3,即 30 台。

 

补充:


千兆网卡的传输速率是1Gbps ,换算成 MB 为 125MB/s 
 

 

原文引用:

Kafka核心技术与实战 - 胡夕

 

 

 

发布了306 篇原创文章 · 获赞 802 · 访问量 34万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 鲸 设计师: meimeiellie

分享到微信朋友圈

×

扫一扫,手机浏览