Kafka学习笔记: 如何估算 kafka集群规模

 

假设带宽是 1Gbps,即每秒处理 1Gb 的数据.

假设每台 Kafka 服务器都是安装在专属的机器上,也就是说每台 Kafka 机器上没有混布其他服务。

通常情况下你只能假设 Kafka 会用到 70% 的带宽资源,因为总要为其他应用或进程留一些资源。


根据实际使用经验,超过 70% 的阈值就有网络丢包的可能性了,故 70% 的设定是一个比较合理的值,

也就是说单台 Kafka 服务器最多也就能使用大约 700Mb 的带宽资源。


这是它能使用的最大带宽资源,你不能让 Kafka 服务器常规性使用这么多资源,

故通常要再额外预留出 2/3 的资源,即单台服务器使用带宽 700Mb / 3  ≈  240Mbps。

 

需要提示的是,这里的 2/3 其实是相当保守的,你可以结合你自己机器的使用情况酌情减少此值。

有了 240Mbps,我们就可以计算 1 小时内处理 1TB 数据所需的服务器数量了。

根据这个目标,我们每秒需要处理 2336Mb 的数据,除以 240,约等于 10 台服务器。

1024*1024/3600*8 = 2330Mb  [注意是小b]

如果消息还需要额外复制两份,那么总的服务器台数还要乘以 3,即 30 台。

 

补充:


千兆网卡的传输速率是1Gbps ,换算成 MB 为 125MB/s 
 

 

原文引用:

Kafka核心技术与实战 - 胡夕

 

 

 

©️2020 CSDN 皮肤主题: 鲸 设计师: meimeiellie 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值