英文:
Kafka max throughput in messages per Second
问题
Kafka每秒最大吞吐量是多少消息。
我们想要检查可以达到的理论最大吞吐量，以每秒消息为单位。
我们打算使用Apache Kafka版本-2.7.x，操作系统是RHEL 7.9。
物理机器配备了125G内存和每台机器32个核心。
链接 - https://aiven.io/blog/benchmarking-kafka-write-throughput-performance-2019-update
英文:
What is the max throughput of Kafka in messages per second.
we wanted to check what is the theoretical max throughput that could be reached. in messages per second
we intend to use Apache Kafka version - 2.7.x and OS is RHEL 7.9
the physical machines with 125G memory and 32 Core per machine
links - https://aiven.io/blog/benchmarking-kafka-write-throughput-performance-2019-update
答案1
得分: 0
以下是翻译好的内容：
最大吞吐量始终是在没有网络开销（本地消费者/生产者）的情况下测量的，没有确认（消息未经持久化或可靠写入磁盘），也没有TLS加密。
这两者都不是有用的测试或度量指标。
使用Kafka附带的性能测试CLI命令或像Gatling/JMeter这样的外部工具来运行自己的基准测试。
Kafka代理不需要大量RAM，因此每台机器不需要125G内存。磁盘速度和分区方案更为重要，例如，7200 RPM与XFS格式化。
https://docs.confluent.io/platform/current/kafka/deployment.html
英文:
The max throughput is always going to be measured without network overhead (a local consumer/producer), and have no acks (message not durably or reliably written to disk), and no TLS encryption.
Neither are useful tests or metrics to gather.
Run your own benchmarking using performance test CLI commands included with Kafka, or external tools like Gatling/JMeter
Kafka brokers are not RAM intensive, so each machine doesn't require 125G of memory. The disk speed and partitioning scheme will matter more, e.g. 7200 RPM w/ XFS formatted.
https://docs.confluent.io/platform/current/kafka/deployment.html
通过集体智慧和协作来改善编程学习和解决问题的方式。致力于成为全球开发者共同参与的知识库，让每个人都能够通过互相帮助和分享经验来进步。
评论