英文:
RabbitMQ message lost
问题
我使用Python API将消息插入到RabbitMQ中，然后使用Go API从RabbitMQ中获取消息。
关键点1：由于性能原因，RabbitMQ的ACK设置为false。
我使用Python API向RabbitMQ插入了超过1亿条消息，但是当我使用Go API获取消息时，发现插入的消息数量与获取的数量不相等。插入操作和获取操作是并发进行的。
关键点2：丢失消息的比例不超过1,000,000分之1。
插入操作有日志，Python API显示所有插入的消息都成功了。
获取操作有日志，Go API显示所有获取的消息都成功了。但是数量不相等。
问题1：我不知道如何找到消息丢失的地方。有人能给我一个建议如何找到消息丢失的地方吗？
问题2：有没有任何策略可以确保消息不丢失？
英文:
I use Python api to insert message into the RabbitMQ,and then use go api to get message from the RabbitMQ.
Key 1: RabbitMQ ACK is set false because of performance.
I insert into RabbitMQ about over 100,000,000 message by python api,but when I use go api to get
message,I find the insert number of message isn’t equal to the get number.The insert action and the
get action are concurrent.
Key 2:Lost message rate isn’t over 1,000,000 percent 1.
Insert action has log,python api shows that all inserted message is successful.
Get action has log,go api shows that all get message is successful.
But the number isn’t equal.
Question1:I don’t know how to find the place where the message lost.Could anyone give me a suggestion how to find where the message lost?
Question2:Is there any strategy to insure the message not lose?
答案1
得分: 1
为了测试所有消息是否都被发布，您可以按照以下步骤进行操作：
- 停止消费者。
- 在发布者中启用确认机制。在Python中，您可以通过在代码中添加额外的一行来实现：
channel.confirm_delivery()。这将返回一个布尔值，表示消息是否已发布。如果需要，您还可以在basic_publish中使用mandatory标志。 - 发送任意数量的消息。
- 确保所有的
basic_publish()方法都返回True。 - 计算Rabbit中的消息数量。
- 通过将
no_ack设置为False来启用消费者的确认机制。 - 消费所有的消息。
这样可以帮助您确定消息丢失的位置。
英文:
In order for you to test that all of your messages are published you may do it this way:
- Stop consumer.
- Enable acknowledgements in publisher. In python you can do it by adding extra line to your code:
channel.confirm_delivery(). This will basically return a boolean if message was published. Optionally you may want to usemandatoryflag inbasic_publish. - Send as many messages as you want.
- Make sure that all of the
basic_publish()methods returnes True. - Count number of messages in Rabbit.
- Enable Ack in consumer by doing
no_ack = False - Consume all the messages.
This will give you an idea where your messages are getting lost.
通过集体智慧和协作来改善编程学习和解决问题的方式。致力于成为全球开发者共同参与的知识库，让每个人都能够通过互相帮助和分享经验来进步。
评论