RabbitMQ-ordre de livraison des messages

L'ordre des messages est conservé à Kafka, mais seulement dans les partitions plutôt que globalement. Si vos données ont besoin à la fois d'un ordre global et de partitions, cela rend les choses difficiles. Toutefois, si vous avez juste besoin de s'assurer que tous les événements pour le même utilisateur, etc... finissez dans la même partition pour qu'ils soient correctement ordonnés, vous pouvez le faire. Le producteur est responsable de la partition qu'ils écrivent, donc si vous êtes en mesure d'logiquement partition de vos données, cela peut être préférable.

je pense qu'il y a deux choses dans cette question qui ne sont pas similaires, l'ordre de consommation et l'ordre de transformation.

les Files d'attente de messages peuvent-dans une certaine mesure - vous donner une garantie que les messages seront consommés dans l'ordre, ils ne peuvent pas, cependant, vous donner des garanties sur l'ordre de leur traitement.

la principale différence ici est qu'il y a certains aspects du traitement des messages qui ne peuvent pas être déterminés au moment de la consommation, par exemple:

• comme mentionné un consommateur peut échouer pendant le traitement, ici l'ordre de consommation du message était correct, cependant, le consommateur n'a pas réussi à le traiter correctement, ce qui le fera revenir à la file d'attente, et jusqu'à présent l'ordre de consommation est toujours intact, mais nous ne savons pas comment l'ordre de traitement est maintenant

• Si par "traitement", on entend que le message est maintenant jeté et terminé le traitement de complètement, alors considérez le cas où votre temps de traitement n'est pas linéaire, en d'autres termes le traitement d'un message prend plus de temps qu'un autre, donc si le message 3 prend plus de temps dans le traitement que prévu, alors les messages 4 et 5 pourraient être consommés et finir le traitement avant que le message 3 ne

ainsi, même si vous avez réussi à obtenir le message de retour à l'avant de la file d'attente (qui par la voie viole l'ordre de consommation), vous ne pouvez toujours pas garantir que tous les messages avant le prochain message ont terminé leur traitement.

si vous voulez assurer l'ordre de traitement alors:

1. Ont seulement 1 consommateur exemple à tous les temps
2. ou ne pas utiliser une file d'attente de messagerie et faire le traitement dans une méthode de blocage synchrone, ce qui pourrait sembler mauvais, mais dans de nombreux cas et les exigences de l'entreprise est tout à fait valide et parfois même critique

il y a de bonnes façons de garantir l'ordre des messages dans les souscriptions RabbitMQ.

si vous utilisez plusieurs consommateurs, ils traiteront le message en utilisant un ExecutorService partagé . Voir aussi ConnectionFactory.setSharedExecutor(...) . Vous pourriez mettre un Executors.newSingleThreadExecutor() .

si vous utilisez un Consumer avec une file d'attente unique, vous pouvez lier cette file d'attente en utilisant plusieurs bindingKeys (ils peuvent avoir des jokers). Les messages seront placés dans le file d'attente dans le même ordre qu'elles ont été reçues par le courtier de messages.

par exemple, vous avez un seul éditeur qui publie des messages lorsque l'ordre est important:

try (Connection connection2 = factory.newConnection();
        Channel channel2 = connection.createChannel()) {
    // publish messages alternating to two different topics
    for (int i = 0; i < messageCount; i++) {
        final String routingKey = i % 2 == 0 ? routingEven : routingOdd;
        channel2.basicPublish(exchange, routingKey, null, ("Hello" + i).getBytes(UTF_8));
    }
}

vous pourriez maintenant vouloir recevoir des messages des deux topics dans une file dans le même ordre qu'ils ont été publiés:

// declare a queue for the consumer
final String queueName = channel.queueDeclare().getQueue();

// we bind to queue with the two different routingKeys
final String routingEven = "even";
final String routingOdd = "odd";
channel.queueBind(queueName, exchange, routingEven);
channel.queueBind(queueName, exchange, routingOdd);
channel.basicConsume(queueName, true, new DefaultConsumer(channel) { ... });

Le Consumer va maintenant recevoir les messages dans la l'ordre qu'ils ont été publiés, indépendamment du fait que vous avez utilisé différents sujets .

il y a quelques bons tutoriels de 5 minutes dans la documentation de RabbitMQ qui pourraient être utiles: https://www.rabbitmq.com/tutorials/tutorial-five-java.html