A fondo dentro de AMQP

Traducción del original en inglés. Léela en: CatalàEnglish

Parte 3 de 4AMQP y RabbitMQ
  1. AMQP y RabbitMQ [TOC]
  2. ¿Qué es AMQP? y la arquitectura
  3. A fondo dentro de AMQP
  4. Hello World usando la librería 'kombu' y python

En las siguientes líneas describiré con más detalle las propiedades y las funcionalidades de los elementos de AMQP. No será una descripción exhaustiva pero en mi opinión más que suficiente para empezar a jugar con las colas de AMQP.

Canales

Cuando los productores y los consumidores se conectan al broker usando un socket TCP, después de autenticar la conexión, establecen un canal donde se envían los comandos de AMQP. El canal es un camino virtual dentro de una conexión TCP, esto es muy útil porque puede haber múltiples canales dentro de la conexión TCP y cada canal se identifica con un ID único.

Un parámetro interesante de un canal es confirmation mode; si esto está establecido a true, cuando los mensajes entregados a un exchange finalmente llegan a sus colas el productor recibe un mensaje de confirmación con un UID del mensaje. Este tipo de mensajes son asíncronos y permiten a un productor enviar el siguiente mensaje mientras todavía está esperando el mensaje ACK. Por supuesto, si el mensaje no se puede almacenar y se pierde el productor recibe un mensaje NACK (not acknowledged).

Productores

Quizá esta es la parte más simple del sistema. Los productores solo necesitan negociar la autenticación a través de una conexión TCP, crear un canal y después publicar todos los mensajes que quieran con su correspondiente clave de encaminamiento. Por supuesto, los productores pueden crear exchanges, colas y después enlazarlos. Pero normalmente esto no es una buena idea, es mucho más seguro hacerlo desde los consumidores. Porque cuando un productor intenta enviar un mensaje a un broker y no tiene el exchange necesario entonces el mensaje se perderá. Normalmente los consumidores están conectados todo el tiempo y suscritos a las colas y los productores solo se conectan a los brokers cuando necesitan enviar mensajes.

Consumidores

Cuando un consumidor se conecta a una cola normalmente usa un comando llamado basic.consume para suscribir el canal a una cola; entonces, cada vez que la cola suscrita tiene un mensaje nuevo se envía al consumidor después de que el último mensaje sea consumido, o rechazado.

Si el consumidor solo quiere recibir un mensaje sin una suscripción puede usar el comando basic.get. Esto es como un método de sondeo. De hecho, el consumidor solo recibe un mensaje cada vez que envía el comando.

Puedes obtener el mejor rendimiento usando el comando basic.consume porque es más eficiente que sondear cada vez que el consumidor quiere otro mensaje.

Cuando hay más de un consumidor conectado a una cola, los mensajes se distribuyen en round-robin. Después de que el mensaje se entrega a un consumidor este envía un mensaje de confirmación y entonces la cola envía otro mensaje al siguiente consumidor. Si el consumidor envía un mensaje de rechazo el mismo mensaje se envía al siguiente consumidor.

Hay dos tipos de confirmaciones:

  • basic.ack: este es el mensaje que el consumidor envía a la cola para confirmar la recepción de un mensaje
  • auto_ack: este es un parámetro que podemos establecer cuando el consumidor se suscribe a una cola. El parámetro asume el mensaje ACK del consumidor y entonces la cola envía el siguiente mensaje sin esperar el mensaje ACK.

El mensaje basic.reject se envía cuando el consumidor quiere rechazar un mensaje recibido. Este mensaje descarta el mensaje y se pierde. Si queremos volver a poner el mensaje en la cola podemos establecer el parámetro requeue=true cuando se envía un mensaje de rechazo.

Cuando la cola se crea puede haber un parámetro llamado dead letter establecido a true; entonces, si el consumidor rechaza un mensaje con el parámetro requeue=false el mensaje se pone en cola en una cola nueva llamada * dead letter.* Esto es muy útil porque después de todo podemos ir a esa cola e inspeccionar el motivo del rechazo del mensaje.

Colas

Tanto los consumidores como los productores pueden crear una cola usando el comando queue.declare. La manera más natural es crear las colas desde los consumidores y después enlazarlas a un exchange. Los consumidores necesitan un canal libre para crear una cola; si un canal está suscrito a una cola, el canal está ocupado y no puede crear colas nuevas. Cuando se crea una cola normalmente usamos un nombre para identificar la cola; si el nombre no se especifica se genera aleatoriamente. Esto es útil cuando se crean colas temporales y anónimas para RPC-over-AMQP.

Parámetros que podemos establecer cuando creamos una cola nueva:

  • exclusive - este parámetro hace que una cola sea privada y solo sea accesible desde tu aplicación. Solo un consumidor se puede conectar a una cola.
  • auto-delete - cuando el último consumidor se desuscribe de la cola, la cola se elimina.
  • passive - cuando se crea una cola que existe el servidor retorna correctamente o retorna fallo si los parámetros no coinciden. Si el parámetro passive está establecido y creamos una cola que existe siempre retorna éxito pero si la cola no existe no se crea.
  • durable - la cola puede persistir cuando los servicios se reinician.

Exchange y binding

En el primer artículo

de la serie hablamos de los diferentes tipos de exchange y como podéis recordar estos tipos son: direct, fanout y topic. Y el parámetro más importante que hay que establecer cuando el productor envía un mensaje es la routing key, esta se usa para encaminar el mensaje a una cola.

Una vez hemos declarado un exchange este se puede relacionar con una cola usando un comando de binding: queue_bind. La relación entre ellos se hace usando la routing key o un patrón basado en la routing key. Cuando el exchange es de tipo fanout la *routing key * o los patrones no son necesarios.

Algunos ejemplos de patrones pueden ser: log.*, *message.* * y #.

Los parámetros de exchange más importantes son:

  • type: direct, fanout y topic.
  • durable: hace que un exchange sea persistente a los reinicios.

Broker y hosts virtuales

Un broker es un contenedor donde se crean los exchanges, los bindings y las colas. Normalmente podemos definir más de un broker virtual en el mismo servidor. Los brokers virtuales también se llaman hosts virtuales. Los usuarios, los permisos y algo más relacionado con un Broker no se pueden usar desde otro. Esto es muy útil porque podemos crear múltiples brokers en el mismo servidor físico como un servidor web multi-dominio y cuando alguno de estos hosts virtuales es demasiado grande se puede migrar a otro servidor físico y se puede poner en clúster si es necesario.

Mensajes

Un mensaje AMQP es un binario sin un tamaño y un formato fijos. Cada aplicación puede establecer sus propios mensajes. El broker AMQP solo añadirá pequeñas cabeceras para ser encaminado entre diferentes colas tan rápidamente como sea posible.

Los mensajes no son persistentes dentro de un broker a menos que el productor establezca el parámetro persistent=true. De lo contrario los mensajes se tienen que almacenar en exchanges durable y colas *durable * para persistir en el broker cuando se reinicia. Por supuesto, cuando los mensajes son persistentes estos tienen que escribirse a disco y el rendimiento bajará. Entonces quizá a veces crear mensajes persistentes no es una buena idea.

2 comentarios

Los comentarios del blog antiguo, tal como se escribieron. Los comentarios están cerrados.

  1. Pau Freixes

    Good structured explanation about amqp actors and relationship between thems ... just only one thing

    When you said "After the message is delivered to a consumer this send an acknowledge message and then queue send another message to next consumer", doesn't mean that concurrent processing messages to diferent consumers have been done with ack. Ack is only a way to say this consumer is already again to listen for new messages.

    1. Oriol Rius

      So my explanation is not enough precise, isn't it?