Traducción no actualizada
Introducción
El operador Event Streams utiliza IBM Event Streams para IBM Cloud para proporcionar un servicio de mensajería completamente gestionado.
Event Streams implementa la mensajería de publicación y suscripción utilizando temas. Las aplicaciones envían datos creando un mensaje y, a continuación, lo publican en un tema. Para recibir mensajes, las aplicaciones se suscriben a un tema y eligen recibir todos los mensajes del tema o compartir los mensajes entre ellos.
Apache Kafka forma el núcleo de mensajería de Event Streams.
Retención de mensajes y mensajes perdidos
Si un flujo de secuencias se detiene y los productores de Event Streams continúan enviando mensajes al tema, estos mensajes no se retienen. A continuación, cuando se reinicia el flujo de secuencias, no puede retroceder en el tiempo y consumir esos mensajes perdidos.
Configuración de cómo leer mensajes perdidos
El parámetro Desplazamiento inicial determina desde dónde empezar a leer cuando se ejecuta el flujo de secuencias por primera vez o cuando se ha pedido el desfase de reanudación.
El desplazamiento de reanudación se puede perder en los casos siguientes:
-
Los mensajes para el desplazamiento se volvieron más antiguos que la configuración de retención de mensajes y se depuraron los mensajes. La retención de mensajes predeterminada es de dos días.
-
Tiempo de retención de desplazamiento para el tema transcurrido y el desplazamiento se ha depurado. La retención de desplazamiento predeterminada es de 24 horas.
Elija empezar a partir del mensaje retenido más antiguo o del mensaje más reciente que se ha añadido al tema después de que se iniciara el flujo de secuencias. La opción se pasa al intermediario de Kafka como propiedad auto.offset.reset.
Particiones y trabajadores paralelos
Un tema Kafka se puede dividir en particiones, que contienen mensajes. Puede "paralelizar" un tema dividiendo los datos del tema entre varios intermediarios. Los clientes sacan mensajes de las particiones de temas paralelos. Como resultado, varias particiones pueden optimizar la velocidad de ingestión.
Cuando se crea la instancia de Event Streams en IBM Cloud, el se define el número de particiones para cada tema.
Los trabajadores se denominan "operadores de secuencias físicas paralelos" que comparten la carga de consumir los datos en un tema. Por lo general, cuanto mayor sea el número de trabajadores, más rápido será el consumo de mensajes, hasta el número de particiones de temas o el número de núcleos de CPU disponibles para su instancia de Streaming Analytics, el que sea menor. No aumente el número de trabajadores más allá de ese número, porque no se obtendrán beneficios de rendimiento.
Ejemplos
| Número de particiones | Número de CPU | Número máximo de trabajadores para el mejor rendimiento |
|---|---|---|
| 3 | 4 | 3 |
| 10 | 4 | 4 |