Messaging – szkolenie otwarte

Czy kiedykolwiek zdarzyło Ci się pracować przy systemie rozproszonym, w którym teoretycznie niezależne od siebie aplikacje musiały się ze sobą komunikować? Być może pojawiły się inne mechanizmy integracji międzyusługowej niż synchroniczne żądania wykorzystujące dobrze znany protokół HTTP?

Zapewne zaczęło się niewinnie – od dodania do infrastruktury systemu tzw. brokera wiadomości. Na samym początku zdawał się spełniać powierzoną mu rolę, jednakże ze względu na wykorzystanie wysokpoziomowego frameworka wraz z masą abstrakcji, co w połączeniu z brakiem dogłębnego zrozumienia mechanizmów (topologii sieci, routingu komunikatów oraz modelami dostarczenia wiadomości) powolnie prowadziło do nieuchronnej katastrofy.

Horyzontalne skalowanie aplikacji, równoległe przetwarzanie komunikatów przez niezależne instancje, zwiększenie ogólnej przepustowości i niezawodności systemu, a może i dodatkowa integracja z mikroserwisem zaimplementowanym w innej technologi – rzeczywistość czy mrzonka?

Rozwiązaniem na to wszystko mogło być przecież dodanie Kafki, wszakże streaming brzmi lepiej niż jakiś message broker (poza semantyką to i tak w sumie to samo), a do tego działa znacznie szybciej – w końcu jesteśmy w stanie przetworzyć o jeden rząd wielkości wiadomości więcej w danym interwale czasowym niż poprzednio, o ile nie wymieszają się nam offsety i przypadkiem zduplikujemy dane. Oczywiście, wszystko dla pojedynczej instancji konsumenta, i analogicznej ilości partycji (w sumie dziwna nazwa na kolejkę), bo inaczej całkowicie zaburzymy kolejność.

Aha, posiadamy wyłącznie jeden, aczkolwiek bardzo mocny serwer – replikacja danych jest zbyt abstrakcyjnym pojęciem, a kraft kojarzy się co najwyżej z browarem.

Brzmi jak osobiste doświadczenia? A może całkowicie nieznane pojęcia? W jednym i drugim przypadku, to szkolenie będzie właśnie dla Ciebie 🙂