Optimalizace a Inovace v Messaging a Event-Driven aplikacích

V současnosti se vývoj nových enterprise systémů zaměřuje na realizaci mikroslužeb, které jsou mnohdy vytvářeny různými vývojovými týmy a s využitím různých vývojových prostředků (zcela odlišné programovací jazyky, odlišné způsoby nasazení atd.). Navíc se v takto navrhovaných aplikacích jednotlivé mikroslužby postupně mění, popř. se do výsledného enterprise systému přidávají mikroslužby další.

Mikroslužby mohou být spouštěny samostatně, ovšem pro realizaci celého enterprise systému je nutné, aby docházelo k jejich koordinaci a spolupráci. To je typicky řešeno zasíláním zpráv (dat či příkazů), které může být řešeno synchronním i asynchronním způsobem.

Ukazuje se, že při návrhu enterprise systému založeného na mikroslužbách je používána relativně malá sada ustálených způsobů - vzorů. Přitom platí, že vzory nejsou vynalézány, ale rozpoznávány v praxi. Díky tomu, že máme tyto vzory k dispozici (a to jak jejich popis, tak i grafickou podobu), je možné se při návrhu nových enterprise systémů vyhnout chybám, kterými si musely vývojové týmy projít.

• Vzory nejsou vynalézány, ale rozpoznávány v praxi
• Komunikace po síti není spolehlivá
• Komunikace po síti je pomalá
• Každá aplikace je odlišná
• Aplikace se postupně mění
• Komunikace v současnosti: mikroslužby a serverless řešení
• Architektura založená na mikroslužbách
• Příklady řešení komunikace ve světě mikroslužeb

Messaging je dnes jedním ze základních kamenů pro stavbu distribuovaného systému. Zároveň je však jeho úspěšné použití v rámci architektury mikroslužeb podmíněno pochopením úskalí, které nás při jeho používání čekají.  Zaměříme se na chování aplikací při nestandardních podmínkách jako jsou výpadky a přetížení. Rozbijeme mýty o škálování, sekvenčním zpracování, kvalitě doručení a transakcích.  

Přednáška má za cíl odkrýt návrhové a implementační nedostatky, které lze v praxi snadno přehlédnout. Většina úskalí bude demonstrována na Apache Kafce v kombinaci se Spring Bootem, ale poznatky lze zobecnit i pro jiné typy brokerů nebo programovacích jazyků. 

V první části se podíváme na zásadní rozdíly mezi Kafkou a klasickými message brokery a projdeme anatomii zprávy. Druhá část bude věnována producentům zpráv. Ukážeme si vzory pro transakční komunikaci mezi databází a brokerem, které lze použít obecně v architektuře mikroslužeb. Zároveň si ukážeme podmínky, za kterých je garantováno pořadí zpráv v brokeru. Ve třetí části se podíváme na implementaci konzumentů. Hlavními tématy bude škálování zpracování zpráv včetně zotavení z chyb a výpadků konzumentů. Lehce se dotkneme i designu zpráv, zajištění idempotence a kompatibility.

Porovnání message brokerů

• Kafka
• Klasičtí message brokeři
• Základní parametry pro výběr brokeru
• Anatomie zpráv

Odesílatelé

• Kafka transakce
• Outbox pattern
• Zajištění sekvenčního odeslání

Příjemci

• Škálování příjemců
• Idempotence
• Ošetření chybových stavů
• Kompatibilita

V této prezentaci vás provedu zkušenostmi a množstvím "fuckupů" z vývoje distribuovaného systému zpracovávajícího miliony zpráv. Budeme se zabývat především problémy a výzvami při přepisu několika monolitických aplikací do distribuovaného systému běžícího v cloudu a komunikujícího pomocí RabbitMQ.

Pokusíme se zodpovědět i otázky týkající se zajištění kvality dat a způsobů, jak na případné chyby co nejrychleji a nejlépe reagovat. Projdeme si různé architektonické přístupy k těmto problémům, ale i jak si pomoci implementací service Level Objectives (SLOs) a Service Level Indicators (SLIs) pro zlepšení spolehlivosti systémů.

Cílem prezentace je ukázat, že každý systém provází velké množství problémů během jeho vývoje, a poskytnout inspiraci, jak takové potíže řešit.

Event driven architektura ma rozne benefity ci uz sa bavime o skalovani, deduplikaci(worker/producer model) alebo o cistej cost optimalizacii. Vramci prednasky sa pozrieme na rozne modely ako z mojej skusenosti funguju. Tiez sa pozrieme na Monitoring a day 2 operations v cloud native prostredi pre Kafku. Kde vas mozu cakat problemy a na co sa zamerat ak chcete vas backend bezat spolahlivo a bez problemov.

Event Driven architektura ako téma a prečo je to zaujímavé

• O čom táto prednáška nebude

Priklady nastavenia

• Worker - producer model
• Lessons learned

Kafka vs Cloud native Setup

• Best Practices
• Cost optimization with Kafka (traffic, instances)
• Observability and Monitoring

Záver a Otázky

Architektúry mikroslužieb je spájaná s nutnosťou väčšej sieťovej komunikácie. Tá nie je vždy úplne spoľahlivá, prípadne majú jednotlivé služby technické problémy, zvýšený prílev požiadaviek, či spomalenú odozvu a tak nestihnú odpovedať včas. Pre tieto prípady je potrebné komunikáciu zabezpečiť mechanizmami, ktoré požiadavky opakujú viackrát.

Jednou z možností, ako problém komunikácie medzi službami zabezpečiť, je využitie message broker-a, ktorý dostáva správy od publisher-ov a preposiela ich subscriber-om, pričom zabezpečí, že každá správa je doručená aspoň raz.

V mojej prednáške sa pozrieme na detaily takejto manažovanej služby v Google Cloud-e — Google Pub/Sub, jej výhody a nevýhody a rôzne spôsoby využitia. V druhej časti si povieme o tom, akým problémom pri implementácií Pub/Sub-u do mikroarchitektúry sme čelili v mojom tíme, a ako ich riešiť.

• Prístup k dizajnu asynchrónne komunikujúcich mikroslužieb
• Pub/Sub ako message broker
• Pub/Sub ako fronta na spracovávanie event-ov
• Push vs. Pull subscription (výhody, nevýhody a use-casy)
• Problémy, na ktoré často narazíte
  • Paralelné spracovívanie fronty event-ov
  • Race-conditions a akými metódami sa im vyhnúť
  • Rate-limiting doručovania event-ov
  • Spracovávanie výnimiek a retry logika
• Konfigurácia pomocou Terraform (IaaC)