GitOps - automatizace a moderní infrastruktura

Každá úspěšná (IT) firma si v minulých letech prošla mnoha výzvami, mezi technologické výzvy patří zejména zefektivňování vývoje, automatizování vydávání komponent, digitalizace a zjednodušování vnitropodnikových procesů úzce souvisejících s populární DevOps
metodikou. GitOps přístup představuje plynulé rozšíření DevOps principů na efektivní nasazování aplikací či manažování infrastruktur.

Úvodní část přednášky je více teoretická a provedu Vás výhodami GitOps přístupu v souvislosti s příbuznými oblastmi jako jsou DevOps, Continuous Integration a Deployment (CI/CD) a Infrastructure as Code (IaC). Společně se proletíme historií nasazování komponent
s výhledem do budoucnosti. Zhodnotíme jednotlivé tooly, které se používají pro nasazování, z hlediska kompatibility s GitOps principy.

V druhé části prezentace se zaměříme detailněji na Flux CD, který používám pro kontinuální nasazování velké cloudové infrastruktury. Ukážeme si, jak Flux CD nasazuje aplikace, jak popsat rozsáhlou infrastrukturu a společně se naučíme řešit časté problémy, s nimiž se v praxi setkáte. Nezapomeneme ani na monitoring a grafické zobrazení infrastruktury.

Teoretický úvod

• Proč GitOps? Jak GitOps souvisí s DevOps, IaC a CI/CD.
• Deploymenty aplikací včera, dnes a zítra, aneb proč jsou některé tooly vhodnější než jiné.
• Příklad použití: Nová generace OpenStack cloudu jinak a lépe nyní nad Kubernetes v duchu GitOps.

Zkušenosti s Flux CD

• Flux CD architektura.
• Jak správně popsat velkou infrastrukturu.
• Jak se vypořádat s obvyklými praktickými problémy, které pro Vás Flux CD připravil.
• Monitoring a vizualizace infrastruktury.

Jako nový přístup ke správě infrastruktury, GitOps se setkávalo a setkává s nedostatečně rozvinutou standardizací v některých aspektech. Jedním z nich jak vůbec reprezentovat oddělené varianty různých prostředí, nebo jak bezpečně izolovat podčásti infrastrutkury například pro self-service účely jednotlivých týmů.

Cílem přednášky bude probrat různé přístupy k modelování konfigurace, jak minimalizovat komplexitu kódu s rostoucí komplexitou infrastruktury, jak zvýšit transparentnost změn minimalistickým způsobem. Podíváme se krátce i na téma multi-tenantních clusterů, vhodné situace a možný způsob implementace.

Struktura GitOps konfigurace

• Možné přístupy, výhody a nevýhody
• Modelování většího množství variant prostředí

Transparentnost a Quality-of-life

Multi-tenancy

• Motivace pro použití
• Bezpečnost a izolace

Nejspíše každý již slyšel o Terraformu a spousta společností jej spokojeně využívá pro správu své cloudové infrastruktury. Terraform je bez pochyby skvělý nástroj, nicméně má svá omezení, a ne vždy je příjemné tato omezení řešit. Zde přichází na scénu Terragrunt - nástroj, který má za cíl tato omezení odstranit a rozšířit možnosti Terraformu.

V přednášce si nejprve v rychlosti řekneme, co je Terragrunt a jak řeší některá omezení Terraformu a zároveň si povíme jaké jsou jeho nevýhody. Následně se vrhneme na praktickou ukázku, kde si ukážeme, jak strukturovat konfiguraci Terragruntu pro několik prostředí a jak pracovat s vícero Terraform moduly. Ukážeme si také jak předávat proměnné všem modulům v daném prostředí a jak generovat části Terraform kódu, který se následně použije jako součást Terraform modulu. Součástí ukázky bude také použití Mozilla SOPS pro případy, kdy chceme mít některé citlivé proměnné uložené v git repozitáři.

V druhé části se podíváme na to, jak pracovat s Terragruntem v týmu lidí a jak pro takový tým využít Gitlab CI. Začneme jednoduchou pipelinou pro jednotlivé moduly a následně si ukážeme, jak využít parent/child pipeliny pro spouštění nad merge requestem a následně nad hlavní větví. Na konec, pokud čas dovolí, si ukážeme, jak využít Go knihovnu Terratest pro testování Terraform modulů v Gitlab CI.

Co je Terragrunt a jak řeší omezení Terraformu

Terragrunt v praxi

• Struktura konfigurace aneb keep it DRY
• Práce s Terraform moduly
• Práce s proměnnými, jejich předávání a šifrování
• Generování Terraform kódu

Gitlab CI

• Setup a základní použití
• Pokročilá funkcionalita a generování pipeline
• Testování Terraform modulů pomocí Terratest

Jak dlouho vám trvá vytvoření nového prostředí pro vývojáře, testování nebo akceptaci? Kolik takových prostředí máte? Kolik času vám zabere jejich správa a změny v konfiguraci? Kolik kódu je k tomu potřeba? Co kdyby k tomu byla zapotřebí jenom trocha konfigurace a jedna dvě CI/CD pipeline?

V úvodu přednášky se podíváme na architekturu takových prostředí, jak je navrhnout, jak připravit kubernetes cluster a co všechno je možné poměrně jednoduše automatizovat skrze ArgoCD a Helm.

Ve druhé části si v rámci živého dema ukážeme vytvoření konfigurovatelného vývojářského (developer, preview), které existuje pouze po dobu vývoje a testování a pak si po sobě uklidí. Samozřejmostí je SSL, DNS, secret management, integrace ArgoCD (app of apps pattern, notifications) a github actions (docker build, push do registry), gitops deployment a to vše v prostředí kubernetes a AWS!

Proč a kdy se hodí?
Architektura dočasných prostředí
Příprava clusteru a automatizace

• SSL, DNS, External secrets, AWS IAM

ArgoCD

• app of apps pattern
• application sets & generators
• multiple sources ArgoCD application
• notifications

Gitops s github actions a ArgoCD

Live demo

• Ukázka workflow v GitHub Actions a ArgoCD
• Aplikace změn v reálném čase pomocí ArgoCD
• Parametrizace prostředí (helm values)
• Monitoring a zpětná vazba pro vývojáře

Nasadzovanie a manažment aplikácií využitím GitOps prístupu je dnes už vcelku známy pattern, ktorý si veľmi rýchlo získal obľubu vďaka svojim výhodám. Ako je to však s nasadzovaním a správou infraštruktúry? Vieme GitOps prístup uplatniť aj na tejto úrovni? Vďaka využitiu kombinácie Crossplane a ArgoCD toolov to možné je! Počas prezentácie sa spoločne pozrieme na to, čo vlastne Crossplane je, ako funguje, aké sú jeho výhody a nevýhody a skúsime sa zamerať na zásadné rozdiely s Terraformom, ktorý je dnes jeden z najznámejších toolov pre správu infraštruktúr. V druhej časti prednášky si na praktickom príklade ukážeme ako vieme dynamicky nasadzovať a spravovať infraštruktúru využitím Crossplanu a ArgoCD.

O Crossplane

• princíp fungovania
• výhody a nevýhody
• porovanie s Terraformom

Crossplane + ArgoCD

• Prečo je to dobrá kombinácia a ako to spolu funguje

GitOps live demo

• Nasadenie infraštruktúry
• Nasadenie demo aplikácie spolu s jej infraštruktúrnymi závislosťami