Elastic Stack - ukládání a analýza logů

Kurz "Ukládání a analýza logů s Elastic Stack" je ideální volbou pro ty, kdo chtějí proniknout do hloubky práce s Elastic Stack a efektivně řešit sběr, správu a analýzu velkých objemů dat. Účastníci se naučí nejen základy ukládání logů, ale také pokročilé techniky pro vyhledávání, vizualizaci a monitorování dat pomocí Kibany. Důraz je kladen na praktické použití Elasticsearch a Kibany, včetně návrhu clusteru, konfigurace a optimalizace pro sběr dat z různých zdrojů. Kurz zahrnuje také detailní prozkoumání různých architektur Elastic Stacku, včetně přípravy a správy clusteru a aplikace APM pro sledování výkonu aplikací. Kurz je obohacen o interaktivní cvičení a příklady z praxe, což umožňuje účastníkům získat hluboké znalosti a dovednosti nezbytné pro efektivní správu a škálování řešení Elastic Stack v reálných podnikových prostředích.
 

Cílová skupina

• Vývojáři aplikací
• Systémoví administrátoři
• IT profesionálové 
  
  

Cíle kurzu

• jak ukládat různé logy pomocí Elastic Stack
• jak navrhnout architekturu logování pro různé případy užití
• jak instalovat a konfigurovat jednotlivé komponenty zpracování dat (Beats, Logstash, ElasticSearch, Kibana)
• technologii ElasticSearch více do hloubky, naučí se jak používat nástroje pro práci s úložištěm, jak jej spravovat, škálovat a monitorovat
• vytvářet dashboardy a pracovat s nástrojem Kibana

Garant kurzu

PETR NOVOTNÝ

Petrův odborný záběr je od solution architektury přes vlastní development (JavaScript, PHP) přes ElasticSearch, Oracle, PL/SQL až po agilní metodiky a SCRUM. Petr se zároveň věnuje již několik let technologii ElasticSearch a stal se kmenovým lektorem společnosti Datascript.

Osnova

Představení Elastic Stack

• Pochopení významu sběru logů, metrik, stop a dat o dostupnosti
• Představení jednotlivých komponent Observability v Elastic Stack

Elasticsearch jako storage logy

• Úvod do Elasticsearch, základní práce s Kibana
• Návrh a sizing clusteru pro sběr logů
• Konfigurace clusteru
• Různé architektury nasazení Elastic Stack
• Indexy a jejich návrh, data streams
• Distribuovaný model Elasticsearch
• Vysvětlení principů Elasticsearch do hloubky, Apache Lucene a další
• Druhy jednotlivých nodes

Mapping

• Mapování dokumentů v Elasticsearch v případě logů
• Dynamic fields
• Runtime fields
• ECS

Vyhledávání v Elasticsearch

• Různé možnosti vyhledávání v Elasticsearch a jak se v nich orientovat
• Lucene
• KQL
• EQL
• SQL
• ES|QL
• Příklady vyhledávání na učících datasetech

Sběr logů

• Sběr logů pomocí Filebeat
• Základní zpracování logů
• Sběr pomocí Elastic Agent
• Fleet server a jeho konfigurace
• Kibana Fleet

Zpracování logů

• Zpracování logů pomocí Ingest node
• Základní procesory pro zpracování logů
• Dissect filter, Grok filter, Attachment a další

Loghstash

• Zapojení Logstash do architektury zpracování logů
• Pipelines, inputs, filters, outputs
• Sběr dat z různých zdrojů
• Logstash queues
• Monitoring
• Logstash-to-logstash a různé architektury použití

APM

• APM server
• APM agents
• Ukázková aplikace a její napojení na Elastic APM
• Errors, Performance Metrics
• SLI, SLO, SLA pomocí APM
• Distributed tracing
• Microservice architecture

Kibana

• Konfigurace, data views
• Rozhraní discover
• Agregace pomocí Kibana
• Kibana Lens
• Tvorba vizualizací
• Dashboardy
• Vyhledávání v datech
• Ukázkové dashboardy, příklady z praxe

Správa dat a indexů

• Plánování kapacity a konfigurace
• Návrh indexů pro logování, data streams
• Rollover, Shrink, Merge
• ILM a rollover indexů v čase
• Searchable snapshots
• Tramsforms

Správa clusteru

• Restart (rolling, full-cluster)
• Správa snapshotů, repozitářů
• Upgrade clusteru (minor, major verze)
• Lab

Monitoring clusteru

• Nastavení monitoringu Elastic cluster
• Co, kdy a jak monitorovat
• Nástroje pro monitoring
• Lab

Technické specifikace

• Počítač s jakýmkoliv OS (Linux, Windows, OS X)
• SSH klient (na Windows např. Winsshterm, Putty), oprávnění připojit se vzdáleně na SSH (port 22)
• Webový prohlížeč

Předpoklady účastníka

Základní znalost Elasticsearch, protokol HTTP, formát JSON, obecná znalost databázových systémů.

Předcházející kurz

Elasticsearch