LLM v praxi: vývoj, interakce a hostování

V posledních letech se objevují obavy, že umělá inteligence postupně nahradí programátory. Tato přednáška však nabízí jiný pohled: místo aby AI nahrazovala programátory, stává se jejich dalším nástrojem, který jim umožňuje pracovat efektivněji.

• Jak pomáhá vývojářům AI (nejen GitHub Copilot) už dnes?
• Co bychom jako vývojáři od AI ocenili nejvíc?
• Jaké aspekty programování mají potenciál díky AI vymizet?
• Proč není "napsat program" ten hlavní problém, který vývojář řeší?

Přestože moderní AI může automatizovat některé rutinní úkoly a řešit nové kategorie problémů, není všespásným řešením a přináší vlastní výzvy a omezení. Dozvíte se také, proč jsou ryze lidské vlastnosti jako kritické myšlení, intuice a lenost stále nepostradatelné.

Jak hostovat nejen jazykové modely, pokud se nechcete spoléhat na API, nad kterým nemáte kontrolu? Podíváme se na velké, malé jazykové i ostatní ML modely, probereme si nasazování jak pytorch, tak dalších frameworků, a jaké technologie lze použít. Vyplatí se hostovat modely ve Vertex AI? Kde jsou jeho hranice a kdy má smysl vytočit si VM? A nestačí prostě pythoní Rest API? Jak otestovat, že skutečně využíváte vaši GPU naplno? Má smysl zabývat se tensorflow? Projdeme si nástroje a technologie, na které člověk při provozování modelů narazí a řekneme si jejich výhody a nevýhody.

• Nasazení a hostování tensorflow i pytorch modelů
• Huggingface transformers a jejich nadstavby
• GGML, GGUF, safetensors a čím se liší
• Limity a hranice Vertex AI v Google Cloudu
• Jak stress-testovat modely a najít nejlepší HW konfiguraci
• HFTGI, vLLM, llama.cpp, koboldcpp a další možnosti servingu jazykových modelů
• TF Serving, TorchServe, triton a další možnosti hostování obecných ML modelů
• potřeba a možnosti verzování modelů

Prompt engineering v aplikacích využívající LLM je často velmi repetitivní a časově náročný, přestože si obvykle vystačíme s jasně strukturovanými vstupy a výstupy. Framework DSPy usnadňuje práci s LLM v kódu, částečně automatizuje prompt engineering a umožňuje řetězení více LLM operací. Prezentace představí DSPy na příkladu extrakce dat s optimalizaci promptu.

• Úvod do DSPy
• Ukázkový dataset
• Definice Pipeline
• Evaluace
• Automatická Optimalizace promptu
• Využití open-source modelu

V přednášce se podíváme, zda se může lišit, když se LLM dotazujeme v angličtině nebo například češtině. Poznáme tak svět jazyků a jazykových modelů, abychom společně mohli vytvářet lepší produkty nejen pro české uživatele.

• Znalosti v různých jazycích: Podíváme se, jak se liší výstupy LLM při dotazování na různá témata v různých jazycích.
• Ověříme, zda má LLM hlubší znalosti české historie při dotazování v českém jazyce.
• Instruction following v různých jazycích: Ověříme, zda LLM sleduje příkazy rozdílně při dotazování v různých jazycích.
• Zjistíme, zda se LLM chová jinak při psaní instrukcí v angličtině a jiných jazycích.
• Jaký má dopad použití různých jazyků na cenu dotazu.
• Podíváme se, jak se ve znalostech různých jazyků liší open-source modely od těch ostatních

V této přednášce se podíváme na důsledky rychlého vývoje a nasazení aplikací založených na velkých jazykových modelech. Prozkoumáme známé případy selhání velkých firem, které se pokusily nasadit LLM aplikace bez dostatečné přípravy.

Dále se zaměříme na osvědčené postupy pro stabilní vývoj LLM aplikací. Naučíte se, jak správně zaznamenávat interakce s LLM, jak identifikovat a označovat špatné odpovědi a jak optimalizovat výsledky pomocí efektivních promptů. Ukážeme si také metody pro hromadnou evaluaci promptů, abychom předešli regresím při jejich změně.

Na závěr představíme nástroj Langtail, který integruje všechny tyto funkce do jedné kompaktní platformy, čímž eliminuje potřebu vývoje vlastního interního toolingu.

• Prozkoumáme známé případy, kdy velké firmy nezvládly rychlé nasazení LLM aplikací
• Naučíte se, jak vyvíjet LLM aplikace, které jsou stabilní a spolehlivé
• Jak správně zaznamenávat a analyzovat interakce s LLM
• Efektivní metody pro identifikaci a označování špatných odpovědí
• Jak pomocí správných promptů zlepšit kvalitu odpovědí
• Techniky pro evaluaci promptů ve velkém měřítku, aby se předešlo regresím
• Představení platformy Langtail, která integruje všechny tyto funkce a eliminuje potřebu vývoje vlastního toolingu

Jak může umělá inteligence změnit způsob, jakým se učíme angličtinu? V této přednášce Vráťa Kalenda z Appliftingu představí inovativní projekt, který využívá AI pro efektivní výuku anglického jazyka. Účastníci se dozví o architektuře projektu navržené pro snadné škálování a snadný provoz a prozkoumají praktické rady pro výběr AI služeb. Detailní pohled na technické výzvy odhalí, jak tým překonal hlavní překážky ve vývoji, a jaké klíčové komponenty zajistí, že AI aplikace bude fungovat efektivně v praxi. Tato přednáška je ideální pro vývojáře, produktové designéry a manažery, kteří hledají efektivní způsob, jak stavět AI produkt a nebo jak integrovat umělou inteligenci do existujících řešení.

• Představení projektu
• Architektura řešení
• Hlavní technické výzvy
• Deep dive do vývoje AI produktu

Mindset je zásadní v této nové době. Nyní se musí odehrát klíčové změny v myšlení, které je potřeba přijmout v éře AI. Podíváme se na možnosti AI dnes, co nás čeká a jak zůstat připraven nejen jako jedinec, ale jako tým. Jako firma. Jak podpořit zájem o vyšší efektivitu místo stagnace.

• Růstové myšlení
• Adaptace na éru AI
• Zdravá skepse ku stavu AI
• Příklady z praxe a reálného použití
• Praktická strategie na posílení AI ve firmě
• Tipy pro mentoring a vedení týmů při přijímání AI

Připojte se ke mě a zjistěte, jak správné nastavení mysli může posílit schopnost celé firmy využít potenciál AI a zlepšit efektivitu a rychlost.