LLM v praxi: vývoj, interakce a hostování
Log
18.06.2024 09:00 - Spustili jsme registrace na konferenci
Info
* Cena konference je uvedena bez DPH
Získejte Wild Cards na 81. a 141. židli a užijte si konferenci zdarma (pozice se počítá dle došlých registrací).
Občerstvení - pokud potřebujete zajistit bezlepkové občerstvení, prosíme uveďte to do "Poznámky" v registračním formuláři. Rádi Vám jídlo na jméno zajistíme.
Změna programu a místa konání konference je vyhrazena.
Konference se bude konat prezenčně.
Skupinové vstupenky: 6 vstupenek za 30.000,- / 10 vstupenek za 47.000,-
Program
Proč vývojáři nepřijdou kvůli AI o práci
V posledních letech se objevují obavy, že umělá inteligence postupně nahradí programátory. Tato přednáška však nabízí jiný pohled: místo aby AI nahrazovala programátory, stává se jejich dalším nástrojem, který jim umožňuje pracovat efektivněji.
- Jak pomáhá vývojářům AI (nejen GitHub Copilot) už dnes?
- Co bychom jako vývojáři od AI ocenili nejvíc?
- Jaké aspekty programování mají potenciál díky AI vymizet?
- Proč není "napsat program" ten hlavní problém, který vývojář řeší?
Přestože moderní AI může automatizovat některé rutinní úkoly a řešit nové kategorie problémů, není všespásným řešením a přináší vlastní výzvy a omezení. Dozvíte se také, proč jsou ryze lidské vlastnosti jako kritické myšlení, intuice a lenost stále nepostradatelné.
![Jirka Jansa](https://www.datascript.cz/ir/storage/d5_DS-PrednaskySpeaker/61-image-File-JirkaJansa--c109xc98.jpg)
Jirka Jansa
Jirka Jansa z TopMonks je aplikační vývojář s dlouholetou praxí napříč různými platformami a programovacími jazyky. Během své kariéry pracoval na projektech významných zákazníků, jako jsou Ataccama, Erste, ČSA nebo Ministerstvo spravedlnosti. Programování je jeho denní chléb. Místy přednáší na konferencích a je častým přispěvatelem přednášek na TopMonks Caffè. Kromě toho je spolutvůrcem nového, vývojářského podcastu "Drink o páté", který s humorem a nadhledem diskutuje zajímavosti a aktuální témata ze světa vývoje software.
Jak hostovat nejen jazykové modely v produkci
Jak hostovat nejen jazykové modely, pokud se nechcete spoléhat na API, nad kterým nemáte kontrolu? Podíváme se na velké, malé jazykové i ostatní ML modely, probereme si nasazování jak pytorch, tak dalších frameworků, a jaké technologie lze použít. Vyplatí se hostovat modely ve Vertex AI? Kde jsou jeho hranice a kdy má smysl vytočit si VM? A nestačí prostě pythoní Rest API? Jak otestovat, že skutečně využíváte vaši GPU naplno? Má smysl zabývat se tensorflow? Projdeme si nástroje a technologie, na které člověk při provozování modelů narazí a řekneme si jejich výhody a nevýhody.
- Nasazení a hostování tensorflow i pytorch modelů
- Huggingface transformers a jejich nadstavby
- GGML, GGUF, safetensors a čím se liší
- Limity a hranice Vertex AI v Google Cloudu
- Jak stress-testovat modely a najít nejlepší HW konfiguraci
- HFTGI, vLLM, llama.cpp, koboldcpp a další možnosti servingu jazykových modelů
- TF Serving, TorchServe, triton a další možnosti hostování obecných ML modelů
- potřeba a možnosti verzování modelů
![Matěj Račinský](https://www.datascript.cz/ir/storage/d5_DS-PrednaskySpeaker/57-image-File-MatejRacinsky--c109xc98.jpg)
Matěj Račinský
Matěj Račinský vystudoval umělou inteligenci na FEL ČVUT, a od té doby se profesně věnuje machine learningu a neuronovým sítím, od tréninku až po nasazování do produkce. V Avastu, nyní Gen Digital, se podílel na nasazování ML Modelů jak v Julii, tak v Pythonu, do produkce, a nyní pracuje mimo jiné s jazykovými modely, kde pomáhá výzkumníkům s nasazováním a provozováním modelů v cloudu.
DSPy Framework pro Programovaní s LLMs
Prompt engineering v aplikacích využívající LLM je často velmi repetitivní a časově náročný, přestože si obvykle vystačíme s jasně strukturovanými vstupy a výstupy. Framework DSPy usnadňuje práci s LLM v kódu, částečně automatizuje prompt engineering a umožňuje řetězení více LLM operací. Prezentace představí DSPy na příkladu extrakce dat s optimalizaci promptu.
- Úvod do DSPy
- Ukázkový dataset
- Definice Pipeline
- Evaluace
- Automatická Optimalizace promptu
- Využití open-source modelu
![Václav Košař](https://www.datascript.cz/ir/storage/d5_DS-PrednaskySpeaker/60-image-File-VasekKosar--c109xc98.png)
Václav Košař
Václav Košař je vývojář systémů se strojovým učením. Podílel se například na optimalizaci kategorizace produktů ve velké škále v GLAMI a v současnosti moderní automatizaci telefonních hovorů využívající LLMs.
Jakým jazykem myslí LLM?
V přednášce se podíváme, zda se může lišit, když se LLM dotazujeme v angličtině nebo například češtině. Poznáme tak svět jazyků a jazykových modelů, abychom společně mohli vytvářet lepší produkty nejen pro české uživatele.
- Znalosti v různých jazycích: Podíváme se, jak se liší výstupy LLM při dotazování na různá témata v různých jazycích.
- Ověříme, zda má LLM hlubší znalosti české historie při dotazování v českém jazyce.
- Instruction following v různých jazycích: Ověříme, zda LLM sleduje příkazy rozdílně při dotazování v různých jazycích.
- Zjistíme, zda se LLM chová jinak při psaní instrukcí v angličtině a jiných jazycích.
- Jaký má dopad použití různých jazyků na cenu dotazu.
- Podíváme se, jak se ve znalostech různých jazyků liší open-source modely od těch ostatních
![Pavel Král](https://www.datascript.cz/ir/storage/d5_DS-PrednaskySpeaker/58-image-File-pavel_stand2--c109xc98.jpg)
Pavel Král
Pavel je vývojář Pythonu specializující se na integrace LLM v Django a Kubernetes, který si užívá jejich praktické použití a měřitelné přínosy. Prezentoval na Prague Python Pizza nebo PyconSK. Brzy bude prezentovat poster na EuroPythonu a dalších akcích.
Jak spolupracovat při vývoji aplikací využívajících jazykové modely: Méně překvapení, rychlejší výsledky
V této přednášce se podíváme na důsledky rychlého vývoje a nasazení aplikací založených na velkých jazykových modelech. Prozkoumáme známé případy selhání velkých firem, které se pokusily nasadit LLM aplikace bez dostatečné přípravy.
Dále se zaměříme na osvědčené postupy pro stabilní vývoj LLM aplikací. Naučíte se, jak správně zaznamenávat interakce s LLM, jak identifikovat a označovat špatné odpovědi a jak optimalizovat výsledky pomocí efektivních promptů. Ukážeme si také metody pro hromadnou evaluaci promptů, abychom předešli regresím při jejich změně.
Na závěr představíme nástroj Langtail, který integruje všechny tyto funkce do jedné kompaktní platformy, čímž eliminuje potřebu vývoje vlastního interního toolingu.
- Prozkoumáme známé případy, kdy velké firmy nezvládly rychlé nasazení LLM aplikací
- Naučíte se, jak vyvíjet LLM aplikace, které jsou stabilní a spolehlivé
- Jak správně zaznamenávat a analyzovat interakce s LLM
- Efektivní metody pro identifikaci a označování špatných odpovědí
- Jak pomocí správných promptů zlepšit kvalitu odpovědí
- Techniky pro evaluaci promptů ve velkém měřítku, aby se předešlo regresím
- Představení platformy Langtail, která integruje všechny tyto funkce a eliminuje potřebu vývoje vlastního toolingu
![Petr Brzek](https://www.datascript.cz/ir/storage/d5_DS-PrednaskySpeaker/59-image-File-petr-brzek2--c109xc98.jpg)
Petr Brzek
Petr Brzek se již více než deset let věnuje vývoji nástrojů, které zlepšují workflow vývojářů. Byl spoluzakladatelem startupu Avocode, který se zaměřoval na spolupráci mezi designéry a vývojáři. Avocode před třemi lety úspěšně prodal společnosti Ceros. Posledních pět let se Petr intenzivně zajímá o jazykové modely a jejich využití. V roce 2023 založil nový startup Langtail, který má za cíl pomoct firmám vytvářet stabilnější aplikace využívající LLMs.
Jazyková výuka nové generace: Jak AI mění pravidla hry
Jak může umělá inteligence změnit způsob, jakým se učíme angličtinu? V této přednášce Vráťa Kalenda z Appliftingu představí inovativní projekt, který využívá AI pro efektivní výuku anglického jazyka. Účastníci se dozví o architektuře projektu navržené pro snadné škálování a snadný provoz a prozkoumají praktické rady pro výběr AI služeb. Detailní pohled na technické výzvy odhalí, jak tým překonal hlavní překážky ve vývoji, a jaké klíčové komponenty zajistí, že AI aplikace bude fungovat efektivně v praxi. Tato přednáška je ideální pro vývojáře, produktové designéry a manažery, kteří hledají efektivní způsob, jak stavět AI produkt a nebo jak integrovat umělou inteligenci do existujících řešení.
- Představení projektu
- Architektura řešení
- Hlavní technické výzvy
- Deep dive do vývoje AI produktu
![Vratislav Kalenda](https://www.datascript.cz/ir/storage/d5_DS-PrednaskySpeaker/62-image-File-Vrata_Kalenda_2--c109xc98.jpg)
Vratislav Kalenda
Vráťa Kalenda je spoluzakladatel a tvář českého vývojářského studia Applifting, které vytváří software pro přední tuzemské i zahraniční společnosti. Programování se věnuje od 14 let a už od dětství věděl, že chce mít vlastní firmu. Pro klienty působí jako IT byznys partner a v rámci Appliftingu se zaměřuje na smysluplný leadership. Baví ho motivování a vedení lidí, jejich spokojenost v práci klade na první místo. Volný čas tráví s rodinou, sportuje a pravidelně ho uvidíte brázdit pražské ulice na elektrické jednokolce. Podle svých slov „nemá work-life balance, má flow“.
Myslet na AI nestačí, je potřeba změna mindsetu!
Mindset je zásadní v této nové době. Nyní se musí odehrát klíčové změny v myšlení, které je potřeba přijmout v éře AI. Podíváme se na možnosti AI dnes, co nás čeká a jak zůstat připraven nejen jako jedinec, ale jako tým. Jako firma. Jak podpořit zájem o vyšší efektivitu místo stagnace.
- Růstové myšlení
- Adaptace na éru AI
- Zdravá skepse ku stavu AI
- Příklady z praxe a reálného použití
- Praktická strategie na posílení AI ve firmě
- Tipy pro mentoring a vedení týmů při přijímání AI
Připojte se ke mě a zjistěte, jak správné nastavení mysli může posílit schopnost celé firmy využít potenciál AI a zlepšit efektivitu a rychlost.
![Petr Glaser](https://www.datascript.cz/ir/storage/d5_DS-PrednaskySpeaker/56-image-File-PetrGlaser--c109xc98.png)
Petr Glaser
Petr Glaser je zkušený konzultant v oblasti AI. Specializuje se na pomoc vývojovým týmům při integraci AI do jejich pracovních postupů. Jako bývalý staff software engineer klade velký důraz na praktickou aplikaci. Petr pomohl mnoha týmům zlepšit jejich produktivitu a efektivitu nejen pomocí AI. Školí ve firmách jako je T-Mobile, Sazka, Fortuna nebo Travelport.
Je také zakladatel platformy Nauč mě IT, kde ukázal silný závazek k mentorování a vzdělávání nové generace vývojářů. V této přednášce Petr sdílí své poznatky a strategie pro přijetí správného myšlení v éře AI, které pomáhají vývojářům úspěšně se orientovat v rychle se měnícím technologickém prostředí.
Registrační formulář
Proč se přijít podívat?
- Ukážeme Vám, tipy pro mentoring a vedení týmů při přijímání AI
- Projdeme si nástroje a technologie, na které člověk při provozování modelů narazí a řekneme si jejich výhody a nevýhody
- Zjistíme, zda se LLM chová jinak při psaní instrukcí v angličtině a jiných jazycích
- Představíme Vám frameworky Langtail a DSPy
- Dozvíte se, jak vývojářům pomáhá AI
- Rozebereme, jak stavět AI produkt a jak ho integrovat
Storno podmínky
Registrace na konferenci je závazná a její storno je možné "bezplatně" pouze písemnou formou prostřednictvím e-mailu a to nejpozději 14 kalendářních dní před zahájením konference.
Odstoupí-li/stornuje-li účastník konference registraci v termínu kratším než 14 kalendářních dní před zahájením konference, vyhrazuje si organizátor vůči účastníkovi právo na zaplacení storno poplatku v plné výši hodnoty vstupenky.
Děkujeme za pochopení
Jak se k nám dostanete
Institut klinické a experimentální medicíny (IKEM) se nachází na adrese Vídeňská 1958/9, 140 21 Praha 4. Kongresové centrum se nachází v 5. patře hlavní budovy.
Nejrychleji z centra Prahy: Metrem do stanice Budějovická (trasa C). Pak autobusem č. 193 na zastávku IKEM (v autobuse hlášena jako „Institut klinické a experimentální medicíny“).
Autem
Parkovat můžete ve dvou nadzemních podlažích garážové budovy u hotelu Rezidence EMMY v okolí. Využít můžete i parkoviště pro návštěvníky a pacienty IKEM, které je zhruba 100 m od hlavního vchodu do budovy IKEM (kapacita 200 míst).
Bus
Autobusové linky 193, 138, 203 zastavující na zastávce IKEM.
Regionální linky: 332, 335, 337, 339, 362
Tram
Tento oblíbený spoj není k dispozici.