MLOps - sazba 80 000 rub. od Otus, školení 5 měsíců, datum 30.11.2023.
Různé / / November 30, 2023
Osvojíte si všechny potřebné dovednosti strojového učení pro streamování dat a distribuovaná prostředí. Program zahrnuje potřebné znalosti z oborů Data Science a Data Engineering, které vám umožní zpracovávat velká data a psát distribuované algoritmy ve Sparku.
Každý modul si procvičíte plněním domácích úkolů. Na konci školení budete mít závěrečný projekt, který vám umožní shrnout všechny získané znalosti a přidat do svého portfolia. Může to být provedeno jako součást pracovních úkolů na vaší datové sadě nebo to může být výukový projekt založený na datech poskytnutých OTUS.
Pro koho je tento kurz určen?
Pro specialisty na strojové učení nebo softwarové inženýry, kteří se chtějí naučit pracovat s velkými daty. Takové úkoly obvykle existují ve velkých IT společnostech s rozsáhlým digitálním produktem.
Pro datové vědce, kteří chtějí posílit své dovednosti pomocí inženýrských dovedností. Díky kurzu budete schopni zpracovávat data a samostatně zobrazovat výsledky ML řešení ve výrobě.
Abyste se mohli učit, budete potřebovat základní znalosti datové vědy. Doporučujeme vám podívat se na kurzy Map of Data Science na OTUS, abyste zjistili požadovanou úroveň školení.
Naučíte se:
- Používejte standardní nástroje ML pipeline v distribuovaném prostředí;
- Vyvinout své vlastní bloky pro ML potrubí;
- Přizpůsobit algoritmy ML distribuovaným prostředím a nástrojům pro velká data;
- Používejte Spark, SparkML, Spark Streaming;
- Vyvinout algoritmy pro přípravu streamovaných dat pro strojové učení;
- Zajistit kontrolu kvality ve všech fázích přesunu řešení ML do průmyslového provozu.
Poptávka po specialistech
Dovednosti, které budete ovládat, jsou co možná nejslibnější a nejslibnější. Na trhu se objevuje stále více digitálních produktů, jejichž vývoj vyžaduje práci s velkými daty a streamové zpracování. Již nyní se specialisté s takovou zásobou dovedností a určitou pracovní zkušeností mohou kvalifikovat na plat 270 tisíc. rublů Další trend - automatizace tréninkových a validačních procesů naopak nějakým způsobem znehodnocuje práci klasického Data Scientist. Vše směřuje k bodu, kdy i nespecialista může udělat fit-predikci. Proto ti, kteří mají alespoň povrchní inženýrské dovednosti, jsou již v prémii.
Vlastnosti kurzu
Spousta praxe práce s daty
Široká škála dovedností od distribuovaného ML a streamového zpracování dat až po produkční výstup
Současné nástroje a technologie: Scala, Spark, Python, Docker
Živá komunikace s odborníky prostřednictvím webinářů a chatu Slack
4
chodPodílí se na vývoji týmu Data Science, který poskytuje funkce založené na strojovém učení pro produkty a služby společnosti. Jako Data Scientist se podílel na vývoji Kaspersky MLAD a MDR AI Analyst. V...
Podílí se na vývoji týmu Data Science, který poskytuje funkce založené na strojovém učení pro produkty a služby společnosti. Jako Data Scientist se podílel na vývoji Kaspersky MLAD a MDR AI Analyst. Jako vývojář v C++ se podílel na vzniku MaxPatrol SIEM, vyučuje počítač již řadu let. vědních oborů na MSTU GA Autor řady zpráv o řízení a vývoji projektů ML, C++, DS týmy. Člen PC konference C++ Rusko. Programový manažer
8
kurzyVíce než 20 let zkušeností s projekty zakázkového vývoje v IT. Desítky úspěšných projektů, včetně těch v rámci státních zakázek. Zkušenosti s vývojem a implementací ERP systémů, open-source řešení, podpora vysoce zatěžovaných aplikací. Lektor kurzů na...
Více než 20 let zkušeností s projekty zakázkového vývoje v IT. Desítky úspěšných projektů, včetně těch v rámci státních zakázek. Zkušenosti s vývojem a implementací ERP systémů, open-source řešení, podpora vysoce zatěžovaných aplikací. Lektor kurzů Linux, Kuber, MLOps, DataOps, SolutionArchitect, IaC, SRE a také mentor kurzu HighLoad
1
studnaSpecialista na práci s velkými daty a strojové učení. 8 let pracoval v Odnoklassniki.ru. Řídil tým OK Data Lab (laboratoř pro výzkumníky v oblasti velkých dat a strojových...
Specialista na práci s velkými daty a strojové učení. 8 let pracoval v Odnoklassniki.ru. Řídil tým OK Data Lab (laboratoř pro výzkumníky v oblasti velkých dat a strojového učení). Analýza velkých dat v Odnoklassniki se stala jedinečnou šancí spojit teoretickou přípravu a vědecký základ s vývojem skutečných žádaných produktů. Od roku 2019 působí ve Sberbank jako generální ředitel. Působí jako vedoucí klastru pro vývoj platformy pro systémy doporučení v divizi hromadné personalizace. V roce 2004 absolvoval St. Petersburg State University, kde v roce 2007 obhájil doktorát z formálních logických metod. Pracoval jsem v outsourcingu téměř 9 let, aniž bych ztratil kontakt s univerzitním a vědeckým prostředím.
Základní úvod do zahájení kurzu
-Téma 1.Gradientní sestup a lineární modely
-Téma 2.Přehled základních metod a metrik strojového učení
-Téma 3.Vývoj přístupů k práci s daty
-Téma 4.Základy programování ve Scale
Technologický základ distribuovaného zpracování dat
-Téma 5. Distribuované systémy souborů
-Téma 6. Správci zdrojů v distribuovaných systémech
-Téma 7. Evoluce masivně paralelních a distribuovaných výpočetních rámců
-Téma 8. Základy Apache Spark 1
-Téma 9. Základy Apache Spark 2
Základy distribuovaného ML
-Téma 10. Přenos ML algoritmů do distribuovaného prostředí
-Téma 11.ML v Apache Spark
-Téma 12. Vývoj vlastních bloků pro SparkML
-Téma 13.Optimalizace hyperparametrů a AutoML
Zpracování streamu
-Téma 14. Zpracování datových proudů
-Téma 15. Knihovny třetích stran pro použití se Sparkem
- Téma 16. Spark Streaming
-Téma 17. Strukturované a nepřetržité streamování ve Sparku
-Téma 18.Alternativní streamovací rámce
Stanovení cílů a analýza výsledků
-Téma 19. Stanovení cíle projektu ML a předběžná analýza
-Téma 20. Dlouhodobé cíle ML na příkladu úkolu snížit churn
-Téma 21.A/B testování
-Téma 22.Další témata
Výstup výsledků ML do výroby
-Téma 23. Přístupy k uvedení řešení ML do výroby
-Téma 24. Verze, reprodukovatelnost a sledování
-Téma 25.Online podávání modelů
-Téma 26. Vzory pro asynchronní streamování ML a ETL
-Téma 27. Pokud potřebujete Python
ML v Pythonu ve výrobě
-Téma 28.Produkční kód v Pythonu. Kód organizace a balení
-Téma 29. Architektura REST: Flask API
-Téma 30.Docker: Struktura, aplikace, nasazení
-Téma 31.Kubernetes, orchestrace kontejnerů
-Nástroje Theme 32.MLOPS pro Kubernetes: KubeFlow, Seldon Core. Vlastnosti provozu heterogenních systémů v průmyslu.
-Téma 33. Amazon Sagemaker
-Téma 34. Služba AWS ML
Pokročilá témata
-Téma 35. Neuronové sítě
-Téma 36. Distribuované učení a odvození neuronových sítí
-Téma 37. Zesilování gradientu na stromech
-Téma 38. Posilovací učení
Projektová práce
-Téma 39. Výběr tématu a organizace projektové práce
-Téma 40. Konzultace projektů a domácích úkolů
-Téma 41.Ochrana projekční práce