Data Engineer from zero to Junior - bezplatný kurz od Skillboxu, školení, Datum: 29. listopadu 2023.
Různé / / November 30, 2023
Pro začátečníky
Naučte se Python a SQL od nuly. Naučte se shromažďovat, analyzovat a zpracovávat data. Řešte problémy na základě skutečných případů a přidejte je do svého portfolia. Kariéru v datovém inženýrství můžete zahájit již během studia.
Pro programátory
Zlepšete své znalosti SQL pro práci s databázemi. Projdete celou cestu datového inženýra od sběru nezpracovaných dat až po nasazení modelu. Zkušenosti s programováním vám pomohou rychle pochopit novou profesi a změnit váš obor.
Pro začínající analytiky
Naučte se všechny fáze práce s daty. Naučte se shromažďovat informace z různých zdrojů, budovat architekturu pro jejich ukládání a vizualizovat zprávy. Budete schopni samostatně připravit data pro následnou analýzu.
Autor kurzu Machine Learning. Senior Data Scientist, Team Lead ve společnosti SberData, Sber. 5+ let v profesi
Řečník kurzu, ředitel výzkumu a vývoje, UBIC Tech. Více než 15 let zkušeností ve vývoji
Data Scientist ve Sberbank, matematik ve výpočetním centru Ruské akademie věd. Blok „Základy matematiky pro datovou vědu“. Více než 4 roky praxe ve výuce vyšší matematiky
První úroveň: základní výcvik
Seznamte se s hlavními oblastmi Data Science, trénujte a implementujte svůj první model ML. Získejte základní znalosti z matematiky, statistiky a teorie pravděpodobnosti. To vše vám pomůže pochopit základní principy práce s daty. Průměrná doba dokončení je 6 měsíců.
Úvod do datové vědy
Projdete si všemi fázemi práce s daty. Naučte se identifikovat problémy, shromažďovat obchodní požadavky. Stáhnete data z různých zdrojů, provedete průzkumnou analýzu a připravíte datovou sadu pro další použití. Trénujte a implementujte hotový model ML, vyzkoušejte se jako produktový a marketingový analytik. Naučte se formulovat a testovat hypotézy. Osvojte si základní nástroje pro práci: Python, SQL, Excel, Power Bi, Airflow.
Základní matematika pro datovou vědu
Získejte základní znalosti z matematiky pro práci se strojovým učením. Pochopíte, co je to aproximace, interpolace, funkce, regrese, matice a vektory. Naučte se pracovat s matematickými entitami v knihovně SymPy Python.
Základy statistiky a teorie pravděpodobnosti
Pochopíte principy práce s náhodnými veličinami a událostmi. Seznamte se s některými typy distribucí a statistických testů, které jsou užitečné při konstrukci modelů a testování hypotéz.
Možnost stáže
K získání praxe stačí základní znalosti a dovednosti – můžete pokračovat ve studiu na kurzu i ve firmě zároveň.
Druhá úroveň: Data Engineer Junior
Naučte se shromažďovat komplexní datové sady, připravovat ukázky a vytvářet kanály pro práci, nasazovat projekty DS od začátku a testovat kód. Budete připraveni pracovat jako Junior Data Engineer. Průměrná doba dokončení je 6 měsíců.
Úvodní blok
Zjistěte, co dělá datový inženýr, jakou roli hraje v projektu Data Science a jaké jsou jeho profesní dráhy. Pochopíte, jak je kurz strukturován a jaká témata budete studovat.
SQL
Naučte se manipulovat s daty ve stávajících tabulkách, provádět operace vkládání, mazání a aktualizace. Data z databáze můžete ukládat v různých formátech. Seznamte se s funkcemi oken a základy přípravy datových tržišť pomocí SQL. Naučte se zajistit správné vkládání informací v transakčním režimu. Budete schopni číst a rozumět protokolu transakcí. Zjistěte, co jsou indexy, architektura indexů a kde se používají. Naučte se techniky pro urychlení dotazů.
Krajta. LVL 2
Zvažte datové typy, jak je lze převádět a jak Python a SQL spolupracují – získávání dat z databáze, práce s daty a spouštění dotazů. Naučte se základní koncepty datových schémat JSON a XML. Budete moci konfigurovat ladění aplikací, psát testy, anonymizovat a šifrovat data.
Knihovny pro Python
Dozvíte se, co jsou to knihovny pro práci s grafy, řízené učení, vizualizace metrik a zdroje datových sad. Naučte se používat Python a knihovny pro práci s daty. Můžete pokračovat v učení Pandy.
Proud vzduchu
Projděte si klíčové koncepty a postupy pro práci s Airflow. Naučte se základy architektury a interoperability od uživatelského rozhraní po CLI. Sestavte svůj první datový kanál.
Základy jiskry
Master Spark: zjistěte, s jakými výpočetními prostředky pracuje, jak ukládá data a pracuje s pamětí a diskem. Postavte svůj první místní stánek. Naučte se základy RDD: základní pojmy, práce se zdroji, akce. Naučte se pracovat s Dataframe API. Naučte se problémy s výkonem a optimalizací při používání Dataframe, datové zdroje a typy, práci s platnými/neplatnými daty, zpracování chyb, UDF, interakci s Pythonem a SQL.
Základy algoritmů strojového učení
Pochopíte hlavní typy modelů strojového učení, klíčové pojmy a definice. Naučte se regresní algoritmy a shlukovací algoritmy.
Rozvinutí
Naučte se hlavní fáze přípravy modelu pro nasazení, přístupy k vytváření rozhraní API a způsoby zpracování chyb a ladění aplikací. Budete schopni odstraňovat problémy s nasazením a ovládat základní nástroje chvástání. Seznamte se s klíčovými procesy bash: psaní skriptů, práce s proměnnými a textové editory sed a awk.
Závěrečné projekty
Po absolvování první úrovně připravte úvodní projekt. Na konci kurzu představíte svou závěrečnou práci.
Úvod do datové vědy
Upevněte své nové znalosti na individuálním projektu – od načítání dat přejdete k implementaci modelu. Vyřešte problémy datového inženýra, ML inženýra a datového analytika, abyste se rozhodli pro svou specializaci.
datový inženýr
Závěrečný projekt na juniorské úrovni. Proveďte kohortovou analýzu a stáhněte si reference API. Vytvářejte řídicí panely na základě přijatých dat.
Bonusové kurzy
Vývojářská kariéra: Zaměstnání a rozvoj
Dozvíte se, jak vybrat vhodné volné pracovní místo, připravit se na pohovor a vyjednávat se zaměstnavatelem. Budete schopni rychle získat pozici, která splní vaše očekávání a dovednosti.
Systém pro správu verzí Git
Naučte se měnit kód verzí, vytvářet a spravovat úložiště, větve a řešit konflikty verzí. Naučte se užitečná pravidla pro práci s Git.
Angličtina pro IT specialisty
Získejte jazykové znalosti, které vám pomohou projít pohovorem se zahraniční společností a pohodlně komunikovat ve smíšených týmech.