Analýza dat v Pythonu a databázích (SQL) - bezplatný kurz od RANEPA, školení, Datum: 6. března 2023.
Různé / / December 04, 2023
Program Python Data Analysis and Database (SQL) poskytne studentům pochopení základů programování algoritmů ML (Machine Learning) pomocí jazyka Python. Pomůže vám také zvládnout řadu kompetencí v oblasti správy moderních relačních databází a získat praktické dovednosti v používání jazykových nástrojů DBMS (Database Management Systems data).
V podnikání a státní správě je třeba neustále analyzovat obrovské množství dat získat informace pro kontrolu kvality práce, předložit nové nápady a zdůvodnit přijaté rozhodnutí. Odborníci, kteří rozumí obrovskému množství dat, mohou očekávat rychlou kariéru s působivými platy.
SQL a Python jsou zpravidla nejčastěji uváděny v pracovních inzerátech souvisejících s analýzou dat.
Do kurzu se mohou přihlásit pouze studenti, kteří nestudují v následujících oborech:
V průběhu zvládnutí programu budou mít studenti možnost přicházet s novými digitálními produkty (samostatně nebo v týmu). Autoři nejlepších řešení získají podporu Akademie a možnost spolupráce s Laboratoří umělé inteligence a Laboratoří vývoje platforem RANEPA.
Krajta
Jak to celé funguje? Funkce Pythonu.
Proč všichni používají Python? Srovnání s jinými programovacími jazyky. Jak psát programy? Výhody Pythonu. Jak používat Python v úkolech: zpracování textu, práce s obrázky, psaní akciových robotů, spouštění chatovacích botů. Vstup a výstup v Pythonu. Jména v Pythonu. Základní operace. Řízení průběhu provádění programu (podmíněné konstrukce). Příklady jednoduchých programů.
Cykly. Čáry. Řetězcové metody.
Smyčka s předpokladem. Příkazy Break and Continue. Pro smyčku Struktura čáry a délka čáry. Prvek čáry a způsob řezání čar. Získání podřetězce z řetězce. Průjezd čárou. Sekce.
N-tice. Seznamy. funkční mapu. Generátor seznamu náhodných hodnot.
Proč jsou potřeba n-tice? Práce se seznamem. Seznam prvků. Vytiskněte seznam. Správné kopírování seznamů. Vlastnosti použití funkce mapy. Co jsou generátory náhodných hodnot? hromada. Operace s množinami. Frozenset. Slovníky. získat metodu Procházení slovníkem.
Funkce. Aplikace matematických funkcí. Rozsah a vyloučení.
Jak správně psát funkce. Jednoduché algoritmy. Psaní prvních funkcí. Jak přidat matematiku. Doporučení pro psaní vlastních funkcí. Jak fungují osciloskopy. Globální proměnné. Vrácení více hodnot z funkce. Výjimky.
Práce se soubory. Matrice. Typy třídění
Co můžete se soubory dělat? Otevírání a zavírání souborů. Čtení a zápis textových souborů. Matrice. Vyplňování matric. Zadávání matic řádek po řádku. Čtení a zápis matrik. Bublinové řazení. Analýza algoritmu. Několik verzí řešení.
Přehled knihovny NumPy. Práce s funkcemi NumPy. Knihovna SciPY.
Knihovny Pythonu a jejich instalace. Základní datové typy NumPy. Numerické funkce. Práce s poli. Operace s poli. Dvourozměrná pole. Matrice. Základní vlastnosti knihovny SciPy.
Přehled knihovny Pandy. Základní analytika.
Instalace knihovny. Vytvoření objektu Series. Indexování datových rámců. Tabulky. Čtení a zápis souborů. Indexování. Vzorkování dat. Operace s řádky a sloupci. Práce s NaN. Řazení.
Vizualizace dat. Praktické příklady
Studium nových dat, předzpracování, vizualizace dat, hledání souvislostí mezi funkcemi, příprava tréninkových dat a tvorba modelů předpovědi úvěrového rizika. Získání modelu, který odpovídá na otázku: vydat či nevydat půjčku.
Automatizace rutinních úkolů. Praktické příklady
Analýza praktických příkladů automatizace úloh souvisejících se získáváním agregovaných informací z více zdrojů (excelové soubory) nebo internetu.
Přehled metod strojového učení používaných pro analýzu dat. Praktické příklady
Praktický příklad identifikace základních rysů a jejich interpretace v řízeném učebním problému.
Průběžné hodnocení modulu
Průběžná certifikace probíhá formou testu (počítačové testování). Ukázka typické testovací budovy:
Jakou funkci Pythonu můžete použít ke zjištění typu proměnné?
- hwoami
- typ
- Typ
- je
Jaký rozsah čísel bude vytvořen v následujícím kódu: rozsah (9, 3, -2)
- 9 8 7 6 5 4 4
- 9 7 5 3
- 9 7 5
- 11 9 8 7 6 5 4
Co vám fragment kódu ve výpisu umožňuje spustit?
- Fragment kódu: print(math.sqrt(2))
- zobrazení čísla 2 z matematické knihovny
- připojení matematické knihovny
- umocnění matematického čísla
- zobrazení druhé odmocniny ze dvou
SQL
Datové úložiště a integrita.
Datové úložiště: datové soubory, protokoly, úrovně RAID, Tempdb. Vztahy v databázích, jedna k jedné, jedna k mnoha, mnoho k mnoha. Integrita dat: PRIMÁRNÍ KLÍČ, CHECK, UNIQUE a CIZÍ KLÍČ. Normalizace tabulek.
Vytvoření databáze a tabulek.
Architektura DBMS: logická (tabulky a datový typ, klíče, indexy, pohledy, sestavení, omezení, pravidla, výchozí hodnoty) a fyzická úroveň (soubory a skupiny souborů, stránky). Vytvoření databáze. Datové typy polí tabulky: Přesná čísla, znakové řetězce Unicode, přibližná čísla, binární data, datum a čas, jiné datové typy, znakové řetězce. Vytváření tabulek. Kam psát žádosti?
Indexy. Diagramy.
Indexy: seskupený, neshlukovaný, jedinečná identifikace, filtrovaný, úložiště sloupců, hash, neshlukovaný, index optimalizovaný pro paměť. ER diagramy: Databázové diagramy, Database Node. DML a nejběžnější SQL operátory: SELECT, INSERT, UPDATE, DELETE. Význam jedinečných faktorů.
Žádosti. Externí připojení.
Dotazy na jedné tabulce. Vzorkování bez opakování. Dotazy na více tabulkách. Vnější spoje: LEFT, RIGHT nebo FULL.
Agregační funkce. Dílčí dotazy.
Dílčí dotazy: WHERE COUNT, SUM, AVG, MAX, MIN, IN, ALL, ANY. Spojovací údaje: ZVOLTE PŘIPOJIT SE. Souhrnné funkce: AVG, CHECKSUM_AGG, COUNT, COUNT_BIG, GROUPING, GROUPING_ID, MAX, MIN, STDEV, STDEVP, STRING_AGG, SUM, VAR, VARP. Podmínky pro agregační funkce.
Užitečné funkce.
Ještě něco málo o operátorech. Průmyslový požadavek. Užitečné funkce: SQRT, RAND, CONCAT, numerické a řetězcové funkce. Priorita operace a převod typu: CAST, CONVERT.
Transakce. Reprezentace.
Jedna žádost čtyřmi způsoby. Transakce: koncept transakcí - atomicita, konzistence, izolace, trvanlivost, správa transakcí - COMMIT, ROLLBACK, SAVEPOINT, SET TRANSACTION. Paralelní přístup k datům: problémy se špinavým, neopakovatelným čtením, fantomy. Pohledy: indexované, rozdělené, systémové.
Proměnné a smyčky.
Začátek programování. Proměnné: DECLARE, SET, SELECT. Struktura kódu. Operátory popisu dat: CREATE, DROP, ALTER atd. Operátory pro manipulaci s daty: INSERT, DELETE, SELECT, UPDATE atd. Operátory pro nastavení přístupových práv v databázi: GRANT / REVOKE, LOCK / UNLOCK, SET LOCK MODE Operátoři pro ochranu, obnovu dat a další operátoři. Cykly: WHILE.
Uložené procedury a funkce.
Dočasné tabulky. Transact-SQL kurzory, server, klient. Typy kurzoru: jednosměrný, statický, sada klíčů, dynamický. Uložené procedury a funkce: CREATE PROCEDURE, CREATE PROC.
Spouštěče. Výjimky.
VF dopravník. Spouštěče: PO, MÍSTO. Výjimky: EXCEPT. Dynamický SQL pomocí klíčového slova a pomocí uložené procedury: EXECUTE IMMEDIATE.
DBMS. NoSQL databáze.
Transakce v programování/DBMS/SQL. Jak se požadavky vyřizují. Jak zlepšit výkon dotazů. NoSQL databáze a její výhody.
Průběžné hodnocení modulu
Průběžná certifikace probíhá formou testu (počítačové testování). Ukázka typické testovací budovy:
Jaký typ dat pole je typ NUMBER?
- tětiva
- číselné
- binární
Který příkaz SQL se dotazuje na data?
- ZMĚNIT
- VYBRAT
- Z
Co je to transakce?
- toto je skupina operací prováděných DBMS
- je skupina operací, která má vlastnosti ACID
- toto je operace provedení příkazu SQL