10 ostudných otázek o neuronových sítích: Odpovídá specialista na strojové učení Igor Kotenkov
Různé / / August 08, 2023
Shromáždili jsme vše, co jste chtěli vědět, ale byli jste příliš stydliví se zeptat.
V novém série Články známých odborníků odpovídají na otázky, na které je většinou trapné se ptát: zdá se, že už to všichni vědí a tazatel bude vypadat hloupě.
Tentokrát jsme si povídali se specialistou na umělou inteligenci Igorem Kotenkovem. Dozvíte se, zda můžete svou digitální kopii uložit pro svá pravnoučata, proč nelze 100% věřit neuronům a zda světu nehrozí strojové povstání.
Igor Kotěnkov
1. Jak fungují neuronové sítě? Je to nějaký druh magie. Jak by vůbec mohl být ChatGPT vytvořen? A Midjourney nebo DALL-E?
Neuronová síť je matematický model vynalezený s cílem pochopit, jak funguje mozek živého organismu. Pravda, za základ byly vzat ty nejzákladnější myšlenky počátku druhé poloviny 20. století, které lze dnes označit za nepodstatné nebo příliš zjednodušené.
I název „neuronová síť“ pochází ze slova „neuron“ – to je název jedné z hlavních funkčních jednotek mozku. Samotné neuronové sítě se skládají z uzlů – umělých neuronů. Dá se tedy říci, že mnohé nápady moderních architektur byly „odkoukané“ od přírody samotné.
Ale co je důležitější, neuronová síť je matematický model. A protože se jedná o něco, co souvisí s matematikou, pak můžeme využít plnou sílu matematického aparátu k tomu, abychom zjistili nebo vyhodnotili vlastnosti takového modelu. Neuronovou síť můžete považovat za funkci a funkce je také matematický objekt. Nejjednodušší a nejsrozumitelnější příklad: funkce, která, řekněme, vezme libovolné číslo jako vstup a přidá k němu 2: f (4) = 6, f (10) = 12.
Taková funkce se ale velmi snadno naprogramuje, zvládne ji i dítě po pár hodinách učení jazyků. programování. A důvodem je, že taková funkce je velmi snadno formalizovaná, podrobně popsaná jednoduchým a srozumitelným jazykem.
Jsou však některé úkoly, ke kterým ani nevíme, jak přistupovat. Můžu vám dát například smíchané fotky koček a psů, které bez problémů roztřídíte na dvě hromádky. Čím se ale přesně řídíte při určování odpovědi? Oba jsou nadýchané. Oba druhy mají ocas, uši, dvě oči. Možná velikost? Ale jsou velmi malí psi, jsou velké kočky.
Mnoho úloh reálného světa neumíme popsat, neznáme závislost našeho pozorování a nějaké podmíněné „správné“ odpovědi.
Prostě víme, jak na to odpovědět – a to je vše, aniž bychom přemýšleli o tom, jak to dopadne.
Zde přicházejí na pomoc neuronové sítě. Tyto matematické funkce jsou trénovány z dat. Není třeba popisovat vztah mezi vstupem a výstupem. Jednoduše připravíte dva hromádky fotografií a modely vláčků, abyste mohli správně odpovědět. Ona sama se učí toto spojení nacházet, sama ho nachází, spoléhat se na chybykdo dělá. Spletli jste si bengálskou kočku a rotvajlera? No, příště to bude lepší!
Proces učení neuronové sítě je taková úprava „neuronů“ s cílem naučit se řešit problém a dát správnou odpověď. A co je nejpozoruhodnější: existuje teoretický důkaz, že dostatečně velká neuronová síť s dostatečně velkým souborem dat se může naučit jakoukoli komplexní funkci. Nejdůležitější je zde ale výpočetní výkon (protože neuron může být velmi velký) a dostupnost označených dat. Totiž označené, to znamená, že mají třídu „pes“, kočka nebo cokoli jiného.
Nerozumíme úplně tomu, jak modely fungují – ty nejsložitější a velké modely mají rády ChatGPT téměř neanalyzovatelné.
Nejlepší výzkumníci právě teď pracují na výzvě „pochopit“ vnitřní fungování svých procesů.
Víme ale, na jaký úkol byly modely trénovány, jakou chybu se při nácviku snažili minimalizovat. Pro ChatGPT se úkol skládá ze dvou. První je předpověď dalšího slova podle jeho kontextu: „máma se umyla...“ Co? To by měl model předpovídat.
Druhým úkolem je zajistit, aby odpovědi nebyly urážlivé, ale zároveň zůstaly užitečné a srozumitelné. To je důvod, proč se model stal virálním - je přímo trénovaný na generování takového textu, který se lidem líbí!
Více o tom, jak ChatGPT funguje, si můžete přečíst v mém článek.
2. Mohou neurony myslet?
Vědci stále nechápou, co znamená „myslet“ nebo „rozumět“ a jak intelekt obecně funguje. Proto je těžké posoudit, zda model jako ChatGPT má takové vlastnosti.
Představme si situaci: přistoupíte ke dveřím svého bytu. Napadá vás, že k otevření dveří potřebujete vytáhnout klíč z levé kapsy batohu? Můžeme říci, že popis a prezentace akcí je myšlenkový proces? V podstatě jsme vytvořili vztah mezi aktuálním stavem a požadovaným cílem (otevřené dveře). Pokud si myslíte, že odpověď na výše uvedenou otázku je ano, pak by moje odpověď byla stejná. 🙂
Jiná věc je, pokud jde o inovativní myšlenky, které dosud nebyly vyjádřeny nebo nejsou tak běžné. Ostatně například na příkladu výše můžete snadno najít chybu: „Ano, četl jsem tento model 100 500krát na internetu a v knihy. Samozřejmě, že to ví! Nic překvapivého." Mimochodem, jak jsi to věděl? Je to proto, že vám to rodiče ukazovali v dětství a vy jste ten proces sledovali stovky dní v řadě?
V tomto případě neexistuje přesná odpověď. A tady jde o to, že nebereme v úvahu jednu důležitou složku: pravděpodobnost.
Jak pravděpodobné je, že model vygeneruje myšlenku, která odpovídá vaší konkrétní definici „myšlenky“?
Koneckonců, neuron jako ChatGPT může být vytvořen tak, aby generoval milion různých odpovědí na stejný požadavek. Například „přijít s nápadem na vědecký výzkum». Pokud je jedna generace z milionu opravdu zajímavá a nová, počítá se to jako důkaz, že modelka může zrodit nápad? Ale jak se to bude lišit od papouška, který vykřikuje náhodná slova, která ne-ne a tvoří něco srozumitelného?
Na druhou stranu lidé také ne vždy vydávají správné myšlenky - některé fráze vedou do slepé uličky a končí v ničem. Proč to neuronové sítě nemohou odpustit? No, jeden nový nápad z milionu vytvořených je opravdu špatný... Ale co když 100 z milionu? Tisíc? Kde je tato hranice?
To je to, co nevíme. Trend je takový, že si zpočátku myslíme, že pro stroje bude obtížné vyřešit problém X. Například projít Turingovým testem, kde si stačí s člověkem půl hodiny povídat. S rozvojem technologií pak lidé vymýšlejí způsoby, jak řešit, nebo spíše trénovat modely pro určitý úkol. A my říkáme: "No, byl to vlastně špatný test, tady je pro vás nový, neurony ho určitě neprojdou!" A situace se opakuje.
Ty technologie, které jsou nyní, před 80 lety, by byly vnímány jako zázrak. A teď se ze všech sil snažíme posouvat hranici „rozumnosti“, abychom si nepřiznali, že stroje už myslet umí. Ve skutečnosti je dokonce možné, že nejprve něco vymyslíme a poté post factum a zpětně definujeme jako AI.
3. Pokud neurony mohou kreslit a psát poezii, pak mohou být kreativní a téměř jako lidé?
Odpověď skutečně závisí na výše uvedených informacích. co je kreativita? Kolik kreativity je v průměrném člověku? Jste si jisti, že školník ze Sibiře umí tvořit? A proč?
Co když modelka dokáže vyrobit báseň nebo obraz, který se podmínečně dostane do finále městské soutěže amatérských spisovatelů nebo dětských výtvarníků? A když se to nestane pokaždé, ale jednou ze sta?
Většina těchto otázek je diskutabilní. Pokud se vám zdá, že odpověď je zřejmá, zkuste vyzpovídat své přátele a příbuzné. S velmi vysokou pravděpodobností se jejich úhel pohledu nebude shodovat s vaším. A tady to hlavní není hádka.
4. Je možné důvěřovat odpovědím neuronových sítí a už ne googlovat?
Vše závisí na způsobu použití modelů. Pokud jim položíte otázku bez kontextu, bez doprovodných informací ve výzvě a očekáváte odpověď na témata, kde je důležitá věcná přesnost, a nikoli obecný tón odpovědi (například sled událostí v určitém období, ale bez přesné zmínky o místech a datech), pak je odpověď Ne.
Podle domácích odhadnutý OpenAI, v takových situacích, doposud nejlepší model, GPT-4, odpovídá správně asi v 70-80% případů, v závislosti na tématu otázek.
Může se zdát, že tato čísla mají k ideální 100% skutečné „přesnosti“ velmi daleko. Ale ve skutečnosti je to velký skok oproti předchozí generaci modelů (ChatGPT, založený na architektuře GPT-3.5) - ty měly přesnost 40-50%. Ukazuje se, že k takovému skoku došlo v rámci 6-8 měsíců výzkumu.
Je jasné, že čím více se budeme blížit 100 %, tím obtížnější bude provést některé korekce, abychom nic „nenarušili“ v chápání a znalosti modelu.
Vše výše uvedené se však týká otázek bez kontextu. Můžete se například zeptat: „Kdy bylo Einstein? Model by se měl opírat pouze o interní znalosti, které do něj byly „natvrdo“ zabudovány ve fázi dlouhodobého školení na datech z celého internetu. Takže ten člověk nebude schopen odpovědět! Ale kdyby mi dali stránku z Wikipedie, tak bych si ji mohl přečíst a odpovědět podle zdroje informací. Pak by se správnost odpovědí blížila 100 % (upraveno o správnost zdroje).
Pokud je tedy model vybaven kontextem, ve kterém jsou informace obsaženy, pak bude odpověď mnohem spolehlivější.
Co když ale necháme modelku googlit a zdroje informací najdeme na internetu? Aby si sama našla zdroj a na základě něj postavila odpověď? Tak tohle už se udělalo! Nemůžete se tedy googlit, ale delegovat část internetového vyhledávání na samotný GPT‑4. To však vyžaduje placené předplatné.
Pokud jde o další pokrok ve vývoji spolehlivosti faktických informací v rámci modelu, generální ředitel OpenAI Sam Altman dává odhadem 1,5–2 let na vyřešení tohoto problému týmem výzkumníků. Budeme se moc těšit! Ale zatím mějte na paměti, že nemusíte stoprocentně důvěřovat tomu, co je napsáno neuronem, a překontrolujte alespoň zdroje.
5. Je pravda, že neuronové sítě kradou kresby skutečných umělců?
Ano i ne – obě strany konfliktu se o to aktivně přou u soudů po celém světě. S jistotou lze říci, že snímky nejsou přímo uloženy v modelech, pouze se objevuje „pozornost“.
V tomto plánu neurony velmi podobné lidem, kteří nejprve studují umění, různé styly, prohlížejí si práce autorů a pak se snaží napodobovat.
Modely se však učí, jak jsme již zjistili, podle principu minimalizace chyb. A pokud modelka během tréninku vidí stejný (nebo velmi podobný) obrázek stokrát, pak je z jejího pohledu nejlepší strategií zapamatovat si obrázek.
Vezměme si příklad: váš učitel na umělecké škole zvolil velmi zvláštní strategii. Každý den nakreslíte dva obrázky: první je vždy jedinečný, v novém stylu a druhý je Mona Lisa. Po roce se snažíte zhodnotit, co jste se naučili. Protože jste Monu Lisu nakreslili více než 300krát, pamatujete si téměř všechny detaily a nyní ji můžete reprodukovat. Nebude to přesný originál a určitě přidáte něco svého. Barvy bude trochu jiná.
A nyní jste požádáni, abyste nakreslili něco, co bylo před 100 dny (a co jste jednou viděli). To, co je požadováno, budete reprodukovat mnohem méně přesně. Jen proto, že ruka není vycpaná.
Je to stejné jako s neurony: učí se stejně na všech obrázcích, jen některé jsou častější, což znamená, že model je také při tréninku častěji pokutován. To platí nejen pro obrazy umělců - pro jakýkoli obrázek (i reklamní) v tréninkovém vzorku. Nyní existují metody pro odstranění duplikátů (protože školení na nich je přinejmenším neefektivní), ale nejsou dokonalé. Výzkum ukazuje, že existují obrazy, které se během tréninku vyskytují 400-500krát.
Můj verdikt: neuronové sítě nekradou obrázky, ale jednoduše berou kresby jako příklady. Čím je příklad oblíbenější, tím přesněji jej model reprodukuje.
Lidé dělají totéž během tréninku: dívají se na krásu, studují detaily, styly různých umělci. Ale pro umělce nebo fotografy, kteří strávili polovinu života učením se řemesla, je úhel pohledu často radikálně odlišný od toho, který je popsán výše.
6. Je pravda, že „všechno je ztraceno“ a neuronové sítě vezmou lidem práci? Koho to nejvíc zajímá?
Je důležité oddělit pouze „neuronové sítě“, které provádějí určité úkoly, od neuronových sítí pro obecné účely, jako je ChatGPT. Tito posledně jmenovaní jsou velmi dobří v dodržování pokynů a jsou schopni se učit z příkladů v kontextu. Pravda, nyní je velikost jejich „paměti“ omezena na 10–50 stran textu, stejně jako schopnosti reflexe a plánování.
Pokud však něčí práce spočívá v rutinním provádění pokynů, a to se snadno naučíte za pár dní čtením článků (nebo pokud celý internet je plný těchto informací) a cena práce je nadprůměrná - pak brzy taková práce automatizovat.
Automatizace ale sama o sobě neznamená úplnou výměnu lidí. Optimalizovat lze pouze část rutinní práce.
Člověk začne dostávat zajímavější a kreativnější úkoly, se kterými si stroj (zatím) neporadí.
Uvedeme-li příklady, pak do skupiny proměnných či nahraditelných profesí Zařadil bych řekněme daňové asistenty-poradce, kteří pomáhají s přípravou přiznání a kontrolují typické chyby, identifikují nesrovnalosti. Změny jsou možné v takové specializaci, jako je manažer dat klinického hodnocení - podstatou práce je vyplňování zpráv a jejich sladění s tabulkou standardů.
Ale kuchař nebo řidič autobusu bude poptávka mnohem déle prostě proto, že umí propojit neuronové sítě a real fyzický svět je poměrně komplikovaný, zejména co se týče legislativy a předpisů - díky byrokratům za to, že se odstěhovali Krizová AI!
Velké změny se očekávají v odvětvích spojených s tištěnými materiály a textovými informacemi: žurnalistika, vzdělání. S velmi vysokou pravděpodobností u prvního budou neurony velmi brzy psát koncepty se sadou tezí, ve kterých lidé již bodové změny provedou.
Největší radost mám ze změn v oblasti školství. Jíst výzkum, které ukazují, že kvalita vzdělávání přímo závisí na „osobnosti“ přístupu a na tom, kolik času učitel věnuje konkrétnímu žákovi. Nejjednodušší příklad: výuka ve skupinách po 30 lidech pomocí učebnice je mnohem horší než individuální tutor pro specifické potřeby (byť podle stejného programu jako v učebnici). S rozvojem AI bude mít lidstvo příležitost poskytnout každému studentovi personalizovaného asistenta. Je to prostě neuvěřitelné! Role učitele se přesune, jak to vidím já, na strategickou a kontrolní: určování obecného programu a sledu studia, testování znalostí a tak dále.
7. Je možné nahrát své vědomí do počítače, vytvořit digitální dvojče a žít věčně?
V tom smyslu, v jakém si to představuje na základě sci-fi, ne. Modelku můžete pouze naučit napodobovat váš komunikační styl, naučit se vaše vtipy. Možná budou modely úrovně GPT-4 dokonce schopny vymyslet nové zarámované ve vašem jedinečném stylu a způsobu prezentace, ale to zjevně neznamená úplný přenos vědomí.
My jako lidstvo zase nevíme, co je vědomí, kde je uloženo, jak se liší od ostatních, co dělá mě – mě a tebe – tebe. Pokud se najednou ukáže, že to vše je jen soubor vzpomínek a zážitků, znásobený individuálními vlastnostmi vnímání, pak s největší pravděpodobností bude možné nějak přenést znalosti do neuronových sítí tak, aby simulovaly budoucí život dál jejich základ.
8. Je nebezpečné nahrávat svůj hlas, vzhled, textový styl řeči do neuronové sítě? Zdá se, že taková digitální identita může být ukradena.
Nelze do nich doslova nic stáhnout. Můžete je trénovat (nebo je znovu trénovat) tak, aby se výsledky podobaly spíše vašemu vzhledu, hlasu nebo textu. A takto natrénovaný model lze opravdu ukrást, tedy jednoduše zkopírovat skript a sadu parametrů pro spuštění na jiném počítači.
Můžete dokonce vygenerovat video s žádostí Převést peníze na úkor někoho jiného, čemuž bude váš příbuzný věřit: nejlepší algoritmy deepfake a hlasového klonování již dosáhly této úrovně. Pravda, jsou zapotřebí tisíce dolarů a desítky hodin nahrávání, ale přesto.
Obecně platí, že s rozvojem technologií nabývá otázka identifikace a potvrzení identity na významu.
A snaží se to vyřešit tak či onak. Existuje například startup WorldCoin (ve skutečnosti dělá kryptoměnu), do kterého investoval šéf OpenAI Sam Altman. Smyslem startupu je, že každý údaj o člověku bude podepsán jeho vlastním klíčem pro následnou identifikaci. Totéž bude platit pro masmédia, abychom s jistotou věděli, zda jsou tyto zprávy pravdivé nebo falešné.
Ale bohužel, zatímco to vše je ve fázi prototypů. A nepovažuji hluboké zavádění systémů ve všech odvětvích za implementované v horizontu příští dekády, jednoduše proto, že je příliš komplikované a rozsáhlé.
9. Mohou neurony začít škodit a ovládnout svět?
Nebezpečí není aktuální vývoj, ale to, co ho bude následovat s dalším vývojem. V současné době nebyly vynalezeny žádné metody řízení provozu neuronových sítí. Vezměte si například velmi jednoduchý úkol: zajistit, aby modelka nenadávala. Vůbec nikdy. Neexistuje žádná metoda, která by vám umožnila takové pravidlo dodržovat. Zatím se dají najít různé způsoby, jak to „chovat“ stále stejně.
Nyní si představte, že mluvíme o GPT-8 podmíněně, jehož dovednosti budou srovnatelné s dovednostmi nejschopnějších a nejchytřejších lidí. Neuronová síť umí programovat, používat internet, ví psychologie a rozumí tomu, jak lidé myslí. Pokud tomu dáte volnost a nestanovíte si konkrétní úkol, co pak udělá? Co když zjistí, že se nedá ovládat?
Pravděpodobnost špatného zvratu událostí není podle odhadů tak velká. Mimochodem, neexistuje žádné obecně přijímané hodnocení - ačkoli se všichni hádají o podrobnostech, o škodlivých důsledcích a tak dále. Nyní nazývají přibližná čísla od 0,01 % do 10 %.
Z mého pohledu jsou to obrovská rizika, za předpokladu, že nejnegativnějším scénářem je zničení lidstva.
Zajímavé je, že ChatGPT a GPT-4 jsou produkty, které byly vytvořeny týmy pracujícími na problémech „sladění“ záměrů lidí a neuronů (podrobnosti naleznete tady). Proto modelky tak dobře poslouchají pokyny, snaží se nebýt nezdvořilé, klást upřesňující otázky, ale k ideálu to má stále velmi daleko. Problém ovládání není vyřešen ani z poloviny. A přitom nevíme, zda se to vůbec řeší, a pokud ano, jakými metodami. Toto je nejžhavější výzkumné téma dneška.
10. Může se neuronová síť zamilovat do člověka?
Se současnými přístupy a architekturami neuronů ne. Generují pouze text, který je nejvěrohodnější jako pokračování vstupního textu. Když hodíte první kapitolu milostného příběhu, přepíšete ji pod svou osobnost a požádáte modelku, aby odpověděla na váš milostný dopis, vyrovná se s tím. Ale ne proto, že bych se zamiloval, ale proto, že to nejpřesněji zapadá do kontextu a požadavku „napiš mi dopis!“. Pamatujte, že modely se učí generovat text podle pokynů.
Navíc neuronové sítě v základní verzi nemají Paměť - mezi dvěma různými spuštěními vše zapomenou a vrátí se zpět do "továrního nastavení". Paměť lze přidávat uměle, jakoby od boku, takže se do modelu vloží řekněme 10 stran nejrelevantnějších „vzpomínek“. Ale pak se ukáže, že do původního modelu jednoduše vložíme sadu událostí a řekneme: „Jak byste se zachovali za takových podmínek? Modelka nemá žádné city.
Přečtěte si také🧐
- Kde a jak se používá umělá inteligence: 6 příkladů ze života
- 9 naivních otázek o umělé inteligenci
- 8 mýtů o umělé inteligenci, kterým věří i programátoři