Za posledných 10 rokov sme vďaka takzvanej metóde hlbokého učenia dostali najlepšie systémy umelej inteligencie - napríklad rozpoznávače reči na smartfónoch alebo najnovší automatický prekladač od spoločnosti Google. Hlboké vzdelávanie sa v skutočnosti stalo novým trendom už známych neurónových sietí, ktoré boli v móde a vychádzajú už vyše 70 rokov. Neurónové siete prvýkrát navrhli Warren McCullough a Walter Pitts v roku 1994, dvaja vedci z University of Chicago. V roku 1952 išli pracovať do Massachusettsovho technologického inštitútu, aby položili základy pre prvé oddelenie kognície.
Neurónové siete boli jednou z hlavných línií výskumu v oblasti neurovedy a počítačovej vedy až do roku 1969, keď ich podľa legiend zabili matematici MIT Marvin Minsky a Seymour Papert, ktorí sa o rok neskôr stali spoluzakladateľmi nového laboratória umelej inteligencie MIT.
Táto metóda prežila v 80-tych rokoch 20. storočia oživenie, v prvej dekáde nového storočia sa mierne stratila v tieni a v druhom sa vrátila s fanfárami na vrchol neuveriteľného rozvoja grafických čipov a ich spracovateľskej sily.
„Existuje dojem, že vedecké nápady sú ako epidémie vírusov,“hovorí Tomaso Poggio, profesor poznania a vedy o mozgu na MIT. „Pravdepodobne existuje päť alebo šesť kmeňov chrípkových vírusov a jeden z nich sa vracia záviditeľným tempom 25 rokov. Ľudia sa nakazia, získajú imunitu a počas nasledujúcich 25 rokov nebudú chorí. Potom sa objaví nová generácia pripravená na infikovanie rovnakým kmeňom vírusu. Vo vede sa ľudia zamilujú do nejakého nápadu, všetci ho zbláznia, potom ho zbijú na smrť a získajú im imunitu - už ho to unaví. Nápady by mali mať podobnú frekvenciu. ““
Vážne otázky
Neurónové siete sú metódou strojového učenia, pri ktorej sa počítač učí vykonávať určité úlohy analyzovaním príkladov odbornej prípravy. Tieto príklady sa zvyčajne manuálne označujú vopred. Napríklad systém na rozpoznávanie objektov môže nasiaknuť tisíce označených obrazov automobilov, domov, šálok kávy atď., A potom bude schopný nájsť vizuálne vzory na obrázkoch, ktoré konzistentne korelujú s určitými značkami.
Neurónová sieť sa často porovnáva s ľudským mozgom, ktorý má také siete, ktoré pozostávajú z tisícov alebo miliónov jednoduchých uzlov na spracovanie, ktoré sú úzko prepojené. Väčšina moderných neurónových sietí je usporiadaná do vrstiev uzlov a dátové toky nimi prechádzajú iba jedným smerom. Jednotlivé uzly môžu byť spojené s niekoľkými uzlami vo vrstve pod ňou, z ktorej prijíma dáta, a niekoľkými uzlami vo vrstve nad, do ktorej prenáša dáta.
Propagačné video:
Uzol priradí každému z týchto prichádzajúcich odkazov číslo - „hmotnosť“. Keď je sieť aktívna, uzol prijíma rôzne súbory údajov - rôzne čísla - pre každé z týchto spojení a vynásobí sa príslušnou hmotnosťou. Potom sčítava výsledky do jedného čísla. Ak je toto číslo pod prahom, uzol nevysiela údaje do ďalšej vrstvy. Ak číslo prekročí prahovú hodnotu, uzol sa „prebudí“odoslaním čísla - súčtu vážených vstupných údajov - do všetkých odchádzajúcich spojení.
Keď je nervová sieť trénovaná, všetky jej hmotnosti a prahy sú pôvodne nastavené v náhodnom poradí. Tréningové dáta sa privádzajú do spodnej vrstvy - vstupnej vrstvy - a prechádzajú nasledujúcimi vrstvami, komplexným spôsobom sa množia a sčítajú, až nakoniec prídu, už transformované, do výstupnej vrstvy. Počas tréningu sa váhy a prahy neustále upravujú, až kým údaje o tréningu s rovnakými štítkami nevytvoria podobné závery.
Myseľ a stroje
Neurónové siete, ktoré opísali McCullough a Pitts v roku 1944, mali prahy aj hmotnosti, ale neboli usporiadané do vrstiev a vedci nešpecifikovali žiaden špecifický vzdelávací mechanizmus. McCullough a Pitts však ukázali, že neurónová sieť môže v zásade počítať akúkoľvek funkciu, ako akýkoľvek digitálny počítač. Výsledkom bolo viac z oblasti neurovedy ako počítačová veda: bolo potrebné predpokladať, že na ľudský mozog sa dá pozerať ako na počítačové zariadenie.
Neurónové siete sú naďalej cenným nástrojom pre neurobiologický výskum. Napríklad jednotlivé vrstvy siete alebo pravidlá na úpravu váh a prahov reprodukujú pozorované znaky ľudskej neuroanatómie a kognitívnych funkcií, a teda ovplyvňujú spôsob, akým mozog spracováva informácie.
Prvú trénovateľnú neurónovú sieť, Perceptron (alebo Perceptron), demonštroval psychológ Cornell University Frank Rosenblatt v roku 1957. Dizajn Perceptronu bol podobný modernej neurónovej sieti s tým rozdielom, že medzi vstupnou a výstupnou vrstvou bola jedna vrstva s nastaviteľnou hmotnosťou a prahovými hodnotami.
„Perceptróny“sa aktívne skúmali v psychológii a počítačovej vede až do roku 1959, keď Minsky a Papert vydali knihu s názvom „Perceptróny“, ktorá ukázala, že robiť pomerne bežné výpočty na perceptrónoch je z hľadiska času nepraktické.
„Samozrejme, že všetky obmedzenia zmiznú, ak urobíte stroje trochu zložitejšie,“napríklad v dvoch vrstvách,”hovorí Poggio. Kniha však v tom čase pôsobila chladivo na výskum neurónovej siete.
„Tieto veci stoja za zváženie v historickom kontexte,“hovorí Poggio. „Dôkaz bol postavený na programovanie v jazykoch ako Lisp. Nedávno ľudia ticho používali analógové počítače. V tom čase nebolo celkom jasné, k čomu by programovanie viedlo. Myslím, že to trochu prehnali, ale ako vždy nemôžete všetko rozdeliť na čiernu a bielu. Ak to považujete za konkurenciu medzi analógovým a digitálnym počítačom, potom bojovali za to, čo bolo potrebné. ““
periodicita
Do osemdesiatych rokov 20. storočia však vedci vyvinuli algoritmy na modifikáciu váh a prahov neurónovej siete, ktoré boli dostatočne efektívne pre siete s viac ako jednou vrstvou, čím sa odstránili mnohé obmedzenia identifikované Minskym a Papertom. Táto oblasť prešla renesanciou.
Z rozumného hľadiska však v nervových sieťach niečo chýbalo. Dostatočne dlhá tréningová relácia by mohla viesť k revízii nastavení siete, až kým nezačne klasifikovať údaje užitočným spôsobom, čo však znamenajú tieto nastavenia? Aké vlastnosti obrázka sleduje rozpoznávač objektov a ako ich spája, aby vytvorili vizuálne podpisy automobilov, domov a šálok kávy? Štúdia hmotnosti jednotlivých zlúčenín na túto otázku neodpovie.
V posledných rokoch začali počítačové vedci vymýšľať dômyselné metódy na určovanie analytických stratégií, ktoré prijali neurónové siete. Ale v 80. rokoch boli stratégie týchto sietí nepochopiteľné. Preto boli na prelome storočia neurónové siete nahradené vektorovými strojmi, čo je alternatívny prístup k strojovému učeniu založený na čistej a elegantnej matematike.
Nedávny nárast záujmu o neurónové siete - hlboká revolúcia v učení - je dôsledkom herného priemyslu. Zložitá grafika a rýchle tempo moderných videohier vyžaduje hardvér, ktorý dokáže držať krok s týmto trendom, čo vedie k GPU (jednotka na spracovanie grafiky) s tisíckami relatívne jednoduchých spracovateľských jadier na jednom čipe. Vedci si čoskoro uvedomili, že architektúra GPU bola perfektná pre neurónové siete.
Moderné GPU umožnili vybudovať siete šesťdesiatych a dvoj- a trojvrstvových sietí osemdesiatych rokov na zväzky 10, 15 a dokonca aj 50 vrstiev dnešných sietí. Za toto je slovo „hlboké učenie“zodpovedné v „hlbokom učení“. Do hĺbky siete. Hlboké vzdelávanie je v súčasnosti zodpovedné za najúčinnejšie systémy takmer vo všetkých oblastiach výskumu umelej inteligencie.
Pod kapotou
Nepriehľadnosť siete sa stále obáva teoretikov, ale v tejto oblasti je pokrok. Poggio vedie výskumný program teoretických základov inteligencie. Poggio a jeho kolegovia nedávno vydali teoretickú štúdiu neurónových sietí v troch častiach.
Prvá časť, ktorá bola uverejnená minulý mesiac v Medzinárodnom časopise automatizácie a výpočtovej techniky, sa venuje rozsahu výpočtov, ktoré môžu siete na hlboké vzdelávanie robiť, a keď hlboké siete využívajú plytké siete. Časti dve a tri, ktoré boli vydané ako prednášky, sa zaoberajú výzvami globálnej optimalizácie, to znamená, že sieť nájde nastavenia, ktoré najlepšie zodpovedajú jej školiacim údajom, a keď sieť tak dobre chápe špecifiká svojich školiacich údajov. ktoré nemôžu zovšeobecňovať iné prejavy rovnakej kategórie.
Stále čaká veľa teoretických otázok, na ktoré bude treba odpovedať. Existuje však nádej, že neurónové siete nakoniec dokážu prelomiť cyklus generácií, ktorý ich ponorí do tepla a niekedy aj zima.
ILYA KHEL