Okamžite, keď Dr. Blake Richards počul o hlbokom učení, uvedomil si, že čelí viac ako len metóde, ktorá by spôsobila revolúciu v umelej inteligencii. Uvedomil si, že pozerá na niečo zásadné z ľudského mozgu. Bolo to začiatkom roku 2000 a Richards vyučoval kurz na University of Toronto s Jeffom Hintonom. Hintonovi, ktorý stál za vytvorením algoritmu, ktorý dobyl svet, bol ponúknutý úvodný kurz jeho vyučovacej metódy inšpirovaný ľudským mozgom.
Kľúčové slová sú „inšpirované mozgom“. Napriek Richardsovmu presvedčeniu stávka proti nemu hrala. Ľudský mozog, ako sa ukázalo, nemá dôležitú funkciu, ktorá je naprogramovaná v algoritmoch hlbokého učenia. Tieto algoritmy na povrch porušili základné biologické fakty, ktoré už neurovedci dokázali.
Ale čo keď sú hlboké učenie a mozog skutočne kompatibilné?
V novej štúdii uverejnenej v eLife preto Richards v spolupráci s DeepMind navrhol nový algoritmus založený na biologickej štruktúre neurónov v neokortexe. Kôra, mozgová kôra, je domovom vyšších kognitívnych funkcií, ako je uvažovanie, predpovedanie a flexibilné myslenie.
Tím spojil svoje umelé neuróny do vrstvenej siete a vyzval ju na úlohu klasického počítačového videnia - na identifikáciu rukou písaných čísel.
Nový algoritmus odviedol vynikajúcu prácu. Ďalšia vec je však dôležitá: analyzoval príklady učenia rovnako ako algoritmy hlbokého učenia, ale bol postavený výlučne na základnej biológii mozgu.
„Hĺbkové vzdelávanie je možné v biologickej štruktúre,“uzavreli vedci.
Pretože tento model je v súčasnosti počítačovou verziou, Richards dúfa, že obušok bude odovzdaný experimentálnym neurovedcom, ktorí by mohli otestovať, či takýto algoritmus funguje v skutočnom mozgu.
Propagačné video:
Ak je to tak, údaje môžu byť vedené počítačovými vedcami, aby vyvinuli masívne paralelné a efektívne algoritmy, na ktorých budú naše stroje bežať. Toto je prvý krok k zlúčeniu týchto dvoch oblastí do „čestného tanca“objavovania a inovácií.
Nájdenie obetného baránka
Aj keď ste už pravdepodobne počuli, že AI nedávno porazila to najlepšie z najlepších v Go, sotva viete, ako presne fungujú algoritmy tejto AI.
Stručne povedané, hlboké vzdelávanie je založené na umelej neurónovej sieti s virtuálnymi „neurónmi“. Podobne ako vysoký mrakodrap je sieť štruktúrovaná v hierarchii: vstup neurónov nízkej úrovne - napríklad horizontálne alebo vertikálne stĺpce, ktoré tvoria číslo 4 - a neuróny vysokej úrovne spracúvajú abstraktné aspekty čísla 4.
Na školenie siete uvádzate príklady toho, čo hľadáte. Signál sa šíri sieťou (stúpa po schodoch budovy) a každý neurón sa pokúša vidieť niečo zásadného v práci „štyroch“.
Keď sa deti učia nové veci, sieť sa najskôr nevedie dobre. Vydáva všetko, čo podľa jej názoru vyzerá ako číslo štyri - a vy dostanete obrázky v duchu programu Picasso.
Ale presne takto pokračuje učenie: algoritmus porovnáva výstup s ideálnym vstupom a vypočítava rozdiel medzi nimi (čítanie: chyby). Chyby „sa šíria späť“sieťou, trénujú každý neurón, hovoria, nie je to to, čo hľadáte, vyzerajú lepšie.
Po miliónoch príkladov a opakovaní začne web bezchybne fungovať.
Chybový signál je pre učenie mimoriadne dôležitý. Bez efektívnej „spätnej propagácie chýb“sieť nebude vedieť, ktoré z jej neurónov sú nesprávne. Pri hľadaní obetného baránka sa umelá inteligencia zlepšuje.
Mozog to tiež robí. Ale ako? Nemáme tušenie.
Biologická slepá ulička
Je zrejmé, že riešenie na hlboké vzdelávanie nefunguje.
Spätné hlásenie chyby je mimoriadne dôležitá funkcia. Vyžaduje si to, aby určitá infraštruktúra fungovala správne.
Po prvé, každý neurón v sieti musí dostať chybové hlásenie. Ale v mozgu sú neuróny spojené iba s niekoľkými (ak vôbec) následnými partnermi. Aby backpropagácia fungovala v mozgu, musia neuróny na prvých úrovniach vnímať informácie z miliárd spojení v downstream kanáloch - a to je biologicky nemožné.
A zatiaľ čo niektoré algoritmy hlbokého učenia prispôsobujú lokálnu formu spätného spracovania chýb - v podstate medzi neurónmi - vyžaduje, aby boli ich prepojenia tam a späť symetrické. V mozgových synapsiách sa to takmer nikdy nestane.
Modernejšie algoritmy prispôsobujú mierne odlišnú stratégiu zavedením samostatnej cesty spätnej väzby, ktorá pomáha neurónom lokálne nájsť chyby. Aj keď je to biologicky uskutočniteľnejšie, mozog nemá samostatnú počítačovú sieť určenú na hľadanie obetných baránkov.
Má však neuróny so zložitými štruktúrami, na rozdiel od homogénnych „guličiek“, ktoré sa v súčasnosti používajú v hlbokom učení.
Vetvenie sietí
Vedci sa inšpirujú pyramidálnymi bunkami, ktoré zapĺňajú ľudskú kôru.
„Väčšina z týchto neurónov má tvar stromov, pričom ich korene sú hlboko v mozgu a„ konáre “vystupujú na povrch,“hovorí Richards. „Je pozoruhodné, že korene majú jednu sadu vstupov a vetvy sa líšia.“
Je to zvláštne, ale štruktúra neurónov sa často ukazuje ako „presne tak, ako je to potrebné“na efektívne vyriešenie výpočtového problému. Zoberme si zmyslové spracovanie, napríklad: dna pyramidálnych neurónov sú miestom, kde majú byť prijímané senzorické vstupy, a vrcholy sú vhodne umiestnené na prenos chýb prostredníctvom spätnej väzby.
Mohla by byť táto komplexná štruktúra evolučným riešením, ako sa vysporiadať so zlým signálom?
Vedci vytvorili viacvrstvovú neurónovú sieť založenú na predchádzajúcich algoritmoch. Ale namiesto homogénnych neurónov dali jej neuróny v stredných vrstvách - sendvičovo medzi vstupom a výstupom - podobné tým skutočným. Algoritmus, ktorý sa učil z ručne písaných čísel, fungoval omnoho lepšie ako jednovrstvová sieť, a to aj napriek absencii klasického spätného šírenia chyby. Samotné bunkové štruktúry mohli chybu identifikovať. Potom v pravý čas neurón kombinoval oba zdroje informácií, aby našiel najlepšie riešenie.
Existuje biologický základ: neurovedci už dávno vedeli, že vstupné vetvy neurónu vykonávajú miestne výpočty, ktoré je možné integrovať so spätnými signálmi z výstupných vetiev. Ale nevieme, či mozog skutočne funguje týmto spôsobom - preto Richards poveril neurovedcov, aby to zistili.
Okrem toho táto sieť rieši problém podobným spôsobom ako tradičná metóda hlbokého učenia: používa vrstvenú štruktúru na extrahovanie progresívnejších abstraktných myšlienok o každom čísle.
„Toto je vlastnosť hlbokého učenia sa,“vysvetľujú autori.
Hlboko sa učiaci mozog
V tomto príbehu bude bezpochyby viac zvratov a zvratov, pretože počítačoví vedci prinášajú do algoritmov AI viac biologických detailov. Richards a jeho tím skúmajú prediktívnu funkciu zhora nadol, kde signály z vyšších úrovní priamo ovplyvňujú, ako nižšie úrovne reagujú na vstup.
Spätná väzba z vyšších vrstiev nielen zlepšuje signalizáciu chýb; môže tiež povzbudiť neuróny s nižším spracovaním, aby v reálnom čase vykonávali „lepšie“výsledky, hovorí Richards. Sieť zatiaľ neprekonala iné nebiologické siete hlbokého vzdelávania. Ale na tom nezáleží.
„Hlboké vzdelávanie malo obrovský vplyv na AI, ale doteraz bol jeho vplyv na neurovedy obmedzený,“tvrdia autori štúdie. Teraz budú mať neurovedci výhovorku na vykonanie experimentálneho testu a na zistenie, či štruktúra neurónov spočíva v prirodzenom algoritme hlbokého učenia. Možno v najbližších desiatich rokoch sa začne vzájomne prospešná výmena údajov medzi neurovedcami a výskumníkmi v oblasti umelej inteligencie.
Ilja Khel