Jeffrey Hinton je spolutvorcom koncepcie hlbokého vzdelávania, víťaza ceny Turing Award za rok 2019 a inžiniera spoločnosti Google. Minulý týždeň, počas vývojovej konferencie I / O, s ním Wired poskytol rozhovor a prediskutoval jeho fascináciu mozgu a jeho schopnosť modelovať počítač na základe nervovej štruktúry mozgu. Na dlhú dobu boli tieto myšlienky považované za šialené. Zaujímavá a zábavná konverzácia o vedomí, Hintonových budúcich plánoch a o tom, či je možné počítače naučiť snívať.
Čo sa stane s neurálnymi sieťami?
Začnime s dňami, keď ste napísali svoje prvé, veľmi vplyvné články. Všetci povedali: „Je to šikovný nápad, ale počítače skutočne nedokážeme navrhnúť.“Vysvetlite, prečo ste trvali na tom, prečo ste si boli istí, že ste našli niečo dôležité.
Zdalo sa mi, že mozog nemôže fungovať iným spôsobom. Musí pracovať študovaním sily spojení. A ak chcete, aby zariadenie urobilo niečo inteligentné, máte dve možnosti: buď ho naprogramujete, alebo sa to naučí. A nikto nenaprogramoval ľudí, takže sme museli študovať. Táto metóda musela byť správna.
Vysvetlite, čo sú neurónové siete. Vysvetlite pôvodný koncept
Beriete relatívne jednoduché prvky spracovania, ktoré sa veľmi neurčite podobajú neurónom. Majú prichádzajúce spojenia, každé spojenie má váhu a táto hmotnosť sa môže počas tréningu meniť. Neurón robí kroky na spojeniach vynásobené váhami, spočítajú ich a potom sa rozhodnú, či sa majú údaje poslať. Ak je suma zadaná dostatočne veľká, vytvorí výstup. Ak je suma záporná, nič neposiela. To je všetko. Všetko, čo musíte urobiť, je spojiť oblak týchto neurónov s váhami a zistiť, ako tieto závažia zmeniť, a potom urobia čokoľvek. Jedinou otázkou je, ako zmeníte hmotnosť.
Propagačné video:
Kedy ste si uvedomili, že toto je hrubé zobrazenie toho, ako mozog funguje?
Och, áno, všetko bolo pôvodne určené. Navrhnuté tak, aby sa pri práci podobali mozgu.
Takže v určitom okamihu svojej kariéry ste začali chápať, ako mozog funguje. Možno ste mali dvanásť rokov, možno dvadsať päť. Kedy ste sa rozhodli skúsiť modelovať počítače ako mozgy?
Áno okamžite. To bol celý bod. Celá táto myšlienka spočívala v vytvorení vzdelávacieho zariadenia, ktoré sa učí ako mozog podľa predstáv ľudí o tom, ako sa mozog učí, zmenou sily spojení. A to nebol môj nápad, Turing mal rovnaký nápad. Aj keď Turing vynašiel veľa zo základov štandardnej počítačovej vedy, veril, že mozog je dezorganizované zariadenie s náhodnými váhami a využíval učenie zosilnenia na zmenu spojenia, takže sa mohol naučiť čokoľvek. A veril, že toto je najlepšia cesta k inteligencii.
A nasledovali ste Turingovu myšlienku, že najlepším spôsobom, ako postaviť stroj, je navrhnúť ho ako ľudský mozog. Takto funguje ľudský mozog, takže vytvorme podobný stroj
Áno, nielen Turing si to myslel. Mnohí si to mysleli.
Kedy prišli temné časy? Kedy sa stalo, že ostatní ľudia, ktorí na tom pracovali a verili, že Turingova myšlienka je správna, začali ustupovať a vy ste pokračovali v ohýbaní?
Vždy existovalo hŕstka ľudí, ktorí neverili bez ohľadu na to, najmä v oblasti psychológie. Myslím si však, že v 90. rokoch sa medzi počítačovými vedcami stalo, že súbory údajov boli dosť malé a počítače neboli také rýchle. A s malými množinami údajov fungovali iné metódy, ako sú podporné vektorové stroje, o niečo lepšie. Hlukom neboli tak rozpaky. Bolo to smutné, pretože v 80. rokoch sme vyvinuli metódu spätného šírenia, ktorá je veľmi dôležitá pre neurónové siete. Mysleli sme si, že všetko vyrieši. A oni boli zmätení, že nič nerozhodol. Otázka bola skutočne v mierke, ale potom sme to nevedeli.
Prečo si si myslel, že to nefunguje?
Mysleli sme si, že to nefunguje, pretože nemáme úplne správne algoritmy a nie úplne správne objektívne funkcie. Dlho som si myslel, že je to preto, že sme sa pri označovaní údajov snažili robiť učenie pod dohľadom, a keď sme sa učili z netagovaných údajov, museli sme sa učiť bez dozoru. Ukázalo sa, že táto otázka bola väčšinou na stupnici.
Je to zaujímavé. Problém bol v tom, že nemáte dostatok údajov. Mysleli ste si, že máte správne množstvo údajov, ale nesprávne ste ich označili. Takže ste práve nesprávne diagnostikovali problém?
Myslela som si, že chybou je, že štítky vôbec používame. Väčšina vašich školení sa odohráva bez použitia akýchkoľvek štítkov, len sa snažíte modelovať štruktúru údajov. Vlastne si to stále myslím. Myslím si, že keďže počítače sú rýchlejšie, ak je počítač dosť rýchly, potom je pre akýkoľvek súbor údajov danej veľkosti lepšie trénovať bez dozoru. Akonáhle dokončíte učenie bez dozoru, môžete sa učiť s menším počtom značiek.
Takže v 90. rokoch pokračujete vo výskume, ste v akademickej obci, stále publikujete, ale neriešite veľké problémy. Už ste niekedy mali okamih, keď ste povedali: „Vieš čo, to stačí. Pokúsim sa urobiť niečo iné? “Alebo ste si len povedali, že budete pokračovať v hlbokom učení (to je koncept hlbokého učenia, hlbokého učenia neurónových sietí)
Áno. Niečo také by malo fungovať. Myslím, že spojenia v mozgu sa nejakým spôsobom učia, musíme len zistiť, ako. A pravdepodobne existuje veľa rôznych spôsobov, ako posilniť spojenia v procese učenia; mozog používa jeden z nich. Môžu existovať aj iné spôsoby. Určite však potrebujete niečo, čo môže tieto prepojenia počas učenia posilniť. Nikdy som o tom nepochyboval.
Nikdy ste o tom nepochybovali. Kedy sa zdalo, že to funguje?
Jedným z najväčších sklamaní 80. rokov bolo, že ak by sme vytvorili siete s mnohými skrytými vrstvami, nemohli sme ich trénovať. Toto nie je úplne pravda, pretože môžete trénovať relatívne jednoduché procesy ako písanie rukou. Nevedeli sme však, ako trénovať najhlbšie neurónové siete. A okolo roku 2005 som prišiel na spôsob, ako trénovať hlboké siete bez dozoru. Zadávate údaje, hovoríte pixely a trénujete niekoľko detektorov detailov, čo len dobre vysvetlilo, prečo boli pixely také, aké sú. Potom vložíte tieto detektory súčiastok do dát a vycvičíte inú sadu detektorov súčiastok, aby sme mohli vysvetliť, prečo majú konkrétne detektory súčiastok konkrétne korelácie. Pokračujete vo výcviku po vrstvách. Ale najzaujímavejšie boloktoré sa dajú matematicky rozložiť a dokázať, že zakaždým, keď trénujete novú vrstvu, nemusíte nevyhnutne vylepšiť dátový model, ale budete sa zaoberať rozsahom dobrého modelu. A táto škála sa zlepšila s každou pridanou vrstvou.
Čo myslíš tým, aký dobrý je váš model?
Po získaní modelu môžete položiť otázku: „Ako nezvyčajné tento model nájde tieto údaje?“Ukazujete jej údaje a pýtate sa: „Považujete to všetko za očakávané, alebo je to nezvyčajné?“A to sa dá zmerať. Chcel som získať model, dobrý model, ktorý sa pozerá na údaje a hovorí: „Áno, áno. Vedel som to. To nie je prekvapujúce “. Je vždy veľmi ťažké presne vypočítať, ako neobvyklý model nájde údaje. Môžete to však vypočítať. Môžeme povedať, že tento model bude považovať tieto údaje za menej nezvyčajné. A mohlo by sa ukázať, že keď sa do detektorov detailov pridá viac vrstiev, model sa vytvorí a s každou pridanou vrstvou, keď nájde údaje, sa rozsah porozumenia toho, ako nezvyčajné zistí, že údaje sú lepšie.
Takže okolo roku 2005 ste dosiahli tento matematický prielom. Kedy ste dostali správne odpovede? S ktorými údajmi ste pracovali? Váš prvý prielom bol v údajoch o reči, však?
Boli to len rukou napísané čísla. Veľmi jednoduché. A približne v rovnakom čase sa začal vývoj jednotiek GPU (Graphics Processing Units). A ľudia, ktorí robili neurónové siete, začali používať GPU v roku 2007. Mal som veľmi dobrého študenta, ktorý začal používať GPU na nájdenie ciest na leteckých fotografiách. Napísal kód, ktorý potom prijali ostatní študenti pomocou GPU na rozpoznávanie fonémov v reči. Použili tento nápad na predbežné školenie. A keď sa uskutočnilo predbežné školenie, jednoducho zavesili štítky na vrchol a použili spätnú propagáciu. Ukázalo sa, že je možné vytvoriť veľmi hlbokú sieť, ktorá bola predtým trénovaná týmto spôsobom. A potom bolo možné použiť spätné rozdelenie a skutočne to fungovalo. Pri rozpoznávaní reči to fungovalo skvele. Najprv všaknebolo to oveľa lepšie.
Bolo to lepšie ako komerčne dostupné rozpoznávanie reči? Vynechali vás najlepšie vedecké práce o rozpoznávaní reči?
Na relatívne malom súbore údajov s názvom TIMIT bolo o niečo lepšie ako najlepšia akademická práca. IBM vykonala aj veľa práce.
Ľudia si rýchlo uvedomili, že toto všetko - pretože obchádza štandardné modely, ktoré boli vo vývoji už 30 rokov - by fungovalo dobre, ak by sa trochu vyvíjalo. Moji absolventi išli do spoločností Microsoft, IBM a Google a Google veľmi rýchlo vytvoril pracovný rozpoznávač reči. Do roku 2012 táto práca, ktorá sa vykonala už v roku 2009, zasiahla Android. Android je zrazu oveľa lepší v rozpoznávaní reči.
Povedzte mi o chvíli, keď ste vy, ktorí ste tieto myšlienky uchovávali 40 rokov, publikujete túto tému už 20 rokov, zrazu obídete svojich kolegov. Aký je to pocit?
V tom čase som tieto myšlienky ukladal iba 30 rokov!
Správne, správne
Bol obrovský pocit, že toto všetko sa nakoniec zmenilo na skutočný problém.
Pamätáte si, kedy ste prvýkrát dostali údaje naznačujúce toto?
Nie.
Poriadku. Získate tak predstavu, že to funguje pri rozpoznávaní reči. Kedy ste začali aplikovať neurónové siete na iné problémy?
Najskôr sme ich začali aplikovať na všetky ďalšie problémy. George Dahl, s ktorým sme pôvodne pracovali na rozpoznávaní reči, ich používal na predpovedanie toho, či sa molekula môže na niečo viazať a stať sa dobrým liekom. A bola tu súťaž. Jednoducho použil našu štandardnú technológiu, vytvorenú na rozpoznávanie reči, na predpovedanie drogovej aktivity a vyhral konkurenciu. Bolo to znamením, že robíme niečo veľmi všestranné. Potom sa objavil študent, ktorý povedal: „Vieš, Jeffe, táto vec bude fungovať s rozpoznaním obrazu, a Fei-Fei Li vytvoril pre to vhodný súbor údajov. Existuje verejná súťaž, poďme niečo urobiť. ““
Získali sme výsledky, ktoré ďaleko predčili štandardné počítačové videnie. Bol rok 2012.
To znamená, že v týchto troch oblastiach ste vynikli: modelovanie chemikálií, reč, hlas. Kde ste zlyhali?
Chápete, že neúspechy sú dočasné?
Čo oddeľuje oblasti, kde to všetko funguje najrýchlejšie a oblasti, kde to trvá najdlhšie? Vyzerá to, že vizuálne spracovanie, rozpoznávanie reči a niečo ako základné ľudské veci, ktoré robíme so zmyslovým vnímaním, sa považujú za prvé prekážky, ktoré treba prekonať, nie?
Áno a nie, pretože existujú aj iné veci, ktoré robíme dobre - rovnaké motorické zručnosti. Sme veľmi dobrí v riadení motora. Naše mozgy sú na to určite vybavené. A až teraz začínajú neurónové siete konkurovať najlepším iným technológiám. Nakoniec zvíťazia, ale teraz len začínajú vyhrávať.
Myslím, že myslenie, abstraktné myslenie je to posledné, čo sa naučíme. Myslím, že budú medzi poslednými vecami, ktoré sa tieto neurónové siete naučia robiť.
A tak stále hovoríte, že neurónové siete nakoniec zvíťazia všade
Sme nervové siete. Všetko, čo môžeme, môže.
Pravda, ale ľudský mozog nie je ani zďaleka najúčinnejším počítačovým strojom, aký bol kedy postavený
Určite nie.
Rozhodne nie môj ľudský mozog! Existuje spôsob, ako modelovať stroje, ktoré sú oveľa účinnejšie ako ľudský mozog?
Filozoficky nemám námietky proti myšlienke, že by to mohol byť nejaký úplne iný spôsob. Možno, že ak začnete s logikou, pokúste sa automatizovať logiku, prídete s nejakým fantáziou, presvedčením, dôvodom a potom sa rozhodnete, že prostredníctvom vizuálneho vnímania môžete dospieť k vizuálnemu vnímaniu, je možné, že tento prístup vyhrá. Ale ešte nie. Nemám žiadne filozofické námietky proti takému víťazstvu. My len vieme, že mozog je schopný to.
Ale sú aj veci, ktoré naše mozgy nedokážu dobre. Znamená to, že neurónové siete ich nedokážu dobre zvládnuť?
Pomerne pravdepodobne áno.
A je tu osobitný problém, ktorým je to, že nechápeme, ako fungujú neurónové siete, však?
Áno, naozaj nechápeme, ako fungujú.
Nerozumieme, ako fungujú neurónové siete zhora nadol. Toto je základný prvok toho, ako neurónové siete fungujú, ktorým nerozumieme. Vysvetlite to a potom mi položte ďalšiu otázku: ak vieme, ako to funguje, ako to potom funguje?
Keď sa pozriete na moderné systémy počítačového videnia, väčšina z nich je zväčša perspektívna; nepoužívajú spätnú väzbu. A potom je v moderných systémoch počítačového videnia niečo iné, ktoré sú veľmi náchylné na kontradiktórne chyby. Môžete mierne zmeniť niekoľko pixelov a to, čo bol obraz panda a stále vyzerá presne ako panda, sa zrazu stanete pštrosom v chápaní neurónovej siete. Je zrejmé, že spôsob nahradenia pixelov je vymyslený tak, aby neurónovú sieť podviedol, aby premýšľal o pštrosi. Ale ide o to, že je to pre vás stále panda.
Spočiatku sme si mysleli, že to funguje skvele. Ale potom, tvárou v tvár skutočnosti, že sa pozerali na pandu a boli si istí, že to bol pštros, sme sa obávali. A myslím si, že súčasťou problému je, že sa nesnažia rekonštruovať z pohľadu vysokej úrovne. Snažia sa učiť izolovane, kde sa učia iba vrstvy detektorov detailov, a celkovým cieľom je zmeniť závažia tak, aby boli lepšie pri hľadaní správnej odpovede. Nedávno sme v Toronte zistili, alebo Nick Frost zistil, že pridaním rekonštrukcie sa zvyšuje protirečivý odpor. Myslím si, že v ľudskej vízii sa rekonštrukcia používa na učenie. A keďže sa pri rekonštrukcii toho veľa naučíme, sme oveľa odolnejší voči kontradiktórnym útokom.
Veríte, že následná komunikácia v neurónovej sieti vám umožňuje vyskúšať, ako sa niečo rekonštruuje. Skontrolujte to a uistite sa, že je to panda, nie pštros
Myslím si, že je to dôležité, áno.
Ale vedci mozgu s tým celkom nesúhlasia?
Vedci mozgu netvrdia, že ak máte v ceste vnímania dve oblasti kôry, vždy bude existovať spätné spojenie. Tvrdia, s čím je. Môže to byť potrebné pre pozornosť, pre učenie sa alebo pre rekonštrukciu. Alebo pre všetky tri.
A tak nevieme, čo je spätná väzba. Budujete svoje nové neurónové siete, počnúc domnienkou, že … nie, ani tak - budujete spätnú väzbu, pretože je to potrebné na rekonštrukciu neurónových sietí, aj keď ani neviete, ako mozog funguje?
Áno.
Nie je to trik? To znamená, že ak sa snažíte urobiť niečo ako mozog, ale nie ste si istí, či to mozog robí?
Nie naozaj. Nie som vo výpočtovej neurovede. Nesnažím sa modelovať, ako mozog funguje. Pozerám sa na mozog a poviem: „Funguje to, a ak chceme urobiť niečo iné, čo funguje, musíme sa na to pozerať a inšpirovať sa.“Inšpirujú nás neuróny, nie budovanie nervového modelu. Celý model neurónov, ktorý používame, je teda inšpirovaný skutočnosťou, že neuróny majú veľa spojení a že menia váhu.
Je to zaujímavé. Keby som bol počítačový vedec pracujúci na neurónových sieťach a chcel by som obísť Jeffa Hintona, jednou z možností by bolo vybudovať zostupnú komunikáciu a založiť ju na iných modeloch mozgovej vedy. Na základe školenia, nie rekonštrukcie
Keby existovali lepšie modely, vyhrali by ste. Áno.
Je to veľmi, veľmi zaujímavé. Poďme sa dotknúť všeobecnejšej témy. Neurónové siete teda môžu vyriešiť všetky možné problémy. Existujú v ľudskom mozgu hádanky, ktoré neurónové siete nemôžu alebo nemôžu pokryť? Napríklad emócie
Nie.
Takže láska môže byť rekonštruovaná pomocou neurónovej siete? Vedomie sa dá zrekonštruovať?
Absolútne. Keď prídete na to, čo tieto veci znamenajú. Sme neurónové siete, však? Vedomie je pre mňa obzvlášť zaujímavou témou. Ale … ľudia naozaj nevedia, čo znamenajú týmto slovom. Existuje veľa rôznych definícií. A myslím si, že je to docela vedecký pojem. Preto, ak ste sa pred 100 rokmi opýtali ľudí: čo je život? Odpovedali: „Nuž, živé veci majú životnú silu a keď zomrú, životná sila ich opustí. Toto je rozdiel medzi živými a mŕtvymi, či už máte vitalitu alebo nie. “Teraz nemáme žiadnu životnú silu, myslíme si, že tento koncept prišiel pred vedu. A keď začnete niečo chápať o biochémii a molekulárnej biológii, už viac nepotrebujete životnú silu, pochopíte, ako to vlastne funguje. A to isté sa, myslím, stane s vedomím. Myslím,že vedomie je pokus vysvetliť mentálne javy pomocou entity. A táto podstata nie je potrebná. Akonáhle to dokážete vysvetliť, môžete vysvetliť, ako robíme všetko, čo vedie ľudí k vedomiu, vysvetľovať rôzne významy vedomia bez zapojenia akýchkoľvek špeciálnych entít.
Ukazuje sa, že neexistujú žiadne emócie, ktoré by sa nemohli vytvoriť? Neexistuje myšlienka, ktorú nemožno vytvoriť? Nie je nič, čo by ľudská myseľ dokázala, že by teoreticky nemohla byť vytvorená plne funkčnou neurónovou sieťou, keď skutočne pochopíme, ako mozog funguje?
John Lennon spieval v jednej zo svojich piesní niečo podobné.
Ste si tým úplne istí?
Nie, som Bayesián, takže som si istý 99,9%.
Dobre, čo je potom 0,01%?
Napríklad by sme mohli byť všetci súčasťou väčšej simulácie.
Dosť fér. Čo sa teda dozvieme o mozgu z našej práce na počítačoch?
Myslím si, že z toho, čo sme sa naučili za posledných 10 rokov, je zaujímavé, že ak vezmete systém s miliardami parametrov a objektívnou funkciou - napríklad vyplnenie medzery v slovách - funguje to lepšie, ako by malo. Bude to fungovať omnoho lepšie, ako by ste očakávali. Môžete si myslieť, a mnoho ľudí v tradičnom výskume umelej inteligencie by si mohlo myslieť, že môžete vziať systém s miliardou parametrov, spustiť ho v náhodných hodnotách, zmerať gradient objektívnej funkcie a potom ju vyladiť, aby sa zlepšila objektívna funkcia. Možno si myslíte, že beznádejný algoritmus by sa nevyhnutne zasekol. Ale nie, ukázalo sa, že ide o skutočne dobrý algoritmus. A čím je väčšia škála, tým lepšie to funguje. A tento objav bol v podstate empirický. Za tým všetkým samozrejme bola nejaká teória, ale objav bol empirický. A teraz,keďže sme to zistili, zdá sa pravdepodobnejšie, že mozog počíta gradient určitej objektívnej funkcie a aktualizuje váhy a silu synaptického spojenia, aby držal krok s týmto gradientom. Potrebujeme len zistiť, čo je táto cieľová funkcia a ako sa zhoršuje.
Ale my sme tomu nerozumeli na príklade mozgu? Nerozumiete aktualizácii zostatku?
Bola to teória. Ľudia si dávno mysleli, že je to možné. Ale v pozadí boli vždy nejakí počítačoví vedci, ktorí povedali: „Áno, ale myšlienka, že všetko je náhodné a učenie je kvôli gradientovému klesaniu, nebude fungovať s miliardovými parametrami, musíte pripojiť veľa vedomostí.“Teraz vieme, že to tak nie je. Stačí zadať náhodné parametre a naučiť sa všetko.
Poďme sa trochu hlbšie ponoriť. Keď sa stále viac a viac učíme, pravdepodobne sa budeme stále viac učiť o tom, ako funguje ľudský mozog, keď vykonávame rozsiahle testy modelov založené na našom porozumení mozgovej funkcie. Keď to všetko lepšie pochopíme, dôjde k bodu, v ktorom zásadne prepájame naše mozgy, aby sa stali oveľa efektívnejšími strojmi?
Ak skutočne pochopíme, čo sa deje, môžeme zlepšiť niektoré veci, napríklad vzdelávanie. A myslím, že sa zlepšíme. Bolo by veľmi zvláštne konečne pochopiť, čo sa deje vo vašom mozgu, ako sa to učí, a nie prispôsobiť sa tak, aby sa učilo lepšie.
Ako si myslíte, že o pár rokov použijeme to, čo sme sa naučili o mozgu a ako hlboké vzdelávanie prispieva k transformácii vzdelávania? Ako by ste zmenili triedy?
Nie som si istý, či sa za pár rokov toho veľa naučíme. Myslím si, že zmena vzdelávania bude trvať dlhšie. Ale keď už hovoríme o tom, [digitálni] asistenti sú dosť inteligentní. A keď asistenti rozumejú rozhovorom, môžu hovoriť s deťmi a vychovávať ich.
A teoreticky, ak lepšie rozumieme mozgu, môžeme programovým pomocníkom lepšie rozprávať s deťmi na základe toho, čo sa už naučili
Áno, ale moc som o tom nepremýšľal. Robím niečo iné. Ale toto všetko sa zdá byť celkom podobné pravde.
Dokážeme pochopiť, ako sny fungujú?
Áno, veľmi ma zaujímajú sny. Zaujíma ma, že mám aspoň štyri rôzne teórie snov.
Povedzte nám o nich - o prvom, druhom, treťom, štvrtom
Kedysi dávno existovalo niečo také ako Hopfieldove siete a študovali spomienky ako miestnych atraktorov. Hopfield zistil, že ak sa pokúsite vložiť príliš veľa spomienok, dostanú neporiadok. Zoberú dvoch miestnych atraktorov a spoja ich do jedného atraktora niekde na polceste medzi nimi.
Potom prišli Francis Crick a Graham Mitchison a povedali, že týmito falošnými minimami sa môžeme zbaviť učením (to znamená, zabudnutím na to, čo sme sa naučili). Vypneme vstup dát, uvedieme neurónovú sieť do náhodného stavu, necháme ju upokojiť, povedzme, že je to zlé, zmeníme pripojenia tak, aby nespadli do tohto stavu, a tak môžeme v sieti uložiť viac pamäte.
Potom sme s Terrym Seinowskim prišli a povedali: „Pozri, ak máme nielen neuróny, ktoré uchovávajú spomienky, ale veľa ďalších neurónov, môžeme nájsť algoritmus, ktorý používa všetky tieto ďalšie neuróny, aby sme si spomenuli na spomienky?“… Výsledkom bolo vytvorenie algoritmu Boltzmann strojového učenia. A Boltzmannov algoritmus strojového učenia mal mimoriadne zaujímavú vlastnosť: ukazujem údaje a prechádza zvyšnými jednotkami, až sa dostane do veľmi šťastného stavu, a potom zvyšuje silu všetkých spojení, a to na základe skutočnosti, že dve jednotky sú aktívne súčasne.
Mali by ste mať aj fázu, v ktorej vypnete vstup, nechajte algoritmus „šušťať“a dať ho do stavu, v ktorom je šťastný, aby fantazíroval, a hneď ako bude mať fantáziu, poviete: „Vezmite všetky páry neurónov ktoré sú aktívne a znižujú pevnosť spojení. ““
Algoritmus ti vysvetľujem ako postup. Ale v skutočnosti je tento algoritmus produktom matematiky a otázkou: „Ako musíte zmeniť tieto reťazce spojení tak, aby táto neurónová sieť so všetkými týmito skrytými jednotkami údajov nebola prekvapujúca?“A mala by existovať aj ďalšia fáza, ktorú nazývame záporná fáza, keď sieť pracuje bez zadávania údajov a odučí sa, bez ohľadu na to, v akom stave ste ju zadali.
Každú noc snívame veľa hodín. A ak sa zrazu zobudíte, môžete povedať, že ste práve snívali, pretože sen je uložený v krátkodobej pamäti. Vieme, že vidíme sny na mnoho hodín, ale ráno, po prebudení, si môžeme pamätať iba na posledný sen, a nepamätáme si ostatné, čo je veľmi úspešné, pretože by sme ich mohli pomýliť za realitu. Tak prečo si vôbec nepamätáme naše sny? Podľa Cricka to je zmysel snov: odvinúť tieto veci. Dozviete sa naopak.
Terry Seinovski a ja sme ukázali, že toto je vlastne maximálna pravdepodobnosť postupu učenia pre stroje Boltzmann. Toto je prvá teória o snoch.
Chcem prejsť k vašim ďalším teóriám. Ale moja otázka znie: Podarilo sa vám naučiť niektorý z vašich algoritmov hlbokého učenia sa, aby skutočne snívali?
Niektoré z prvých algoritmov, ktoré sa mohli naučiť pracovať so skrytými jednotkami, boli Boltzmannove stroje. Boli mimoriadne neefektívni. Neskôr som však našiel spôsob, ako pracovať s aproximáciami, ktoré sa ukázali ako efektívne. A to vlastne slúžilo ako podnet na obnovenie práce s hlbokým učením. To boli veci, ktoré trénovali jednu vrstvu detektorov funkcií naraz. A to bola účinná forma Boltzmannovho obmedzujúceho stroja. A tak urobila tento druh spätného učenia. Ale namiesto toho, aby zaspala, mohla len trochu snívať po každej dátovej značke.
Dobre, takže androidi vlastne snívajú o elektrických ovciach. Poďme k teóriám dva, tri a štyri
Teória dva sa volala Algoritmus prebudenia spánku. Musíte trénovať generatívny model. A máte nápad vytvoriť model, ktorý dokáže generovať údaje, má vrstvy detektorov objektov a aktivuje vyššie a nižšie vrstvy, atď., Až po aktiváciu pixelov - čo v podstate vytvára obrázok. Chceli by ste ju však naučiť niečo iné. Chceli by ste, aby údaje rozpoznával.
A tak musíte vytvoriť algoritmus s dvoma fázami. Vo fáze prebudenia prichádzajú údaje, snaží sa ich spoznať a namiesto štúdia spojení, ktoré používa na rozpoznávanie, študuje generatívne spojenia. Dáta prichádzajú, aktivujem skryté jednotky. A potom sa pokúsim naučiť tieto skryté jednotky na obnovenie týchto údajov. Učí sa rekonštruovať v každej vrstve. Otázkou však je, ako sa naučiť priame súvislosti? Myšlienka je taká, že ak by ste vedeli priame spojenia, mohli by ste sa naučiť spätným spojeniam, pretože ste sa mohli naučiť spätného inžinierstva.
Teraz sa tiež ukáže, že ak používate spätné spojenia, môžete sa tiež naučiť priame spojenia, pretože stačí začať na začiatku a generovať niektoré údaje. A keďže generujete údaje, poznáte stavy všetkých skrytých vrstiev a môžete študovať priame spojenia a obnoviť tieto stavy. A tu je to, čo sa stane: ak začnete s náhodným pripojením a pokúsite sa striedavo používať obe fázy, budete mať úspech. Aby to fungovalo dobre, musíte vyskúšať rôzne možnosti, ale bude to fungovať.
Dobre, tak čo ďalšie dve teórie? Zostáva nám len osem minút, myslím, že nebudem mať čas sa na všetko opýtať
Dajte mi ďalšiu hodinu a poviem vám o ďalších dvoch.
Poďme hovoriť o tom, čo bude ďalej. Kam smeruje váš výskum? Aké problémy sa snažíte vyriešiť teraz?
Nakoniec budete musieť pracovať na niečom, čo ešte neskončilo. Myslím, že budem možno pracovať na niečom, čo nikdy nedokončím - tzv. Kapsule, teórii o tom, ako sa vizuálne vníma pomocou rekonštrukcie a ako sú informácie nasmerované na správne miesta. Dva hlavné motivačné faktory boli to, že v štandardných neurónových sieťach je informácia, aktivita vo vrstve jednoducho niekde automaticky zaslaná a vy sa nerozhodujete, kam ju poslať. Hlavnou myšlienkou kapsúl bolo rozhodovať o tom, kam posielať informácie.
Teraz, keď som začal pracovať na kapsulách, veľmi inteligentní ľudia v Google vymysleli transformátory, ktoré robia to isté. Rozhodujú sa, kam budú informácie posielať, a to je veľká výhra.
Vrátime sa budúci rok, aby sme hovorili o teórii snov číslo tri a číslo štyri.
Ilja Khel