Umela inteligencia. O tom, čo sa o ňom už povedalo, sme sa ešte nerozprávali. Takmer všetko, čo počujete o vývoji umelej inteligencie, je založené na prelome tridsať rokov. Udržanie tempa pokroku si bude vyžadovať obchádzanie závažných obmedzení a veľkých obmedzení. Ďalej, v prvej osobe - James Somers.
Stojím tam, kde bude čoskoro stred sveta, alebo jednoducho vo veľkej miestnosti na siedmom poschodí lesklej veže v centre Toronta - na ktorú stranu sa pozeráte. Sprevádza ma Jordan Jacobs, spoluzakladateľ tohto miesta: inštitút Vector, ktorý otvorí svoje dvere tento rok na jeseň a sľubuje, že sa stane globálnym epicentrom umelej inteligencie.
Sme v Toronte, pretože Jeffrey Hinton je v Toronte. A Jeffrey Hinton je otcom techniky „hlbokého učenia“, techniky za humbukom AI. "Za 30 rokov sa obzrieme späť a povieme, že Jeff je Einstein pre AI, hlboké vzdelávanie, čokoľvek nazývame umelou inteligenciou," hovorí Jacobs. Zo všetkých vedcov AI je Hinton citovaný častejšie, než všetci traja, ktorí ho sledujú spolu. Jeho vysokoškolskí a postgraduálni študenti chodia do práce v laboratóriu AI v spoločnostiach Apple, Facebook a OpenAI; Samotný Hinton je vedecký pracovník v tíme inteligencie inteligencie Google. Takmer každý pokrok v umelej inteligencii za posledné desaťročie - v preklade, rozpoznávaní reči, rozpoznávaní obrazu a hraní hier - má niečo spoločné s Hintonovou prácou.
Vector Institute, pamätník vzostupu Hintonových nápadov, je výskumným centrom, v ktorom spoločnosti z USA a Kanady - napríklad Google, Uber a NVIDIA - sponzorujú úsilie o komercializáciu technológií AI. Peniaze sa nalievajú rýchlejšie, ako si to Jacobs môže vyžiadať; dve z jej spoluzakladateľov uskutočnili prieskum v spoločnostiach v oblasti Toronta a dopyt po expertoch na umelú inteligenciu bol 10-krát vyšší ako v Kanade každý rok. Inštitút Vector je v istom zmysle nevyužívanou panenskou krajinou, ktorá sa snaží zmobilizovať svet okolo hlbokého učenia: investovať, učiť, zdokonaľovať a používať túto techniku. Budujú sa dátové centrá, mrakodrapy sú plné startupov a do tohto regiónu prichádzajú generácie študentov.
Keď stojíte na podlahe Vektora, máte pocit, že ste na začiatku niečoho. Hlboké učenie je však vo svojej podstate veľmi staré. Hintonov prielomový článok, napísaný s Davidom Rumelhartom a Ronaldom Williamsom, bol uverejnený v roku 1986. Práca podrobne popisuje spôsob spätného šírenia chyby (spätného šírenia), v skratke. Backprop je podľa Johna Cohena „všetko, na čom spočíva hĺbkové učenie - všetko.“
Základom AI je dnes hlboké vzdelávanie a hlboké vzdelávanie je kulisou. Čo je ohromujúce vzhľadom na pozadie, ktoré je staršie ako 30 rokov. Je jednoducho potrebné pochopiť, ako sa to stalo: ako mohla technológia čakať tak dlho a potom spôsobiť výbuch? Pretože potom, čo poznáte históriu kulisy, pochopíte, čo sa teraz s AI deje, a tiež, že možno nebudeme na začiatku revolúcie. Možno sme na konci jedného.
Prechádzka z inštitútu Vector Institute do kancelárie spoločnosti Hinton v spoločnosti Google, kde trávi väčšinu času (v súčasnosti je emeritným profesorom na University of Toronto), je prinajmenšom v lete živou reklamou pre mesto. Je jasné, prečo sa Hinton, pôvodom z Veľkej Británie, sem presťahoval v 80. rokoch po práci na Carnegie Mellon University v Pittsburghu.
Propagačné video:
Možno nie sme na úplnom začiatku revolúcie
Toronto je štvrté najväčšie mesto v Severnej Amerike (po Mexiku, New Yorku a Los Angeles) a je určite rozmanitejšie: viac ako polovica obyvateľov sa narodila mimo Kanady. A môžete to vidieť, keď chodíte po meste. Dav je mnohonárodný. K dispozícii je bezplatná zdravotná starostlivosť a dobré školy, ľudia sú priateľskí, politici sú relatívne ľavicoví a stabilní; To všetko priťahuje ľudí, ako je Hinton, ktorý tvrdí, že opustil Spojené štáty kvôli Irangate (Iran-Contra je hlavným politickým škandálom v Spojených štátoch v druhej polovici osemdesiatych rokov; potom sa zistilo, že niektorí členovia administratívy USA organizovali tajne) dodávka zbraní Iránu, čím sa porušuje zbrojné embargo na túto krajinu). To je miesto, kde sa naša konverzácia začína pred obedom.
"Mnohí si mysleli, že USA by mohli dobre napadnúť Nikaragua," hovorí. „Z nejakého dôvodu verili, že Nikaragua patrí do Spojených štátov.“Hovorí, že nedávno urobil veľký prielom v projekte: „Veľmi dobrý juniorský inžinier so mnou začal pracovať,“žena menom Sarah Sabour. Sabur je Irán a bolo mu zamietnuté vízum na prácu v Spojených štátoch. Kancelária spoločnosti Google v Toronte ju vytiahla.
Hinton má 69 rokov. Má ostrú, tenkú anglickú tvár s tenkými ústami, veľkými ušami a hrdým nosom. Narodil sa vo Wimbledone a v rozhovore pripomína rozprávač detskej knihy o vede: zvedavý, lákavý, snaží sa všetko vysvetliť. Je vtipný a trochu divákom. Zranilo ho to kvôli problémom s chrbtom, takže nemôže lietať a v zubárskej ordinácii si ľahne na zariadenie, ktoré pripomína surfovú dosku.
V osemdesiatych rokoch bol Hinton odborníkom na neurónové siete, veľmi zjednodušeným modelom siete neurónov a synapsií v našich mozgoch. V tom čase sa však pevne dohodlo, že neurónové siete boli pri výskume AI slepou uličkou. Aj keď úplne prvá nervová sieť, Perceptron, bola vyvinutá v 60. rokoch a bola považovaná za prvý krok k strojovej inteligencii na ľudskej úrovni, v roku 1969 Marvin Minsky a Seymour Papert matematicky preukázali, že takéto siete môžu vykonávať iba najjednoduchšie funkcie. Tieto siete mali iba dve vrstvy neurónov: vstupnú vrstvu a výstupnú vrstvu. Siete s veľkým počtom vrstiev medzi vstupnými a výstupnými neurónmi mohli teoreticky vyriešiť celý rad problémov, ale nikto nevedel, ako ich trénovať, takže v praxi boli zbytočné. Kvôli perceptrónom takmer každý opustil myšlienku neurónových sietí s niekoľkými výnimkami.vrátane Hintona.
Hintonov prielom v roku 1986 mal ukázať, že backpropagation dokáže trénovať hlbokú neurónovú sieť s viac ako dvoma alebo tromi vrstvami. Trvalo však ďalších 26 rokov, kým sa zvýšila výpočtová sila. V článku z roku 2012 Hinton a dvaja študenti z Toronta ukázali, že hlboké neurónové siete, trénované s kulisou, prekonali tie najlepšie systémy rozpoznávania obrazu. Hlboké učenie začalo získavať trakciu. Svet sa rozhodol cez noc, že AI prevezme ráno. Pre Hintona to bolo vítané víťazstvo.
Pole skreslenia reality
Neurónová sieť je obvykle znázornená ako sendvič, ktorého vrstvy sú na seba navrstvené. Tieto vrstvy obsahujú umelé neuróny, ktoré sú v podstate malé výpočtové jednotky, ktoré vypaľujú - ako skutočný neurón - a prenášajú toto vzrušenie na ďalšie neuróny, na ktoré sú pripojené. Excitácia neurónu predstavuje číslo, povedzme 0,13 alebo 32,39, ktoré určuje stupeň excitácie neurónu. A na každom spojení medzi dvoma neurónmi existuje ďalšie dôležité číslo, ktoré určuje, koľko excitácie by sa malo preniesť z jedného na druhý. Toto číslo modeluje silu synapsií medzi neurónmi v mozgu. Čím vyššie číslo, tým silnejšie spojenie, čo znamená viac vzrušenia tečie z jedného do druhého.
Jednou z najúspešnejších aplikácií hlbokých neurónových sietí bolo rozpoznávanie obrázkov. Dnes existujú programy, ktoré dokážu rozpoznať, či je na obrázku hot dog. Asi pred desiatimi rokmi boli nemožné. Ak chcete, aby fungovali, musíte najskôr odfotiť. Z dôvodu jednoduchosti povedzme, že ide o čiernobiely obrázok s rozmermi 100 x 100 pixlov. Nakrmíte ju do neurónovej siete nastavením palby každého simulovaného neurónu vo vstupnej vrstve tak, aby sa rovnal jasu každého pixelu. Toto je spodná vrstva sendviča: 10 000 neurónov (100 x 100), ktoré predstavujú jas každého pixelu na obrázku.
Potom spojíte túto veľkú vrstvu neurónov s ďalšou veľkou vrstvou neurónov, ktorá je už vyššia, povedzme, niekoľko tisíc, a zasa zase s ďalšou vrstvou niekoľkých tisíc neurónov, ale menej a tak ďalej. Nakoniec bude vrchná vrstva sendviča - výstupná vrstva - pozostávať z dvoch neurónov - jeden predstavuje hot dog a druhý nie hot dog. Cieľom je trénovať neurónovú sieť tak, aby vystrelila iba prvý z týchto neurónov, ak je na obrázku hot dog, a druhý, ak nie. Backprop, technika backpropagation, na ktorej si Hinton vybudoval svoju kariéru, to len robí.
Backprop je veľmi jednoduchý, aj keď to najlepšie funguje s obrovským množstvom údajov. To je dôvod, prečo sú veľké dáta pre AI také dôležité - prečo sú Facebook a Google takí zanietení a prečo sa Vector Institute rozhodol spojiť so štyrmi najväčšími kanadskými nemocnicami a zdieľať údaje.
V tomto prípade majú údaje formu miliónov obrázkov, niektoré s párkami v rožku, iné bez; trik spočíva v označení týchto obrázkov ako párok v rožku. Keď prvýkrát vytvoríte neurónovú sieť, spojenia medzi neurónmi majú náhodné váhy - náhodné čísla, ktoré hovoria o tom, koľko excitácie sa prenáša cez každé spojenie. Ako keby synapsie mozgu ešte nie sú naladené. Účelom backprop je zmeniť tieto závažia tak, aby sieť fungovala: takže keď vložíte obraz hot dogov do spodnej vrstvy, vystrelí neurón hot-dog v najvyššej vrstve.
Povedzme, že urobíte prvý klavírny tutoriál. Konverzujete intenzitu pixelov obrázka 100 x 100 na 10 000 čísel, jednu pre každý neurón v spodnej vrstve siete. Keď sa vzrušenie šíri sieťou v súlade so silou spojenia neurónov v susedných vrstvách, všetko postupne dosiahne poslednú vrstvu, jeden z dvoch neurónov, ktoré určujú, či je na obrázku hot dog. Pretože toto je obrázok klavíra, neurón hot dog by mal ukazovať nulu a neurón non hot hot dog by mal ukazovať vyššie číslo. Povedzme, že veci nefungujú takto. Povedzme, že sieť sa v obraze mýlila. Backprop je postup na posilnenie sily každého pripojenia v sieti, ktorý vám umožňuje opraviť chybu v danom príklade školenia.
Ako to funguje? Začnete s poslednými dvoma neurónmi a zistíte, aké sú zlé: aký je rozdiel medzi ich počtom paľby a tým, čo by to malo byť. Potom sa pozriete na každé spojenie, ktoré vedie k týmto neurónom - zostupuje po vrstvách - a určíte ich príspevok k chybe. Stále to robíte, kým sa nedostanete k prvej skupine pripojení na samom spodku siete. V tomto okamihu viete, ako jednotlivé pripojenie prispieva k celkovej chybe. Nakoniec zmeníte všetky hmotnosti, aby ste znížili celkovú pravdepodobnosť chyby. Táto takzvaná „technika šírenia chýb“je taká, že chyby typu „back run“sa vracajú späť cez sieť a začínajú sa zozadu.
Neuveriteľné sa stane, keď to urobíte s miliónmi alebo miliardami obrázkov: sieť začne dobre určovať, či je obrázok hot dog alebo nie. A čo je ešte pozoruhodnejšie, je to, že jednotlivé vrstvy týchto sietí na rozpoznávanie obrazov začínajú „vidieť“obrazy rovnako, ako to robí náš vlastný vizuálny systém. To znamená, že prvá vrstva detekuje kontúry - neuróny sú vypálené, keď sú kontúry, a nie sú vypálené, keď nie sú; ďalšia vrstva definuje sady ciest, ako sú rohy; ďalšia vrstva začína rozlišovať formy; ďalšia vrstva nájde všetky druhy prvkov, ako sú „otvorené drdoly“alebo „uzavreté drdoly“, pretože príslušné neuróny sú aktivované. Sieť sa organizuje do hierarchických vrstiev bez toho, aby bola naprogramovaná týmto spôsobom.
Skutočná inteligencia nie je zamieňaná, keď sa problém mierne zmení.
To je to, čo každého tak veľmi ohromilo. Nie je to ani tak, že neurónové siete dokážu klasifikovať obrázky hot dogov: stavajú reprezentácie nápadov. Pri texte sa to stáva ešte zrejmejším. Text Wikipédie, veľa miliárd slov, môžete vložiť do jednoduchej neurónovej siete a naučiť ho, aby každému slovu priradil čísla zodpovedajúce excitáciám každého neurónu vo vrstve. Ak si myslíte, že všetky tieto čísla sú súradnicami v zložitom priestore, nájdete bod, známy v tejto súvislosti ako vektor, pre každé slovo v tomto priestore. Potom trénujete sieť tak, aby slová, ktoré sa objavujú vedľa seba na stránkach Wikipédie, dostali podobné súradnice - a voila, stane sa niečo divné: slová s podobným významom sa objavia vedľa seba v tomto priestore. Budú tam „šialení“a „rozrušení“; „Tri“a „Sedem“. ďalejvektorová aritmetika vám umožňuje odpočítať vektor „Francúzsko“od „Paríža“, pridať ho do „Talianska“a nájsť „Rím“v okolí. Nikto neurónovej sieti nepovedal, že Rím je pre Taliansko rovnako ako Paríž pre Francúzsko.
"Je to úžasné," hovorí Hinton. "Je to šokujúce." Neurónové siete môžu byť vnímané ako pokus brať veci - obrázky, slová, záznamy konverzácií, lekárske údaje - a umiestniť ich, ako hovoria matematici, do viacrozmerného vektorového priestoru, v ktorom blízkosť alebo odľahlosť vecí bude odrážať najdôležitejšie aspekty skutočného sveta. Hinton verí, že to je to, čo mozog robí. „Ak chceš vedieť, čo je to za myšlienku,“hovorí, „môžem ti to povedať niekoľkými slovami. Môžem povedať: „John si myslel, ój.“Ale ak sa pýtate: čo sa myslí? Čo to pre Johna znamená? Koniec koncov, v jeho hlave niet úvodných úvodzoviek, „oops“, záverečných úvodzoviek, vo všeobecnosti neexistuje žiadna taká vec. V hlave sa odohráva nejaká nervová aktivita. ““Veľké obrázky nervovej aktivity, ak ste matematik, je možné zachytiť vo vektorovom priestore,kde aktivita každého neurónu bude zodpovedať číslu a každé číslo bude zodpovedať súradnici veľmi veľkého vektora. Pre Hintona je myšlienka tancom vektorov.
Teraz je jasné, prečo sa to nazývalo Vector Institute?
Hinton vytvára akési pole skreslenia reality, prenáša sa na vás pocit sebavedomia a entuziazmu, čo vnáša presvedčenie, že pre vektory nie je nič nemožné. Koniec koncov, už vytvorili autá s vlastným riadením, počítače na detekciu rakoviny, prekladatelia s okamžitým hovorením.
Až keď opustíte miestnosť, spomeniete si, že tieto hlboké vzdelávacie systémy sú napriek ich demonštračnej sile myslenia stále dosť hlúpe. Zdá sa, že počítač, ktorý vidí na stole hromadu šišiek a automaticky ju označuje ako „hromadu šišiek na stole“, rozumie svetu; ale keď ten istý program vidí dievča, ktoré si čistí zuby a hovorí, že je „chlapec s baseballovou pálkou“, uvedomíte si, aké nepochopiteľné je toto porozumenie.
Neurónové siete sú iba bezduché a nejasné rozpoznávače vzorov a aké užitočné môžu byť také rozpoznávače vzorov - koniec koncov, snažia sa ich integrovať do akéhokoľvek softvéru - sú prinajlepšom obmedzeným druhom inteligencie, ktorý sa ľahko dá oklamať. Ak zmeníte jeden pixel alebo pridáte vizuálny šum, ktorý je pre ľudí neviditeľný, hlboká neurónová sieť, ktorá rozpoznáva obrázky, môže byť úplne zmätená. Takmer často, ako nachádzame nové spôsoby využívania hlbokého vzdelávania, často čelíme jeho obmedzeniam. Autá s vlastným pohonom nemôžu jazdiť v podmienkach, ktoré predtým neboli videné. Stroje nemôžu analyzovať vety, ktoré vyžadujú zdravý rozum a pochopenie toho, ako svet funguje.
Hlboké učenie napodobňuje to, čo sa deje v ľudskom mozgu, ale povrchne - čo možno vysvetľuje, prečo je jeho inteligencia občas tak povrchná. Backprop nebol objavený počas ponorenia do mozgu, ktorý sa pokúšal rozlúštiť samotnú myšlienku; vyrástlo z modelov výučby zvierat pokusom a omylom v staromódnych experimentoch. A väčšina dôležitých krokov, ktoré sa podnikli od svojho založenia, neobsahovala nič nové o neurovede; toto boli technické vylepšenia, ktoré si zaslúžia roky práce matematikov a technikov. To, čo vieme o inteligencii, nie je nič v porovnaní s tým, čo o nej zatiaľ nevieme.
David Duvenaud, odborný asistent na rovnakom oddelení ako Hinton na University of Toronto, hovorí, že hlboké vzdelávanie je podobné inžinierstvu pred zavedením fyziky. "Niekto píše prácu a hovorí:" Tento most som urobil a stojí za to! " Ďalší píše: „Vytvoril som tento most a zbalil sa, ale pridal som podporu a stojí.“A každý sa zbláznil do podpory. Niekto pridá oblúk - a každý je taký: oblúky sú v pohode! S fyzikou môžete skutočne zistiť, čo bude fungovať a prečo. Len nedávno sme sa začali prikláňať k pochopeniu umelej inteligencie. ““
A Hinton sám hovorí: „Väčšina konferencií hovorí o malých zmenách namiesto tvrdého premýšľania a kladenia otázok:„ Prečo nefunguje to, čo robíme teraz? Aký je dôvod tohto? Zamerajme sa na to. “
Je ťažké získať vonkajšiu perspektívu, keď vidíte len pokrok po postupe. Najnovšie pokroky v oblasti AI však boli menej vedecké a inžinierske. Aj keď máme lepšie pochopenie toho, aké zmeny zlepší systémy hlbokého vzdelávania, stále máme nejasnú predstavu o tom, ako tieto systémy fungujú a či sa môžu niekedy spojiť do niečoho tak silného ako ľudská myseľ.
Je dôležité pochopiť, či sme dokázali vyťažiť všetko, čo je v našich silách. Ak áno, potom budeme mať náhornú plošinu vo vývoji umelej inteligencie.
trpezlivosť
Ak chcete vidieť ďalší prielom, niečo ako rámec pre stroje s oveľa flexibilnejšou inteligenciou, mali by ste sa teoreticky obrátiť na výskum podobný výskumu v pozadí v 80. rokoch: keď sa inteligentní ľudia vzdali, pretože ich nápady ešte nefungovali. …
Pred niekoľkými mesiacmi som navštívil Centrum pre myseľ, mozgy a stroje, viacúčelové zariadenie umiestnené na MIT, aby som sledoval, ako môj priateľ Eyal Dechter obhajuje svoju dizertačnú prácu v kognitívnej vede. Pred začiatkom predstavenia ho jeho manželka Amy, jeho pes Ruby a jeho dcéra Suzanne podporovali a priali mu veľa šťastia.
Eyal začal svoju reč s fascinujúcou otázkou: Ako sa to stalo, že Suzanne, ktorá má iba dva roky, sa naučila hovoriť, hrať, sledovať príbehy? Čo je v ľudskom mozgu, ktorý mu umožňuje tak dobre študovať? Naučí sa počítač niekedy učiť sa tak rýchlo a hladko?
Novým fenoménom rozumieme veci, ktorým už rozumieme. Rozdelíme doménu na kúsky a preskúmame ju kúsok po kúsku. Eyal je matematik a programátor, myslí si na úlohy - napríklad na výrobu suflí - ako na komplexné počítačové programy. Ale naučíte sa, ako si vyrobiť suflé zapamätaním stoviek minút programových inštrukcií, ako napríklad „otočte lakte o 30 stupňov, potom sa pozrite na stolovú dosku, potom roztiahnite prst a potom …“. Keby ste to museli robiť v každom novom prípade, učenie by sa stalo neznesiteľným a prestali by ste sa rozvíjať. Namiesto toho v programe vidíme kroky na vysokej úrovni, ako napríklad „poraziť bielych“, ktoré samy o sebe pozostávajú z podprogramov ako „rozbiť vajíčka“a „oddeliť biele od žĺtkov“.
Počítače to nerobia, a preto sa zdajú hlúpe. Ak sa chcete naučiť rozoznať párok v rožku, musíte ho nakŕmiť 40 miliónmi obrazov v rožku. Čo Suzanne rozpoznala v rožku, len jej ukážte. A dlho predtým bude mať pochopenie jazyka, ktorý ide omnoho hlbšie ako uznanie vzhľadu samostatných slov spolu. Na rozdiel od počítača má jej hlava predstavu o tom, ako svet funguje. „Prekvapuje ma, že ľudia sa obávajú, že počítače si vezmú prácu,“hovorí Eyal. „Počítače nebudú môcť nahradiť právnikov, pretože právnici robia niečo ťažké. Ale pretože právnici počúvajú a rozprávajú sa s ľuďmi. V tomto zmysle sme od toho všetkého veľmi vzdialení. ““
Skutočná inteligencia sa nebude zamieňať, ak mierne zmeníte požiadavky na riešenie problému. A Eyalova kľúčová téza spočívala v tom, že v zásade dokázala, ako počítač takto fungovať: živo aplikuje všetko, čo už vie, aby vyriešila nové problémy, rýchlo pochopila za chodu, stala sa expertom v úplne novej oblasti.
V podstate to nazýva algoritmus kompresie prieskumu. Poskytuje počítaču funkciu programátora a vytvára knižnicu opakovane použiteľných modulových komponentov, aby bolo možné vytvárať komplexnejšie programy. Počítač nevie nič o novej doméne a snaží sa o nej štruktúrovať vedomosti, jednoducho ich študuje, konsoliduje to, čo objavil, a ďalej ho študuje ako dieťa.
Jeho poradca, Joshua Tenenbaum, je jedným z najcitovanejších výskumných pracovníkov v oblasti AI. Tenenbaumovo meno prišlo v polovici rozhovorov, ktoré som mal s inými vedcami. Niektorí kľúčoví ľudia v spoločnosti DeepMind - vývojový tím AlphaGo, ktorý legendárny porazil majstra sveta v roku 2016 - pracovali pod ním. Zapája sa do startupov, ktoré sa snažia dať automotorom intuitívne porozumenie základom fyziky a zámerom iných vodičov, aby mohli lepšie predvídať, čo sa deje v situáciách, s ktorými sa predtým nestretli.
Eyalova práca sa v praxi zatiaľ neuplatnila, ani sa nezaviedla do programov. „Problémy, na ktorých Eyal pracuje, sú veľmi, veľmi ťažké,“hovorí Tenenbaum. „Prešlo to veľa generácií.“
Keď sme si sadli na šálku kávy, Tenenbaum povedal, že skúma históriu pozadia pre inšpiráciu. Po celé desaťročia je backprop formou chladnej matematiky, z ktorej väčšina nie je schopná ničoho. Keď sa počítače zrýchlili a technológie sa zhoršili, veci sa zmenili. Dúfa, že sa niečo podobné stane s jeho vlastnou prácou a prácou jeho študentov, ale „môže to trvať ešte niekoľko desaťročí“.
Pre Hintona je presvedčený, že prekonanie obmedzení AI je o vytvorení „mostu medzi počítačovou vedou a biológiou“. Backprop z tohto hľadiska bol triumfom biologicky inšpirovaného počítačového spracovania; nápad pôvodne nepochádzal z inžinierstva, ale z psychológie. Takže teraz sa Hinton pokúša zopakovať tento trik.
Dnes sú neurónové siete tvorené veľkými plochými vrstvami, ale v ľudskej neokorte sa skutočné neuróny usporiadajú nielen horizontálne, ale aj vertikálne v stĺpcoch. Hinton odhaduje, pre čo sú tieto stĺpce určené - napríklad vo videní vám umožňujú rozpoznávať objekty, aj keď zmeníte svoj pohľad. Vytvára tak umelú verziu - a nazýva ich „kapsuly“- aby otestoval túto teóriu. Doposiaľ nič nevyjde: kapsuly výrazne nezlepšili výkon svojich sietí. Ale pred 30 rokmi to bolo rovnaké s kulisou.
"Malo by to fungovať," hovorí o teórii kapsúl a smeje sa svojmu vlastnému bratrovi. „A to, čo ešte nefunguje, je len dočasné podráždenie.“
Na základe materiálov z webu Media.com
Ilja Khel