Portál bioRxiv.org pred pár dňami publikoval prácu ruských vedcov z Moskovského inštitútu fyziky a technológie a spoločností Neurobotics and Neuroassistive Technologies, ktorí sa zaoberajú tvorbou rozhraní neurokomputerov. V článku sa uvádza, že vedcom a vývojárom sa podarilo v reálnom čase naučiť algoritmus na rekonštrukciu videa sledovaného osobou pomocou signálov EEG. Znie to skutočne cool a zaujímavo - takmer ako čítanie mysle. V skutočnosti všetko samozrejme nie je také jednoduché: počítače sa nenaučili čítať myšlienky. Stručne povedané, počítač sa zo záznamu EEG naučil určiť, ktorý obraz z piatich rôznych predtým známych tried, ktoré subjekt videl. O tom, ako bol experiment vytvorený, aké úlohy vedci stanovili a prečo je nepravdepodobné, že sa čítanie mysle v blízkej budúcnosti zrealizuje, hovoríme v našom blogu.
Vo všeobecnosti sa myšlienka na čítanie elektrického signálu v mozgu a jeho dešifrovanie, aby ste videli, čo človek v danom okamihu uvažuje alebo robí, vzhľadom na tempo súčasného technologického pokroku, nezdá byť tak zložitá. Tu je signál a tu je to, čo tento signál znamená: pridajte dve a dve, zaškolte klasifikátora a získajte výsledok, ktorý potrebujeme.
Výsledkom je to, čo by futuristi a nevedomí ľudia nazvali „čítaním mysle“. A zdá sa, že takáto technológia sa môže nachádzať v rôznych aplikáciách: od dokonalých rozhraní neurokomputerov, ktoré vám umožňujú ovládať inteligentné protézy, až po vytvorenie systému, ktorý vám nakoniec povie, čo si tam vaša mačka myslí.
V skutočnosti samozrejme nie je všetko také jednoduché a myšlienka vytvorenia takéhoto algoritmu sa takmer okamžite rozpadne na hlavnú prekážku: musíme sa vysporiadať s mozgom. Mozog je veľmi zložitá vec: má viac ako 80 miliárd neurónov a ich vzájomné spojenie je niekoľko tisíc krát väčšie.
Dokonca aj pre laikov je jasné: to je príliš veľa na to, aby sme pochopili, za čo sú zodpovedné všetky bunky a ich agregáty. Vedci zatiaľ nerozlúštili ľudský konektóm - aj keď sa to snažia dosiahnuť s relatívnym úspechom.
Vzniká logická otázka: je vôbec potrebné porozumieť funkciám každého neurónu, aby bolo možné presne vyjadriť, čo sa deje v mozgu? Naozaj nie je napríklad dostatok funkčných máp?
Odpoveď na túto otázku by v skutočnosti mala byť „áno“, ale ani tu to nie je také jednoduché. Keby sa ľudstvo spoliehalo na dekódovanie konektómu ako jediného kľúča k odomknutiu tajomstva mozgu, dnes by sme boli veľmi blízko. Vieme však niečo o tom, ako funguje náš mozog, a samozrejme, môžeme ho úspešne použiť.
Propagačné video:
Jedným z najjasnejších a najzreteľnejších príkladov využívania poznatkov, ktoré vedci zhromažďujú o práci v mozgu, sú samozrejme neurointerfaces. Všeobecne možno povedať, že v súčasnosti existujú technológie, ktoré umožňujú čítanie mozgovej aktivity a jej použitie na kontrolu napríklad kurzora počítačovej myši alebo dokonca pohybov protézy.
Existujú dva spôsoby, ako dosiahnuť efektívnu prevádzku neurálneho rozhrania. Prvou metódou sú evokované potenciály: pozeráme sa na krivku elektrickej aktivity určitých častí mozgu a vyberáme na nej tie zmeny signálu, ktoré, ako vieme, sa objavia v určitom okamihu po predložení stimulu.
Druhým spôsobom nie je vôbec sa spoliehať na stimuláciu, ale využiť predstavivosť osoby na vygenerovanie elektrického signálu, ktorý je možné prečítať. Môže sa napríklad od osoby požadovať, aby si predstavila, ako pohybuje nohou alebo pažou.
Obe metódy majú značné nevýhody. Prvému bráni skutočnosť, že počet spoľahlivo evokovaných potenciálov, o ktorých vieme, nie je taký vysoký: ich počet nemôže presne pokryť všetky možné činnosti, ktoré osoba vykonáva. Nevýhodou druhého je, že na dosiahnutie aspoň určitého účinku je potrebný dlhý výcvik.
Autori predtlače sa rozhodli skombinovať obidva prístupy k vytvoreniu neurokomputerových rozhraní, pričom správne veria, že by to zachránilo obe metódy od významných obmedzení a umožnilo by to vývoj nového a v súčasnosti najúčinnejšieho spôsobu práce s neurointerfaces.
Tiež sa predpokladalo, že táto metóda bude uzavretá (uzavretá slučka), to znamená, že výsledok získaný s jej pomocou bude mať zase vplyv na fungovanie algoritmu. Ale o tom viac neskôr.
Algoritmus hneď na začiatku rozdeľuje všetky obrázky na samostatné znaky komponentov, distribuované vo vektorovom priestore, pomocou ktorých potom môžu korelovať s určitými mozgovými signálmi zaznamenanými pomocou EEG.
V tejto počiatočnej fáze sa používa binárny klasifikátor - zhruba povedané veľmi „dva a dva“: s dostatočne čistým signálom (záznam EEG bol zbavený motorických artefaktov), môžete si vybrať jeden alebo druhý s presnosťou vyššou ako náhodný zásah.
Vedci vo svojich experimentoch použili videá piatich tried objektov: obrázky ľudí, vodopády, abstraktné geometrické tvary, extrémne športy a autá Goldberg. Na jednej strane sa takýto súbor javí čudne, na druhej strane sa zdá, že všetky tieto objekty sa od seba veľmi líšia. Existuje skutočne niečo medzi ľudskými tvárami a abstraktnými geometrickými tvarmi?
Medzitým podľa binárneho klasifikátora sú abstraktné postavy a ľudské tváre navzájom nerozoznateľné: výsledky deviatich zo 17 účastníkov štúdie ukazujú, že neurónové rozhranie zjavne medzi nimi nerozlišuje. Ale Goldbergove stroje a tie isté tváre sa z hľadiska mozgu naopak veľmi líšia.
Výsledky klasifikácie. A - abstraktné tvary, W - vodopády, HF - ľudské tváre, GM - Autá Goldberg, extrémne športy.
Na prvý pohľad nie je celkom jasné, prečo sa to deje: skôr nie je možné odlíšiť tie isté stroje a geometrické tvary. Ak sa pozriete na príklad snímok z použitých videí, všetko sa stane jasnejším.
Vzorové obrázky z piatich tried.
S najväčšou pravdepodobnosťou (samozrejme tu môžeme len predpokladať), úspech klasifikátora závisí od toho, do akej miery sa obrázky použité v týchto dvoch triedach navzájom líšia v niektorých povrchných základných vlastnostiach - predovšetkým farebne. To tiež dobre koreluje so skutočnosťou, že rozmer latentného priestoru v autoenkodéri je 10.
Všeobecne na klasifikáciu obrázkov z piatich tried postačuje rozmer päť, ale v tomto prípade to bude vykonané maximum pomocou farebného histogramu - čo znamená, že rozmer 10 sa príliš nezlepší a vyjasní výsledok.
Nie je celkom jasné, prečo autori nepoužili lineárny klasifikátor pre päť tried namiesto desiatich binárnych klasifikátorov naraz: s najväčšou pravdepodobnosťou by bolo lepšie.
Potom prichádza fáza rekonštrukcie výsledného obrazu. Skutočnosť, že vyjde rozmazaná, je pochopiteľná - bod je v rovnakej dimenzii latentného priestoru. Ale tu sú dve veci zamieňané.
Prvým je, že pôvodné a rekonštruované obrázky sú si navzájom veľmi podobné. Tu, samozrejme, nechcem nikoho rozrušiť (vrátane nás - stále sme v pokroku), ale to nie je spôsobené skutočnosťou, že signál je tak dobre zaznamenaný a dekódovaný (a to aj v reálnom čase!), kvôli tomu, že algoritmus obnovuje presne obrázky, ktoré už mal.
Navyše to nefunguje vždy tak dobre, ako by sme chceli: ak sa napríklad pozriete na video systému, všimnete si, že vo videu s plačiacim mužom z nejakého dôvodu vidí nervové rozhranie žena. Je to z toho dôvodu, že algoritmus nerobí rekonštrukciu snímok, ale predmetov určitej triedy: aj keď to umožňuje dostatočne efektívne, nič nebráni algoritmu v tom, aby videl loď v obraze motocykla - jednoducho preto, že patria do rovnakej triedy.
Preto to, čo sa počas rekonštrukcie zobrazuje na obrazovke, je často iba priemerný obraz všetkých použitých objektov triedy.
Pokiaľ ide o zmysluplnosť používania uzavretého systému, všetko s tým nie je celkom jasné: pri vykonávaní úlohy človek vidí tak záznam EEG signálov, ako aj obraz, ktorý sa postupne vyvíja z jeho hlavy. Či to vlastne pomôže, je ťažké povedať - autori neporovnali výkon rozhrania s zosilnením a bez neho. Ale na prvý pohľad sa zdá, že to tak nie je. Ak to pomôže, naozaj chcem vedieť ako.
Všeobecne možno konštatovať, že počítače sa nenaučili čítať myšlienky. A ani sa nenaučili, ako video znova vytvoriť. Všetko, čo sa naučili na základe práce vedcov, je klasifikovať predmety, ktoré videli, do piatich tried na základe niektorých základných kritérií. Dokázali to počítače už predtým? Samozrejme, že mohli. Je tu mozog? Samozrejme, že je: ale vidí to mozog, nie mozog, ktorý chápe, čo presne videl.
Elizaveta Ivtushok