Vedci z Columbia University (USA) pomocou technológie na skenovanie mozgovej aktivity, umelej inteligencie a syntetizátora reči vytvorili zariadenie schopné prekladať ľudské myšlienky do artikulovanej reči. Výsledky výskumu uverejnené vo vedeckých správach predstavujú dôležitý krok pri zlepšovaní rozhraní mozog-počítač. V budúcnosti môžu tieto zariadenia používať ľudia, ktorí stratili schopnosť hovoriť v dôsledku zranenia alebo choroby.
Pri vývoji zariadenia, ktoré kombinuje schopnosti syntetizátora reči a umelej inteligencie, sa autor štúdie, neurovedec Nima Mesgarani a jeho kolegovia obrátili na najnovší pokrok v technológiách hlbokého strojového učenia a syntézy reči. Výsledkom ich práce je vokodér založený na umelej inteligencii, ktorý dokáže celkom presne interpretovať mozgovú aktivitu priamo zo sluchovej kôry a potom ju prekladať do zrozumiteľnej reči. Autori práce poznamenávajú, že reč sa v tomto prípade javí ako veľmi počítačová, ale ľudia vo väčšine prípadov dokážu rozpoznať slová.
Podľa tvorcov je nové zariadenie používané na reprodukciu výslednej reči založené na rovnakej technológii ako v prípade digitálnych asistentov, ako sú Alexa, Siri a Google Assistant.
Najprv odborníci vyškolili vokodér, aby správne interpretoval činnosť ľudského mozgu. Vedci na tento účel pozvali päť dobrovoľníkov, ktorí sa podrobili liečbe epilepsie, aby sa zúčastnili na experimente. Všetkých päť malo implantované elektródy do sluchovej kôry, aby si prečítali elektroencefalogram.
„Požiadali sme epileptických pacientov, ktorí už podstupujú operáciu mozgu, aby si vypočuli vety, ktoré hovoria iní ľudia. Zároveň sme analyzovali vzorce mozgovej aktivity pacientov. Vokodér bol trénovaný na získané neurónové modely, “vysvetľuje Mesgarani.
Pacienti boli požiadaní, aby si vypočuli nahrávky, v ktorých herci čítajú sekvencie čísiel od 0 do 9. Vedci súčasne zaznamenali signály z mozgu a potom ich prešli cez vokodér, ktorého signály boli opravené neurónovou sieťou, aby sa zlepšila zrozumiteľnosť, ktorá analyzovala zvuky samotného vokodéra, ktorý produkoval zvuky v reakcii na tieto signály. V dôsledku toho bolo možné počuť robotický hlas opakujúci sekvenciu hovorených čísel. Na vyhodnotenie výsledkov vedci pozvali 11 ľudí s vynikajúcim sluchom.
„Ukázalo sa, že ľudia dokážu rozoznať slová asi 75% času, čo je výrazne lepšie ako predchádzajúce pokusy. Citlivý vokodér a silné neurónové siete generovali zvuky, ktoré pacienti počúvali s úžasnou presnosťou, “komentuje Mesgarani.
Propagačné video:
V budúcnosti sa Mesgaraniho tím chystá naučiť neurónovú sieť vyslovovať zložitejšie slová, frázy a dokonca celé vety. Potom chcú vyvinúť implantát, ktorý dokáže premieňať myšlienky osoby na úplnú reč.
„Napríklad, ak si majiteľ implantátu pomyslí:„ Potrebujem pohár vody, “náš systém načíta mozgové signály a prevedie ich na reč. Toto poskytne každému, kto stratil schopnosť hovoriť v dôsledku zranenia alebo choroby, novú príležitosť na komunikáciu s okolitým svetom, “dodáva Mesgarani.
Nikolay Khizhnyak