Nedávno boli neurónové siete prekvapujúce svojimi schopnosťami - mohli ste veriť pred desiatimi rokmi, že počítač dokáže „oživiť“portréty Dostojevského a Marilyn Monroe? Pripravte sa na prekvapenie, pretože vedci na MIT vytvorili neurónovú sieť Speech2Face, ktorá dokáže vykresliť portréty ľudí jednoducho počúvaním ich hlasov. Táto technológia nie je zďaleka ideálna, ale jej schopnosť určiť pohlavie, národnosť a vek osoby je pôsobivá.
Na trénovanie neurónovej siete sa použila súprava AVSpeech s miliónom krátkych videí s tisíckami hovoriacich ľudí. Skladby s videom a zvukom sú oddelené, takže systém dokázal študovať každý druh materiálu čo najpodrobnejšie. V prvej fáze práce algoritmus VGG-Face študoval fragmenty videa a vytvoril na nich portréty ľudí v tvári plných tvár a neutrálnych výrazov. Ďalšia časť algoritmu študovala spektrogram hlasu a na výsledné portréty aplikovala ďalšie zmeny - ako výsledok sa získal približný portrét hovoriacej osoby.
Neurónová sieť na vytváranie hlasových portrétov je už realitou
Ak porovnáte tvár osoby s videom a možnosťou navrhnutou algoritmom, nájdete veľa rozdielov. Vedci však ubezpečujú, že spočiatku nechceli vytvoriť najpodobnejší portrét osoby - na tón a intonáciu ľudského hlasu vplýva mnoho faktorov, takže by ani tak nedostali ideálny výsledok. Neurónová sieť však robí vynikajúcu prácu v tom, čo je dôležité pre výskumných pracovníkov, konkrétne v presnom určovaní pohlavia, národnosti a veku.
Autori práce poznamenali, že v súčasnosti je algoritmus pri určovaní veku slabý, ale môžu zlepšiť presnosť. Zistilo sa tiež, že algoritmus lepšie obnovuje európske a ázijské tváre, ale je to len kvôli tomu, že školiace videá mali nerovnomerný počet tvárí rôznych národností.
Propagačné video:
Prečo potrebujete neurónovú sieť?
Ako môže byť táto technológia v budúcnosti užitočná? Alternatívne s pomocou tejto služby môže byť niekedy vytvorená služba, kde je virtuálny avatar používateľa vytvorený automaticky na základe jeho hlasu. Nová štúdia má tiež veľké vedecké výhody - na základe skúmania údajov vedci dokážu nájsť vzťah medzi vzhľadu človeka a jeho hlasom. Môžete si vypočuť hlasy a pozrieť sa na portréty vytvorené na ich základe na webovej stránke projektu.
Ramis Ganiev