S rozvojom neurónových sietí a technológií strojového učenia sa rozširuje aj rozsah ich aplikácie. Ak sa predchádzajúce neurónové siete použili výlučne na vykonávanie zložitých matematických, lekárskych, fyzikálnych, biologických výpočtov a predpovedí, tieto technológie si v súčasnosti získavajú širokú popularitu v „svetskejšom“prostredí - v oblasti zábavy. Podnikajú iba prvé kroky týmto smerom a sú už schopné preukázať úžasné a niekedy aj vynikajúce výsledky. Dnes budeme analyzovať niekoľko ilustratívnych príkladov.
Proces remasterovania videa je tak komplikovaný a časovo náročný, že by sme nikdy nevideli veľa majstrovských diel svetovej klasiky s novým, moderným, jasným a šťavnatým obrázkom. Svet je však plný inteligentných fanúšikov a nadšencov, ktorí dobre ovládajú nové technológie, najmä neurónové siete a technológie strojového učenia, s ktorými môžete dosiahnuť úžasné výsledky aj doma. Napríklad užívateľ YouTube Stefan Rumen s pseudonymom CaptRobau sa rozhodol demonštrovať niektoré schopnosti neurónových sietí pri spracovaní videí zo starej sci-fi série.
Jeho skoršou prácou je Remako Mod, remake HD klasického a veľmi populárneho japonského RPG Final Fantasy VII. Na tento účel použil algoritmus AI AI Gigapixel, pomocou ktorého dokázal štyrikrát zmeniť mierku pôvodného obrázka a previesť ho na rozlíšenie HD bez výrazných zmien v pôvodnom umeleckom dizajne. Teda, kým budete čakať ďalšie desaťročie až do okamihu, keď japonský vývojár a vydavateľ počítačových hier Square Enix oficiálne vydá remaster jednej z najlepších častí tejto hernej série, môžete skúsiť modifikáciu Stefana Rumena sami stiahnutím z tejto stránky.
Mimochodom, nedávno sa technológie neurónovej siete na prerábanie starých hier a ich uvedenie do relevantnejšieho a modernejšieho vzhľadu bez zmeny všeobecného pôvodného konceptu stali skutočným trendom medzi rôznymi moderátormi. Napríklad nie je to tak dávno, čo sme hovorili o technológii ESRGAN (Enhanced Super Resolution Generative Adversarial Networks), ktorá implementuje technológie škálovania obrazu s dvojnásobným až osemnásobným zvýšením kvality. Algoritmus je „privedený“pôvodný obrázok s nízkym rozlíšením, po ktorom nielenže zvyšuje jeho pôvodné rozlíšenie, ale tiež zlepšuje kvalitu obrazu, maľuje na realistické detaily a robí textúry „prirodzenejšími“.
Porovnanie kvality textúry: vľavo je pôvodná textúra z hry Morrowind, vpravo - spracovaná neurónovou sieťou.
Postava z Doom (zľava bola, vpravo sa stala).
Spracovanie pozadia v Resident Evil 3.
Propagačné video:
Nech už je to tak, v intervaloch medzi remasteringom „siedmeho finále“sa Stefan Rumen rozhodol pre ďalší projekt - použiť rovnakú technológiu strojového učenia, ale tentoraz spracovať rámce klasickej sci-fi série 90. rokov. Rumen si vybral Star Trek: Deep Space Nine ako predmet pre svoje experimenty.
Zmena mierky živého obrazu televízneho seriálu je veľmi zložitá od úpravy mierky vopred vykresleného obrazu Final Fantasy VII, autor poznamenáva, takže konečný výsledok, aj keď vyzerá zreteľne lepšie ako pôvodné materiály s nízkym rozlíšením, je stále ďaleko od ideálu, o ktorom mohli by ste snívať od chvíle, keď sa na trh dostali prvé prehrávače Blu-ray. Na obrazovke sa občas objavia malé „artefakty“. Všeobecne platí, že všetko vyzerá viac ako hodné. Ale všeobecne sa presvedčte sami.
Pre tento projekt použil Rumen algoritmus AI Gigapixel, ktorý bol vyškolený na úpravu obrázkov na základe skutočných fotografií. Autor poznamenáva, že nový obrázok bol získaný v rozlíšení 1080p a 4k, ale keďže Rumen nemá televízor ani monitor s natívnym rozlíšením 4K, nedokáže adekvátne posúdiť verziu 4K.
Bohužiaľ nemôžete sledovať celú sériu v kvalite Full HD. Proces spracovania všetkého východiskového materiálu by trvalo veľmi dlho, takže Rumen použil na demonštráciu iba samostatné snímky z rôznych sérií. Podľa neho vzal tento projekt iba z jedného dôvodu - aby ukázal, že je to skutočne možné. Podľa jeho názoru sa celý tím odborníkov pracujúcich vo veľkej televíznej spoločnosti, ktorí majú k dispozícii vhodnejšie a výkonnejšie počítačové vybavenie pre takúto prácu, bude schopný vyrovnať sa s touto úlohou oveľa lepšie.
Použitie neurónových sietí na zjednodušenie práce pri spracovaní starých snímok z videohier a filmov nie je jedinou oblasťou, kde sú tieto technológie schopné ukázať svoj talent. V modernom svete, kde panoramatické kamery schopné produkovať 360 stupňov, ako aj náhlavné súpravy s virtuálnou realitou, získavajú na popularite, vývojári začali aktívne skúmať potenciál panoramatickej fotografie.
Jedným z posledných vývojov v tomto smere je neurónová sieť schopná znieť panoramatické statické obrazy. Autorom sú odborníci na strojové učenie z University of Massachusetts, Columbia University a George Mason University.
Vytvorený algoritmus určuje typ prostredia a objektov na fotografii a potom vyberie a usporiada zvuky z použitej databázy v súlade s priestorovým výpočtom vzdialenosti od ich zdrojov v tomto obrázku. Vďaka tomu získa panoramatický obraz realistický a priestranný zvuk, ktorý vám umožní vyhodnotiť prezentovaný obrázok úplne novým spôsobom.
Podľa vývojárov tejto neurónovej siete môže táto technológia nájsť záujem medzi vývojármi obsahu VR (filmy a hry). Ten v tomto prípade nebude musieť manuálne prekrývať všetky zvuky na panoramatickom obraze, neurónová sieť bude schopná robiť všetko sama.
Nikolay Khizhnyak