Vytvorenie algoritmov pre prácu s obrázkami bolo vždy dosť náročnou, ale sľubnou úlohou. Keď som v roku 1999 ešte písal diplomový projekt, téma „rozpoznávania vzorov“bola v systémoch automatického riadenia a riadenia veľmi dôležitá.
To môžu robiť dnes. Indickí vývojári predstavili systém, ktorý dokáže vytvárať krátke videá z rozmazaných obrázkov. Algoritmus pracuje na základe konvolučných a opakujúcich sa neurónových sietí a umožňuje vám premeniť pohybové artefakty v obrazoch na krátke (až desať snímok) video.
Viac informácií …
Pri prezeraní rozmazaného obrázka môže človek mentálne dokončiť obraz toho, čo sa deje. Napríklad videnie fotografie vtáka s rozmazanými krídlami naznačuje, že rozmazanie obrazu je spôsobené artefaktmi v pohybe krídel počas získavania. Pre systémy počítačového videnia je však táto úloha náročnejšia a väčšina známych metód je zameraná iba na odstránenie pohybových artefaktov a vyhladzovacích rámcov.
Vedci Indického technologického inštitútu pod vedením AN Rajagopalana navrhli, aby sa na vytvorenie celého krátkeho videa mohol použiť jeden rozmazaný obraz: to znamená obnoviť pôvodný pohyb z artefaktov v obraze. Za týmto účelom vyvinuli algoritmus založený na konvolučných neurónových sieťach, ktoré sa aktívne používajú na úlohy súvisiace s automatickým rozpoznávaním obrazu, ako aj na opakujúcich sa neurónových sieťach.
Model je trénovaný na veľkom počte videí, ktoré sú rozdelené do rámčekov. Potom neurónová sieť hľadá taký rámec, artefakty, na ktorých sa najviac zhodujú artefakty rámca tréningových vzoriek. Potom dekodér „obnoví“artefakty vzorkovacej vzorky tréningu do pohybu zachyteného na videu. Model teda ukladá údaje o možných obnovených pohyboch z každého rozmazaného rámca, ktorý je k dispozícii v tréningovej vzorke.
Propagačné video:
Výsledkom práce je, že neurónová sieť produkuje video rekonštruované z rozmazaného obrazu, ktoré pozostáva z desiatich snímok. Vyvinutý algoritmus bude podľa tvorcov schopný ďalej zlepšovať nielen obnovenie rozmazaných snímok, ale aj samotné video.
Odstránenie artefaktov pohybu v jednotlivých rámcoch môže tiež zlepšiť streamovanie videa. Doteraz sa na tento účel používajú hlavne algoritmy na prispôsobenie bitovej rýchlosti v závislosti od rýchlosti videa a jeho vyrovnávacej pamäte.
Elizaveta Ivtushok