Vedci z IBM, MIT, Harvard a DeepMind predložili vedci z IBM, MIT, Harvard a DeepMind 17. mája správy Hybrid Artificial Intelligence (ďalej len „AI“) a nový súbor údajov a referenčných kritérií na hodnotenie schopností algoritmov AI pri zdôvodňovaní činností obsiahnutých vo video informáciách.
Nový súbor údajov a výskumné prostredie predstavené na konferencii ICLR 2020 sa nazýva CoLlision Events for Video Reprezentácia a zdôvodnenie videa alebo CLEVRER. Sú založené na vizuálnej otázke a odpovedi CLEVR vyvinutej na Stanfordskej univerzite v roku 2017. CLEVR je skupina úloh predstavujúcich statické obrazy pevných objektov. Agent AI musí byť schopný analyzovať scénu a odpovedať na niekoľko otázok týkajúcich sa počtu objektov, ich atribútov a priestorových vzťahov.
Ako riešenie zložitej úlohy klasickej umelej inteligencie predstavili vedci model neuros symbolického dynamického myslenia, kombinácie neurónových sietí a symbolickej umelej inteligencie.
Výsledky ukázali, že začlenenie neurónových sietí a symbolických programov do jedného modelu AI môže kombinovať ich silné stránky a prekonať ich slabosti. „Symbolická reprezentácia poskytuje silný spoločný rámec pre víziu, jazyk, dynamiku a kauzalitu,“poznamenávajú autori a dodáva, že symbolické programy umožňujú modelu „jasne zachytiť kompozičnosť, ktorá je základom kauzálnej štruktúry videa, a logiku otázky“.
Výhody takýchto systémov sú obmedzené bezpodmienečnými nevýhodami. Dáta použité na trénovanie modelu vyžadujú ďalšie anotácie, ktoré môžu byť príliš náročné na energiu a drahé v aplikáciách v reálnom svete.