Najväčšie ponaučenie zo 70 rokov výskumu AI je, že všeobecné metódy, ktoré používajú výpočet, sú v konečnom dôsledku najúčinnejšie - a so širokým rozpätím. Konečným dôvodom je Mooreov zákon. Alebo skôr jeho zovšeobecnenie: pokračujúce exponenciálne znižovanie nákladov na počítačové procesory. Túto „horkú lekciu“zdieľal Richard Sutton, kanadský počítačový vedec. Ďalej - od prvej osoby.
Prečo bol výskum umelej inteligencie zastavený už 70 rokov?
Väčšina výskumov umelej inteligencie sa uskutočňovala tak, akoby výpočty dostupné agentovi boli trvalé (av tomto prípade by využitie ľudských vedomostí bolo jedným z jediných spôsobov, ako zlepšiť výkonnosť). Ale postupom času - oveľa viac, ako potrebuje typický výskumný projekt - je nevyhnutne k dispozícii oveľa viac výpočtov. Pri hľadaní vylepšení, ktoré môžu krátkodobo pomôcť, sa vedci snažia maximalizovať ľudské vedomosti v tejto oblasti, ale z dlhodobého hľadiska je dôležitá iba rastúca miera využívania výpočtovej techniky. Tieto dva aspekty by nemali byť proti sebe, ale v praxi to tak je. Čas strávený na jednom z nich sa nerovná času strávenému na druhom. Existujú psychologické povinnosti investovať do jedného alebo druhého prístupu. A prístup založený na ľudských znalostiach má sklon komplikovať metódy takým spôsobom, že sa stávajú menej vhodnými na využitie výhod všeobecných metód, ktoré používajú výpočet.
Existuje veľa príkladov výskumníkov AI oneskorene chápajúcich túto horkú lekciu. Bude poučné zvážiť niektoré z najvýznamnejších príkladov.
V počítačovom šachu boli metódy, ktoré v roku 1997 porazili majstra sveta Kasparova, založené na rozsiahlom a hlbokom hľadaní. V tom čase ich väčšina vedcov počítačových šachov považovala za zdesenie, ktorí použili metódy založené na ľudskom chápaní špecifickej štruktúry šachu. Keď sa ukázalo, že jednoduchší prístup založený na vyhľadávaní so špecializovaným hardvérom a softvérom je oveľa efektívnejší, vedci, ktorí stavajú na ľudskom chápaní šachu, nepriznali porážku. Povedali: „Tentoraz sa síce podarí získať prístup s hrubou silou, ale nestane sa tak celkovou stratégiou a určite tak nebudú hrať šach. Títo vedci chceli, aby zvíťazili ľudské metódy a boli veľmi sklamaní, keď to tak nebolo.
Propagačné video:
Podobný obraz o pokroku vo výskume bol zaznamenaný pri počítačoch, iba s oneskorením ďalších 20 rokov. Spočiatku sa vynaložilo veľké úsilie, aby sa vyhlo vyhľadávaniu pomocou ľudských vedomostí alebo hrateľnosti, ale všetky tieto snahy boli zbytočné alebo dokonca horšie, keď sa vyhľadávanie účinne a vo veľkom rozsahu použilo. Bolo tiež dôležité používať učenie v procese nezávislej hry, aby sme sa naučili hodnotovú funkciu (ako to bolo v mnohých iných hrách, dokonca aj v šachu, iba učenie nehrálo veľkú úlohu v programe z roku 1997, ktorý prvýkrát porazil majstra sveta). Naučiť sa hrať so sebou samým, učiť sa ako celok, je ako hľadanie, ktoré vám umožňuje aplikovať obrovské polia výpočtov. Vyhľadávanie a učenie sú dve najdôležitejšie triedy techník, ktoré zahŕňajú obrovské množstvo výpočtov vo výskume AI. V počítači choďteRovnako ako v počítačovom šachu, počiatočné snahy výskumných pracovníkov boli zamerané na využitie ľudského porozumenia (aby sa dosiahlo menej hľadania) a oveľa viac úspechu sa dosiahlo až oveľa neskôr pomocou hľadania a učenia.
V oblasti rozpoznávania reči sa v 70. rokoch 20. storočia konala súťaž sponzorovaná DARPA. Účastníci predstavili rôzne metódy, ktoré využili ľudské vedomosti - znalosť slov alebo fonémov, ľudský hlasový trakt atď. Na druhej strane barikády boli novšie metódy, štatistickej povahy a robiace viac výpočtov, založené na skrytých Markovových modeloch (HMM). Štatistické metódy opäť vyhrali nad metódami založenými na znalostiach. To viedlo k zásadným zmenám vo všetkých procesoch spracovania prirodzeného jazyka, ktoré sa postupne zavádzali v priebehu desaťročí, až kým nakoniec nezačali dominovať štatistiky a výpočty. Posledný nárast hlbokého učenia v rozpoznávaní reči je posledným krokom týmto konzistentným smerom. Hlboké vzdelávanie sa ešte menej spolieha na ľudské vedomosti a používa ešte viac výpočtov, spolu s výcvikom na obrovských súboroch vzoriek a vytvára úžasné systémy rozpoznávania reči.
Richard Sutton, kanadský počítačový vedec.
Podobne ako v prípade hier sa vedci vždy snažili vytvoriť systémy, ktoré budú fungovať tak, ako si predstavovali vo svojich hlavách - snažili sa tieto vedomosti vložiť do svojich systémov - ale všetko vyšlo veľmi neproduktívne, vedci strácali čas, zatiaľ čo - vďaka Mooreovmu zákonu - K dispozícii bolo stále viac a viac výpočtov a našli vynikajúce aplikácie.
Podobný obrázok bol v oblasti počítačového videnia. Prvé metódy boli vnímané ako hľadanie určitých obrysov, zovšeobecnené valce alebo využitie schopností SIFT (zmena rozmerov invariantná v mierke). Ale dnes to všetko bolo hodené do pece. Moderné neurónové siete s hlbokým učením využívajú iba koncept konvolúcie a určitých invariantov a fungujú omnoho lepšie.
Toto je veľká lekcia.
Kamkoľvek sa pozrieme, všade robíme rovnaké chyby. Aby ste to mohli vidieť a účinne sa s tým vysporiadať, musíte pochopiť, prečo sú tieto chyby také atraktívne. Musíme sa naučiť horkú lekciu, ktorá stavia, ako si myslíme z toho, ako si myslíme, že z dlhodobého hľadiska nebude fungovať. Horká lekcia založená na historických pozorovaniach ukazuje, že: 1) Výskumníci umelej inteligencie sa často snažili zabudovať znalosti do svojich agentov; 2) vždy to krátkodobo pomohlo a prinieslo vedcom spokojnosť; 3) ale z dlhodobého hľadiska sa všetko zastavilo a bránilo ďalšiemu pokroku; 4) prerušujúci pokrok nevyhnutne prišiel s opačným prístupom založeným na výpočte mierky pomocou vyhľadávania a učenia. Úspech mal horkú chuť a často nebol úplne absorbovaný.pretože je to úspech výpočtovej techniky, nie úspech prístupov zameraných na človeka.
Jedna vec, ktorú si z tejto trpkej lekcie môžeme vziať, je obrovská sila metód na všeobecné použitie, metód, ktoré sa naďalej rozširujú s rastom výpočtov, aj keď sú dostupné výpočty veľmi veľké. Vyhľadávať a učiť sa sú dve metódy, ktoré sa zdajú byť svojvoľne v mierke.
Druhou vecou, ktorú si treba vziať z tejto trpkej lekcie, je, že skutočný obsah mysle je mimoriadne a zbytočne zložitý; mali by sme prestať hľadať jednoduché spôsoby, ako dať zmysel obsahu mysle, podobne ako jednoduché spôsoby, ako dať zmysel pre priestor, objekty, viacerých agentov alebo symetrie. Všetky sú súčasťou ľubovoľne zložitého vonkajšieho sveta. Nemali by sme sa ich snažiť stavať, pretože ich zložitosť je nekonečná; mali by sme stavať na meta-metódach, ktoré dokážu nájsť a zachytiť túto svojvoľnú zložitosť. Tieto metódy dokážu nájsť dobré aproximácie, ale ich hľadanie by sa malo vykonávať našimi metódami, nie nami. Potrebujeme agentov AI, ktorí dokážu objaviť to isté, čo vieme a neobsahujú to, čo sme objavili. Stavať na našich objektoch komplikuje proces objavovania a vyhľadávania.
Ilja Khel