Na západnom pobreží Ameriky sa najcennejšie spoločnosti na svete snažia umelo inteligovať. Google a Facebook sa vychvaľujú o experimentoch využívajúcich miliardy fotografií a tisíce vysokovýkonných procesorov. Koncom minulého roka však projekt vo východnej časti Tennessee potichu prekročil rozsah akéhokoľvek firemného laboratória AI. A riadila ho vláda USA.
Superpočítač vlády USA prelomil rekordy
Rekordný projekt zahŕňal najmocnejší superpočítač na svete, Summit, v Národnom laboratóriu Oak Ridge. Toto auto vyhralo korunu minulý rok v júni a titul vrátilo Spojeným štátom o päť rokov neskôr, keď Čína obsadila zoznam. Ako súčasť projektu výskumu podnebia, obrovský počítač spustil experiment strojového učenia, ktorý bol rýchlejší ako kedykoľvek predtým.
Na samite, ktorý pokrýval oblasť zodpovedajúcu dvom tenisovým kurtom, sa v tomto projekte použilo viac ako 27 000 výkonných GPU. Využil ich silu na trénovanie algoritmov hlbokého učenia, čo je technológia, ktorá podporuje pokročilú umelú inteligenciu. Pri hlbokom učení algoritmy vykonávajú cvičenia pri miliárd miliárd operácií za sekundu, ktoré sú v superpočítačových kruhoch známe ako exaflop.
„Hlboké vzdelávanie ešte nikdy nedosiahlo túto úroveň výkonnosti,“hovorí Prabhat, vedúci výskumného tímu v Národnom výskumnom stredisku pre energiu v Národnom laboratóriu Lawrence Berkeley. Jeho tím spolupracoval s výskumníkmi v centrále Summitu v Národnom laboratóriu Oak Ridge.
Ako asi viete, školenie AI najvýkonnejšieho počítača na svete sa zameralo na jednu z najväčších výziev na svete - zmenu podnebia. Technické spoločnosti trénujú algoritmy na rozpoznávanie tvárí alebo dopravných značiek; vládni vedci ich vyškolili, aby rozpoznali modely počasia, ako sú cyklóny, z klimatických modelov, ktoré komprimujú sté výročné prognózy zemskej atmosféry na tri hodiny. (Nie je však jasné, koľko energie tento projekt potrebuje a koľko uhlíka sa v tomto procese uvoľní do ovzdušia).
Propagačné video:
Experiment summitu má dôsledky pre budúcnosť umelej inteligencie a klimatológie. Projekt demonštruje vedecký potenciál adaptácie hlbokého učenia na superpočítače, ktoré tradične simulujú fyzikálne a chemické procesy, ako sú jadrové výbuchy, čierne diery alebo nové materiály. To tiež ukazuje, že strojové učenie môže mať úžitok z väčšieho výpočtového výkonu - ak ho nájdete - a môže priniesť prielom v budúcnosti.
„Nevedeli sme, že sa to dá urobiť v takomto rozsahu, kým to neurobíme,“hovorí Rajat Monga, CTO v spoločnosti Google. Spolu s ďalšími zamestnancami spoločnosti Google pomohli projektu tým, že prispôsobili softvér spoločnosti TensorFlow pre strojové učenie s otvoreným zdrojom pre obrovskú škálu Summitu.
Veľa práce na škálovaní hlbokého učenia sa vykonalo v dátových centrách internetových spoločností, kde servery spolupracujú na problémoch a oddeľujú ich, pretože sú pomerne rozptýlené a nie sú zoskupené do jedného obrovského počítača. Superpočítače, ako je Summit, majú odlišnú architektúru a špecializované vysokorýchlostné pripojenia spájajú ich tisíce procesorov do jedného systému, ktorý môže pracovať ako celok. Až donedávna sa venovalo pomerne málo práce prispôsobovaniu strojového učenia tak, aby pracovalo s týmto druhom hardvéru.
Monga tvrdí, že práca na prispôsobení škály TensorFlow summitu tiež podporí úsilie spoločnosti Google rozšíriť svoje interné systémy umelej inteligencie. Na tomto projekte sa zúčastnili aj technici spoločnosti Nvidia, pričom sa uistili, že v tomto stroji pracujú desiatky tisíc GPU Nvidia bez problémov.
Pri súčasnom vývoji technológie bolo dôležité nájsť spôsoby, ako využiť väčší výpočtový výkon v algoritmoch hlbokého učenia. Rovnaká technológia, ktorú používa Siri na rozpoznávanie hlasu a autá Waymo na čítanie dopravných značiek, sa stala užitočnou v roku 2012 po tom, čo ju vedci prispôsobili tak, aby bežali na GPU Nvidia.
V analýze uverejnenej v máji vedci z OpenAI, výskumného ústavu v San Franciscu, ktorý založil Elon Musk, odhadli, že objem výpočtovej sily v najväčších pokusoch o verejné strojové učenie sa od roku 2012 zhruba zdvojnásobil každých 3,43 mesiacov; To by predstavovalo 11-násobné zvýšenie za rok. Tento postup pomohol botu Abeceda poraziť majstrov v náročných doskových a videohrách a tiež významne zlepšil presnosť prekladača Google.
Spoločnosť Google a ďalšie spoločnosti v súčasnosti vytvárajú nové druhy čipov s povolenou AI, aby pokračovali v tomto trende. Google hovorí, že moduly s tisíckami jeho čipov AI s úzkou vzdialenosťou - duplikované tenzorové procesory alebo TPU - môžu poskytnúť 100 petaflop spracovateľského výkonu, jednu desatinu rýchlosti dosiahnutej Summitom.
Príspevky summitu k vede o klíme ukazujú, ako obrovská inteligencia môže zlepšiť naše chápanie budúcich poveternostných podmienok. Keď vedci vytvárajú storočné predpovede počasia, čítanie výslednej predpovede bude náročné. „Predstavte si, že máte film YouTube, ktorý beží už 100 rokov. V tomto filme nie je možné manuálne nájsť všetky mačky a psy, “hovorí Prabhat. Softvér sa obvykle používa na automatizáciu tohto procesu, ale nie je dokonalý. Výsledky summitu ukázali, že strojové učenie to môže robiť omnoho lepšie, čo by malo pomôcť predpovedať búrky, ako sú povodne.
Podľa Michaela Pritcharda, profesora na kalifornskej univerzite v Irvine, spustenie hlbokého vzdelávania o superpočítačoch je relatívne nová myšlienka, ktorá prišla vo vhodnom čase pre výskumných pracovníkov v oblasti klímy. Spomalenie vývoja tradičných procesorov viedlo inžinierov k vybaveniu superpočítačov rastúcim počtom grafických čipov, aby sa zlepšil výkon konzistentnejšie. „Nastal čas, keď už nemôžete zvyčajným spôsobom zvyšovať výkon spracovania,“hovorí Pritchard.
Tento posun priniesol zastavenie tradičného modelovania, a preto sa musel prispôsobiť. To tiež otvára dvere na využitie sily hlbokého učenia, ktoré sa prirodzene požičiava grafickým čipom. Možno získame jasnejší obraz o budúcnosti našej klímy.
Ilja Khel