Oblasť umelej inteligencie sa často porovnáva s ropným priemyslom: raz extrahované a rafinované údaje, ako napríklad ropa, sa môžu stať veľmi výnosnou komoditou. Teraz sa však ukazuje, že táto metafora sa rozširuje. Rovnako ako fosílne palivá, aj hlboké vzdelávanie má obrovský vplyv na životné prostredie. V novej štúdii vedci z University of Massachusetts Amherst hodnotili životný cyklus vzdelávania niekoľkých bežných veľkých modelov AI.
Zistilo sa, že tento proces môže vytvoriť viac ako 626 000 libier (približne 300 000 kg) ekvivalentu oxidu uhličitého, čo je takmer päťnásobok emisií typického automobilu za päť rokov (vrátane výroby samotného automobilu).
Ako sú modely AI trénované
Toto je ohromujúca kvantifikácia toho, čo vedci AI dlho očakávali.
Uhlíková stopa spracovania prírodného jazyka
Propagačné video:
Príspevok sa konkrétne venuje procesu prípravy modelu pre spracovanie prirodzeného jazyka (NLP), podoblasti AI, ktorá sa zaoberá výcvikovými strojmi pre prácu s ľudským jazykom. Za posledné dva roky komunita NLP urobila niekoľko dôležitých míľnikov v oblasti strojového prekladu, dokončovania viet a ďalších štandardných úloh klasifikácie. Nechvalne známy model OpenAI GPT-2 ako príklad uspel v písaní presvedčivých falošných správ.
Takýto pokrok si však vyžadoval výcvik čoraz väčších modelov naťahovaných súborov údajov z viet vytiahnutých z internetu. Tento prístup je výpočtovo nákladný a veľmi energeticky náročný.
Vedci skúmali štyri modely v oblasti zodpovedné za najväčšie skoky vo výkone: Transformer, ELMo, BERT a GPT-2. Každý deň trénovali jeden GPU na meranie spotreby energie.
Potom vypočítali celkovú spotrebu energie počas celého tréningového procesu tak, ako je to uvedené v pôvodných vzorových dokumentoch. Toto množstvo bolo prevedené na ekvivalent kíl oxidu uhličitého, čo bolo v súlade s energetickým mixom AWS od Amazonu, najväčšieho poskytovateľa cloudových služieb na svete.
Zistilo sa, že výpočtové a environmentálne náklady na vzdelávanie sa zvyšovali úmerne k veľkosti modelu a potom sa exponenciálne zvyšovali, keď sa upravila konečná presnosť modelu. Hľadanie neurónovej architektúry, ktorá sa pokúša optimalizovať model postupnou zmenou štruktúry neurónovej siete prostredníctvom pokusov a omylov, spôsobuje mimoriadne vysoké náklady s nízkym prírastkom výkonu. Bez neho najdrahší model BERT zanechal uhlíkovú stopu 1 635 kg (635 kg), blízko transamerického spiatočného letu.
Tieto čísla by sa navyše mali považovať iba za základné hodnoty.
Celkovo vedci odhadujú, že proces vytvárania a testovania konečného modelu hodného publikácie si vyžadoval školenie 4 789 modelov za šesť mesiacov. Z hľadiska ekvivalentu CO2 je to asi 35 000 kg.
Význam týchto čísel je kolosálny, najmä vzhľadom na súčasné trendy vo výskume AI. Vo všeobecnosti výskum AI zanedbáva efektívnosť, pretože veľké neurónové siete sa považujú za užitočné pre rôzne úlohy a spoločnosti s neobmedzenými výpočtovými prostriedkami ich použijú na získanie konkurenčnej výhody.
Ilja Khel