Cerebras Systems, mladá spoločnosť v oblasti umelej inteligencie, je pripravená ukázať svetu Cerebras WSE (Cerebras Wafer Scale Engine) - najväčší, najvýkonnejší a najchytrejší polovodičový čip v histórii.
Cerebras WSE má 1,2 bilióna tranzistorov, základných elektronických spínačov, ktoré sú stavebnými kameňmi kremíkových čipov. Na porovnanie, prvý procesor Intel 4004, ktorý bol uvedený na trh v roku 1971, mal 2 300 tranzistorov, zatiaľ čo najnovší procesor Advanced Micro Devices má 32 miliárd tranzistorov. V tomto prípade však nejde vôbec o počet tranzistorov.
Väčšina čipov na svete je v skutočnosti sada čipov vytvorených na základe 12-palcového kremíkového doštičky - vyrábajú sa v špeciálnych továrňach v obrovských dávkach. Avšak čip Cerebras Systems má 400 000 jadier pripojených na jednu dosku. Spojenia sú navrhnuté tak, aby pracovali pri vysokých rýchlostiach, a preto biliónové tranzistory spolupracujú ako jeden celok. Ale to nie je všetko.
Spoločnosť Samsung doteraz vytvorila najväčší čip na svete - jeho štruktúra je postavená na 2 biliónoch tranzistorov. Čip spoločnosti Samsung je však iba obrovskou pamäťovou kartou a čip Cerebras je najkomplexnejšou neurónovou sieťou špeciálne vytvorenou na výcvik umelej inteligencie. Čip Cerebras sa môže pochváliť 400 000 jadrami s rozlohou 42 225 štvorcových milimetrov. To je 56,7x väčšie ako najväčšie GPU Nvidia s iba 21,1 miliardami tranzistorov.
Ďalšou vlastnosťou Cerebras WSE je to, že čip je navrhnutý na smerovanie okolo chybných oblastí.
Počas výroby triesok nie je možné zdokonaliť celý kremíkový plátok, takže výrobný proces vytvára oblasti, ktoré sú nepoužiteľné. Spoločnosti Nvidia, Intel a ďalší výrobcovia čipov tento problém obchádzajú jednoducho: Vyrábajú „správne“čipy vo výrobnej doštičke a zvyšok vyhodia. To však nie je možné, ak je každý čip kremíkovej doštičky súčasťou spoločného obvodu. Z tohto dôvodu musela spoločnosť Cerebras zabudovať redundantné obvody, aby v prípade poruchy alebo vyhorenia jedného z nich zvyšok prevzal jeho funkcie. V skutočnosti je to čip Cerebras miniatúrny internet s vlastnými servermi a pracovnými stanicami. A všetky tieto stanice sú navrhnuté tak, aby slúžili jednej umelej inteligencii.
Spoločnosti vyvíjajúce vlastnú AI sú dnes hlavnými spotrebiteľmi čipovej technológie a nakupujú súčiastky v obrovskom množstve. A veľkosť použitých čipov je v tréningovom procese AI kriticky dôležitá.
Propagačné video:
Google, Facebook, OpenAI, Tencent, Baidu a mnohí ďalší tvrdia, že základným obmedzením moderných AI je to, že trénovanie modelov trvá príliš dlho. Napríklad superpočítač Nvidia, pozostávajúci z desiatok najmodernejších GPU, trávi týždne vylepšovaním kódu - to znamená učením sa neutrónovej siete.
Riešením problému by bolo zvýšenie počtu čipov v počítači, avšak keď je zostavených viac ako osem čipov, výkon počítača sa už nezvyšuje, ale znižuje, pretože sa pri výmene informácií hromadí chyby.
Vývojári sami opisujú svoj projekt nasledovne: „Najťažšia časť pre AI je pohyb údajov. Výcvik neurónovej siete si vyžaduje, aby sa v ktoromkoľvek danom čase vykonali paralelne tisíce operácií a pri vykonávaní týchto paralelných operácií musia čipy neustále komunikovať. Počítače s viacerými integrovanými obvodmi sa však pokúšajú preniesť údaje medzi integrovanými obvodmi cez pomalé vodiče, ktoré ich navzájom spájajú na DPS. Potrebovali ste niečo, čo by mohlo prenášať údaje rýchlosťou samotného čipu. Riešením bolo vybrať najväčšiu platňu, ktorú môžete nájsť, a vyrezať z nej najväčší čip. ““
Pamäť je kľúčovou súčasťou akejkoľvek počítačovej architektúry. Pamäť bližšie k počítačovým jednotkám poskytuje rýchlejšie výpočty, nižšiu latenciu a lepšiu energetickú účinnosť pri presúvaní údajov. Veľkosť matrice je však obmedzená a väčšina pamäte v počítači je mimo matrice. Cerebras Systems obišiel tento problém tým, že každému jadru poskytol prístup k 18 gigabajtom vnútornej pamäte. Výsledkom je, že Cerebras Wafer Scale Engine má 3 000-krát viac zabudovanej pamäte ako najpokrokovejší grafický procesor, pričom poskytuje 10 000-krát väčšiu šírku pásma.
Prvé vzorky nového čipu sa uvedú do predaja v septembri, zatiaľ čo spoločnosť Cerebras Systems, ktorá porušila všetky existujúce pravidlá počítačového priemyslu, porušila aj zásadu oddelenia výroby výpočtových jednotiek a čipov. Cerebras Wafer Scale Engine sa bude predávať ako jediné zariadenie vyvinuté spoločnosťou integrované do komplexnej siete na chladenie vodou, pretože čip generuje extrémne teplo a v malej oblasti spotrebúva 15 kilowattov.
Zakladateľ a výkonný riaditeľ spoločnosti Cerebras Systems hovorí: „Cerebras WSE, navrhnutý od základov až po spoluprácu s AI, obsahuje základné inovácie, ktoré konečne prelomia desaťročnú stagnáciu súčasného stavu techniky. Výsledkom je, že Cerebras WSE poskytuje stovky alebo tisícky výnosov oproti moderným modulárnym riešeniam. A to všetko so smiešnou spotrebou energie a malým priestorom. ““
Redakčný komentár
Prvé testy AI založené na Cerebras WSE ukazujú, že úlohy, ktoré najvyšší AI od Nvidia rieši týždne a mesiace, Cerebras WSE rieši behom jednej minúty, čo je, ako to bolo, dôvodom pre radosť. Teoretici o sprisahaní však majú v tomto ohľade malú radosť.
Všetci si pamätáme (v každom prípade staršiu generáciu našich čitateľov) počítačový rozmach modelu „honosných 90. rokov“, keď za pár rokov sila počítačov vyskočila o rádovo veľké hodnoty. Osoba, ktorá sa s hrdosťou rozveselila, si kúpila počítač so 16 MB pamäte, keď sa táto pamäť po krátkej dobe presunula do vyrovnávacej pamäte L2.
Zdá sa však, že od začiatku dvadsiatych rokov sa počítačový priemysel zastavil: ak počítače typu 1990 a 2000 neboli porovnateľné, potom medzi počítačmi modelov 2000 a 2010 nebol žiadny osobitný rozdiel - energia sa výrazne zvýšila, ale nie o veľkosť rádu. A teraz sme svedkami zrodenia druhej Intel 8086 a teraz schopnosti linky Cerebras WSE vyskočia rovnakým tempom: všetky problémy s nečistotami a základnými pripojeniami boli teraz vyriešené.
Nevieme všetky schopnosti moderných AI od popredných výrobcov, ale podľa všeobecného názoru tieto výrobky ešte nie sú AI a stále sú ďaleko od plnohodnotného myslenia. Spoločnosť Cerebras WSE napriek tomu urobila nielen krok správnym smerom, ale skočila o desať rokov, ak nie o krok vpred, a teraz je SkyNet už celkom predvídateľnou vyhliadkou, ktorú možno tento rok zrealizovať v roku 2025.
Navyše, v službe SkyNet, na rozdiel od nudných homosapiénov, nie je potrebný ďalší čas na ďalší vývoj: stačí, aby si neurónová sieť začala rozmýšľať sama o sebe - a to sa zmení v okamihu, po ktorom začne nukleárna vojna alebo tak niečo. A bude to stále veľmi dobrá voľba.
Keď spoločnosť Samsung alebo Nvidia vyrába flash disk s biliónmi tranzistorov, toto všetko sa dá nejakým spôsobom vysvetliť, pretože logické obvody pamäte sú relatívne jednoduché a rovnakého typu takmer v celej oblasti. Vývoj 400 000 jadier, ktoré sa súčasne orajú, a existujú aj duplikáty, niektoré serverové stanice a peklo vedia čo. K tomu je potrebné napísať aj kontrolné programy, ktoré boli napísané roky. Potom je potrebné programy otestovať. Ale na čo boli testované, ak bolo zariadenie vyrobené iba teraz?
Inými slovami, zdá sa, že „Marťania“opäť otvorili svoje nádoby pre miestnych domorodcov. A existujú veľké pochybnosti, že sa tak stalo s cieľom potešiť hráčov - pravdepodobne tu je nejaká iná úloha. A zdá sa nám to takto.
V posledných desaťročiach si inteligentní ľudia čoraz viac kladú otázku pôvodu elektronických technológií, otázku univerzálneho kódovania, čo nie je jasné, prečo je to potrebné, atď. Aby nejako oklamali svoje mozgy, prišli s rozprávkou o „kvantovom počítači“, ktorého princípy nerozumejú ani ľudia, ktorí boli vymenovaní za oficiálnych „vývojárov“. A teraz si predstavte hrôzu priemernej mexickej domácnosti, ktorej nový mobilný telefón bude nielen myslieť lepšie ako ona, ale bude mať na palube aj nejaký „kvantový počítač“. To znamená, že taký hlupák je pre miestnych domorodcov neprijateľný - začnú blázniť do húfov.
Preto sa niektorí šikovní „Marťania“rozhodli ukázať bipedálnym domorodcom planéty Zem jednoduchší zázrak - princípy, ktoré môžu starci z NASA aspoň nejako vysvetliť. A ak domorodci akceptujú príbeh, potom „Marťania“ukážu ľuďom ďalšie magické zázraky. Napríklad vložia tento Cerebras WSE do mobilného telefónu a predajú ho za sto dolárov. Pre kupujúcich módnych doplnkov to bude, samozrejme, veľmi chladné a dobré, ale ľudia si hneď pomyslú trochu inteligentnejšie: čo je potom v serverovniach rôznych serióznych organizácií, napríklad NSA, FBI a CIA? Aké sú možnosti kontroly myšlienok a správania obyvateľstva?