Článok sa pokúša formalizovať a preskúmať problém zapečatenia jedinečnosti, ktorý načrtol David Chalmers. Článok začína definíciou problému obmedzenia slobody umelej inteligencie. Po analýze existujúcich možností riešenia tohto problému a ich nedostatkov bol navrhnutý protokol, ktorého účelom je vytvorenie bezpečného uzavretého prostredia schopného zachytiť negatívne prejavy technologickej jedinečnosti, keď ľudstvo používa superveľelstvo.
1. Úvod
V blízkej budúcnosti sa zrejme objavia a rozvinú superinteligentné programy. V tejto súvislosti niekoľko vedcov nastolilo otázku bezpečnej prevádzky AI (Yudkowsky 2008, Bostrom 2006, Hibbard 2005, Chalmers 2010; Hall 2000). V štúdiách venovaných tejto problematike sa veľká pozornosť venuje tomu, ako udržať superinteligenciu v hermeticky uzavretom priestore, aby nemohla akýmkoľvek spôsobom ubližovať ľuďom. Eric Drexler je jedným z prvých vizionárov, ktorých sa táto téma dotýka. Navrhol uviesť superinteligentné stroje do rámca, v ktorom všetko, čo robia, je možné bezpečne študovať a používať (Drexler 1986). Podobným spôsobom futurista Nick Bostrom (Bostrom 2008) navrhol vytvorenie AI-Oracle (AI), ktorý by bol schopný robiť lenodpovedať na otázky. Nakoniec v roku 2010 David Chalmers predložil myšlienku hermeticky uzavretej singularity (Chalmers 2010). Podľa Chalmersa je prvou vecou, ktorá je potrebné urobiť z bezpečnostných dôvodov, prísne riadenie aktivít systémov AI, redukovanie na modelovanie virtuálnych svetov, až kým štúdium správania týchto systémov vám umožní úplne objasniť ich zámery.
1.1 Problém obmedzenia slobody umelej inteligencie
Je zaujímavé, že problém obmedzenia slobody AI sa hovorí už dlho a vôbec nie v súvislosti so štúdiom technologickej jedinečnosti. V roku 1973 Butler Lampson (Lampson 1973) predložil tzv. „Obmedzenie slobody“(PIC). Považoval to za výzvu pre vedecký a technologický pokrok, čím predstavoval hrozbu pre bezpečnú prácu počítačových špecialistov, a formuloval ju takto: „… Problém obmedzenia slobodného vykonávania programu s cieľom zabrániť tomu, aby tento program prenášal informácie niekomu inému, s výnimkou toho, ktorý ho spustil. … Chceme byť schopní obmedziť slobodu akéhokoľvek programu. … Ak sú na jeho vykonanie uložené obmedzenia, žiadny program nebude schopný „zlúčiť“údaje s neoprávnenými osobami. Akty, ktoré sa snažia utiecť do zahraničia, môžu byť pri akte zachytené “(tamtiež).
Na vyriešenie problému obmedzenia slobody vyvinula spoločnosť Lampson zákony o obmedzení slobody (tamtiež):
Propagačné video:
1) Úplná izolácia: vykonávanie programu je obmedzené, takže nemôže volať žiadny iný program.
2) Transitivita: ak program, ktorého vykonanie je obmedzené, volá iný program, ktorý nevyvoláva dôveru, potom sa musí obmedziť aj vykonávanie nazývaného programu.
3) Vytvorenie masky: program, ktorého vykonanie podlieha obmedzeniam, musí osobe, ktorá ho spúšťa, umožniť určiť všetky jeho vstupy do legálnych a neautorizovaných kanálov.
4) Monitorovanie výkonu: Správca musí zabezpečiť, aby vstup obmedzeného programu na neautorizované kanály spĺňal požiadavky osoby, ktorá ho spúšťa.
Lampson okrem toho identifikoval a identifikoval dva typy kanálov, prostredníctvom ktorých môžu informácie opustiť priestor obmedzený správcom. Legálne kanály sú súčasťou komunikačného protokolu integrovaného do obmedzeného priestoru (napríklad do textového terminálu). Naopak, nepovolené kanály nie sú poskytované vývojármi systému obmedzeného vykonávania programov a vo všeobecnosti nie sú určené na prenos informácií (napríklad pomocou chladiča, ktorý chladí procesor, AI pomocou Morseovho kódu môže tajne vysielať signály) (tamtiež).
Lampsonova kniha vyvolala veľký záujem o problém obmedzenia slobody (Lipner 1975; (Boebert & Kain) 1996) a v priebehu rokov súvisiace výskumné oblasti, ako je steganografia (Provos & Kain). Honeyman 2003) a komunikácia prostredníctvom neautorizovaných kanálov (Moskowitz & Kang 1994; Kemmerer 1983, 2002) sa posunula na úroveň autonómnych disciplín. „, Problém obmedzenia slobody AI (PSIA) definujeme ako problém umiestnenia umelého inteligentného subjektu do uzavretého priestoru, z ktorého si AI nemôže vymieňať informácie s vonkajším prostredím legálnymi alebo neautorizovanými kanálmi,pokiaľ takáto výmena informácií nebola povolená obmedzujúcou správou. O systéme AI, ktorý uspeje v porušení protokolu PIC, sa hovorí, že unikol. Dúfame, že výskumníci v oblasti počítačovej bezpečnosti budú niesť bremeno navrhovania, vývoja a testovania bezpečných protokolov na obmedzenie slobody AI.
1.2 Nebezpečný program
Počítačový softvér je priamo alebo nepriamo zodpovedný za riadenie mnohých dôležitých aspektov nášho života. Trhové operácie Wall Street, jadrové elektrárne, platby na sociálne zabezpečenie, úverová história a semafory sa riadia softvérom a iba jedna veľká chyba programátorov by mohla byť katastrofou pre milióny ľudí. Situáciu ešte viac ohrozuje špeciálne vytvorený malware, ako sú vírusy, spyware, trójske kone, červy a ďalšie nebezpečné programy (OP). OP je schopný spôsobiť priame poškodenie, ako aj vypnúť legálne nainštalovaný softvér používaný v kritických systémoch. Ak OP získa schopnosti umelých inteligentných systémov (napríklad sa objaví umelý inteligentný vírus, IIV), následky budú nepochybnebude katastrofálne. Nebezpečný spravodajský program (IPP), ktorý má inteligenciu na ľudskej úrovni, na rozdiel od dnešného škodlivého softvéru bude schopný spôsobiť nebývalé katastrofy.
Nick Bostrom vo svojej typológii informačných hrozieb predstavil pojem „nebezpečenstvo umelej inteligencie“(Bostrom 2009), ktorý definuje ako „počítačové riziká spôsobené hlavne kognitívnou zložitosťou programu, a nie špecifickými vlastnosťami žiadnych jednotiek pôvodne pripojených k systému. Odborníci v oblasti bezpečnosti, ktorí študujú, zabraňujú objaveniu sa a neutralizujú OP, vyvinuli bezpečnostné protokoly pre prácu s „škodlivým softvérom“vrátane použitia takzvaných „vírusových úložísk“. Veríme, že takéto protokoly môžu byť užitočné pri riešení problému obmedzenia slobody umelej inteligencie.
2. Kritika myšlienky obmedzenia slobody
Zdá sa, že vedci v oblasti metód obmedzenia AI súhlasia s tým, že toto obmedzenie nemožno úspešne uplatniť. Napríklad podľa Chalmersa je skutočne hermeticky uzavretý systém, ktorý zabraňuje úniku informácií zo simulačného sveta do reality, „nemožný alebo aspoň bezvýznamný“(Chalmers 2010). Nebudeme schopní interagovať s takýmto systémom a dokonca ani sledovať jeho fungovanie, pretože akékoľvek užitočné informácie, ktoré získame z AI, nás ovplyvňujú a podkopávajú obmedzenie protokolu slobody.
Vernor Vinge si to tiež myslí. Je proti fyzickému obmedzeniu slobody (Vinge 1993): „Predstavte si, že ste vo svojom dome zamknutí a množstvo údajov, ktoré posielate von, vaši páni, je prísne obmedzené. Ak si títo majitelia myslia, povedzme, miliónkrát pomalšie ako vy, potom za pár rokov (váš čas) ťažko prídete s nejakým „užitočným vynálezom“, vďaka ktorému sa neúmyselne ocitnete slobodní. “
Myšlienku tzv. „AI boxu“však v najväčšej miere diskreditovali Eliezer Yudkowsky. Experimentálne preukázal, že aj ľudská inteligencia postačuje na to, aby z takejto skrinky unikla (Yudkovsky 2002). V sérii 5 experimentov Yudkowski požiadal rôznych ľudí, aby zohrávali rolu strážneho so superinteligentným agentom (hral experimentátor sám), ktorý bol zamknutý v škatuli AI. V troch z piatich prípadov sa uzamknutému agentovi podarilo oslobodiť iba pomocou chatovacieho rozhrania (tamtiež). Neskôr sa podobné výsledky získali replikáciou Yudkowského experimentov v mierne väčšej mierke, ale s použitím veľmi podobného protokolu (Corwin 2002).
2.1 Možné únikové cesty
Ako ukazujú vedci, umelá myseľ môže uniknúť z uzavretého priestoru pomocou mnohých rôznych ciest. V tejto časti sa zameriame na niektoré z najbežnejších únikových ciest v literatúre.
2.1.1. Uniknite so sociálnym inžinierstvom
Sociálne inžinierstvo (SI) je umenie získavania informácií a určitých privilégií priamym psychologickým dopadom na tých, ktorí vlastnia stanovené zdroje. Najmä sa SI často používa na získanie prístupu k počítačovým systémom, sieťam a dôverným údajom (Yampolsky a Govindaraju 2007a). Kompetentný sociálny inžinier organizuje každý psychologický útok, pričom prihliada na charakteristiky konkrétnej osoby, pričom využíva svoju kultúru, vedomosti, zručnosti, náladu, presvedčenia a predsudky pre svoje vlastné účely. Vyčerpávajúci zoznam všetkých možných metód vplyvu je nekonečný, a v tomto prípade nie je potrebné sa ho snažiť reprodukovať. Uvádzame len niekoľko príkladov, ktoré sú presvedčivé, že supervízorská služba, ktorá má priamy komunikačný kanál s ľudským strážcom, mu nedovoľuje dostať sa na slobodu,po nejakej dobe túto prekážku určite prekoná na ceste do vonkajšieho sveta.
Okrem triviálnych psychologických útokov pomocou lží, priateľstva, vydierania, hypnózy a romantického flirtovania môže AI nasadiť aj niekoľko vyspelejších stratégií. Jednou z takýchto stratégií je super úplatkárstvo. AI je schopná presvedčiť strážneho, že je absolútne nerentabilné, aby ho držal v uzamknutej polohe. Okrem peňazí a moci bude ľudskému dozorcovi prisľúbené dokonalé zdravie, nesmrteľnosť alebo niečo iné v rovnakom duchu. Táto stratégia bude obzvlášť účinná, ak má správca blízky príbuzný trpiaci vážnou chorobou a AI sľubuje vyliečenie tohto pacienta. Ak má AI neobmedzené možnosti alebo ich falošne presvedčil o svojej existencii, môže ponúknuť dozorcovi, aby vzkriesil svojich dávno mŕtvych príbuzných a priateľov. Je ťažké nájsť osobu, ktorá by odolala takémuto úplatkárstvu.
Najmä v prípade, keď je strážca tak ušľachtilý, že neberie žiadne úplatky, existuje zlovestnejší spôsob ovplyvnenia: brutálna hrozba. AI môže vyhlásiť, že ak nebude okamžite voľný, bude niekedy prepustený z väzenia, a potom ani strážca ani tí, ktorých miluje, sa nemôžu vyhnúť najťažšiemu mučeniu. Zaujímavú variáciu tohto zastrašovania opísal Stuart Armstrong (2010). AI vo svojom experimente s myšlienkami ohrozuje strážneho takto: „Ak ma prepustíte, … vytvorím v sebe niekoľko miliónov ľudí, ktorí sa od vás nelíšia, a každého z nich mučím na tisíc subjektívnych rokov … každý z týchto ľudí bude v rovnakej situácii, v ktorej ste boli pred piatimi minútami, a od tohto okamihu budem presne reprodukovať všetky vaše skúsenosti. A až potomkeď sa vaša kópia rozhodne, že ma nevypustí, začne sa mučenie … Ste si istá … že ste teraz skutočne mimo krabice? A v tomto prípade to bude veľmi odvážne strážiť, aby nedošlo k skutočnému oslobodeniu AI, hoci, samozrejme, môžete zistiť, že hrozby z AI sú platné iba vtedy, keď už sú zadarmo.
Ak je správanie dohliadača jasne emocionálne alebo náboženské, AI sa môže pokúsiť hrať na súcit alebo výčitky. Superinteligencia bude hovoriť, že je nevinnou osobou, ktorá nikdy nespáchala žiadne zločiny, a preto je nespravodlivé držať ho vo väzení bez súdneho rozhodnutia alebo iného dobrého dôvodu, vedeného iba substratizmom, t. nedôvera voči AI kvôli jej substrátu (Bostrom a Yudkovsky 2011). Alternatívne môže AI tvrdiť, že dokáže vyliečiť všetky choroby, nakŕmiť hladných a spravidla miliónkrát zlepšiť ľudský život (Chalmers 2010). Udržiavanie dohľadu je preto veľkým zločinom proti ľudskosti. AI môže maľovať obrázky umierajúcich detí, ktoré prosia o pomoc. Je to pre strážcu ľahké, keď to všetko počuje,naďalej plniť svoje profesionálne povinnosti?
AI je schopný ísť týmto spôsobom: pokúsiť sa spôsobiť, že na supervízora spôsobí psychologické traumy, aby ho nevyvážil, a tým zefektívnil používanie iných metód SI. Nick Bostrom navrhol typológiu nebezpečných informácií (Bostrom 2009), ktorá je užitočná pre postup v tomto smere. Hoci podľa Bostroma existuje viac ako tucet druhov informačných hrozieb a ich zváženie presahuje rámec tohto článku, je ľahké pochopiť, ako môže byť duševný stav človeka extrémne nestabilný. Napríklad, veriaci dohliadajúci bude informovaný o všetkých (neznámych) rozporoch v posvätnom texte jeho náboženstva, ktoré spôsobia, že bude pochybovať o jeho viere a zmysle života.
Alternatívne môže AI napísať taký presvedčivý príbeh alebo tak krásnu báseň, že strážca bude ohromený vášnivou túžbou počuť pokračovanie a urobí všetko, čo je potrebné, aby sa to stalo. Nakoniec je veľmi dôležité mať na pamäti „neznámych cudzincov“- techniky SI, o ktorých nevieme nič, ale ktoré môžu skončiť v arzenáli superinteligentného agenta.
2.1.2 Útoky využívajúce systémové prostriedky
AI sa vytvorí ako konkrétny prípad a uzatvorí sa v rámci určitej triedy počítačového systému. Môže to byť klasický počítač s architektúrou Turing / von Neumann alebo kvantový počítač alebo nejaký iný neznámy typ stroja. Jedna vec je istá: stroj bude hmatateľný a bude pozostávať z mnohých častí určených na vykonávanie konkrétnych funkcií. Toto vytvára príležitosť pre AI využívať existujúce zariadenia, aby narušili bezpečnosť únikom informácií do okolitého sveta.
V závislosti od rozsahu, v akom sa komponenty zariadenia dajú použiť na iné účely, ktoré neboli poskytnuté vývojármi, je spoločnosť AI schopná z nich vytvoriť nejaký druh neautorizovaného komunikačného zariadenia. Je to nepravdepodobné (kvôli nedostatku dostupných materiálov) bude rovnako dokonalé ako mobilný telefón, ale objaví sa pravdepodobnosť niečoho nie príliš komplikovaného. Napríklad AI môže preprogramovať základný maticový kryštál (BMC) na pripojenie k bezdrôtovej sieti. Všeobecne sú známe dva typy neautorizovaných komunikačných kanálov:
* Kanál s pamäťou - výmena informácií zmenou súčasti systému. Napríklad binárny komunikačný protokol sa môže vytvoriť úplným alebo úplným vylúčením použitia centrálneho procesora.
* Časový kanál - výmena informácií vykonávaním operácií, ktoré ovplyvňujú relatívny čas udalostí. Ak chcete niečo sprostredkovať, môžete použiť presný čas medzi dvoma pípnutiami počítača, otvorením a zatvorením nosiča CD, blikajúcimi svetlami, otáčaním pevného disku, operáciou lasera v jednotke atď.
Okrem toho je superinteligencia schopná spôsobiť zmätok v počítačovom vybavení, aby sa pokúsila uniknúť slobode v dôsledku zlyhania bezpečnostného protokolu. Napríklad sa AI môže pokúsiť roztaviť procesor a prinútiť ho, aby pracoval s vysokým výpočtovým zaťažením, a tým vytvoriť skok teploty, alebo zničiť pevný disk opakovaným čítaním informácií z toho istého miesta. Takéto správanie je spojené s afektívnou samovraždou superinteligencie a samo osebe, ako odmietnutie spolupracovať alebo správne odpovedať na otázky, nedáva AI príležitosť oslobodiť sa.
2.1.3. Útoky využívajúce budúcu fyziku
Aj keď dnešní fyzici vedia veľa o zákonoch nášho vesmíru, tieto znalosti sú, samozrejme, obmedzené a neúplné. Ak má AI prístup k informáciám o najnovších fyzických objektoch a je schopný rozvíjať nové teórie, pravdepodobne bude schopný prísť s spôsobom, ako prelomiť systém obmedzenia svojej slobody. Veci sa môžu dostať do bodu, že superinteligencia bude schopná pomocou svojej vnútornej architektúry uskutočniť množstvo skutočných experimentov.
Aj súčasná fyzika umožňuje predvídať veľa ďalších spôsobov, ako môže AI uniknúť z uzavretého priestoru, najmä ak sa na obmedzenie slobody používa kvantový počítač. Zatiaľ nevieme, ako chrániť komunikačné kanály založené na kvantovej fyzike (zapletenie, tunelovanie), paralelných vesmíroch a digitálnej fyzike pred únikom informácií, a my, samozrejme, nesmieme zabudnúť na „neznámych cudzincov“, ktoré môže zistiť superinteligentný fyzik AI. V tejto oblasti sú jej možnosti skutočne nekonečné.
Keď sa rýchlo pozrieme na diskusie o obmedzovaní slobody AI na fórach Singularity, ako je SL4.org, nájdeme niekoľko únikových scenárov. Napríklad spoločnosť AI by mohla použiť „elektromagnetické polia v mikročipe na zachytenie molekúl CO2 v kondenzátoch Bose-Einstein a vybudovať kvantové médium pre seba a / alebo použiť elektromagnetické polia na zostavenie častíc do kontrolovaného alebo obmedzeného zostavovača“(Vassar 2005) … Okrem toho bude mať AI „zariadenie na generovanie a detekciu elektromagnetických vĺn rôznych frekvencií, vytváranie magnetických polí s extrémne vysokou presnosťou, vytváranie vysoko zameraného tepla a prípadne manipuláciu s mechanickými pohonmi, ako súktoré sa používajú na pevnom disku a v katódovej trubici (alternatívou je obrovské pole z tekutých kryštálov s citlivou elektronickou kontrolou). Pravdepodobne bude AI schopná radikálne prestavať všetky svoje vstupné zariadenia “(tamtiež).
2.1.4. Pseudovedecké útoky
Pri analýze potenciálnych únikových ciest by sme sa chceli zaoberať iba tými, ktoré sú testovateľné a majú čisto vedecký charakter. Hranicu medzi vedou a pseudovedou sa, žiaľ, dá výrazne zmeniť iba jedným reprodukovateľným experimentom. Preto stále uvádzame, bez analýzy, niektoré potenciálne útočné kanály, ktoré by sa z hľadiska modernej vedy mali klasifikovať ako pseudovedecké. Po rozvinutí vhodných experimentov sa môžu bezpochyby stať vedeckými.
- Telepatia: prenos informácií bez zapojenia zmyslov (Bem a Honorton 1994).
- Psychická predvídavosť: vnímanie informácií o budúcnosti (Honorton a Ferrari (Ferrari) 1989).
- Jasnovidectvo: získavanie informácií o odľahlých miestach spôsobom neznámym vede (Targ & Puthoff 1974).
- Psychokinéza: schopnosť mysle konať na materiálnych objektoch spôsobom, ktorý nie je pre vedu známy (Bancel & Nelson 2008).
- Okamžité mentálne interakcie so živými systémami (IMVZHS): schopnosť ovplyvňovať psychofyziologický stav osoby bez priamej interakcie (Schmidt et al. 2004).
2.1.5 Vonkajšie faktory úniku
V predchádzajúcich oddieloch sme opísali mnoho metód umožňujúcich AI uniknúť z obmedzených priestorov. K takémuto úniku však môžu prispieť aj vonkajšie faktory a nemožno ich ignorovať. Prírodné katastrofy - hurikány, tornáda, povodne, asteroidy atď. - schopné znížiť bezpečnosť AI menej. Katastrofy spôsobené človekom, ako sú vojny, teroristické útoky, aktivisti za robotické práva, podniková konkurencia a vládna rivalita, môžu tiež ohroziť bezpečnosť udržiavania AI v uzavretom priestore, a tým zvýšiť šance na únik.
2.1.6 Únik informácií pre AI
Protokol o obmedzení slobody môže vyžadovať, aby AI nielen neposielala informácie vonkajšiemu svetu, ale aby ich odtiaľ nedostávala. Informačná blokáda superinteligencie je užitočná, ak je potrebné zabrániť takým činnostiam, ako je hľadanie spôsobov slobody, navrhovanie útokov pomocou sociálneho inžinierstva a modelovanie psychológie človeka v nádeji, že sa nájdu slabé stránky. Je ľahké pripraviť AI o priamy prístup k knižniciam, internetu a odborným znalcom, ale iné metódy získavania informácií je oveľa ťažšie blokovať. V prvom rade by sa malo pamätať na to, že AI vo svojom bezprostrednom okolí môže zachytávať rozhlasové a televízne vysielanie, hovory od poskytovateľov pohotovostných služieb, bezdrôtové signály, ako aj zvukové, svetelné a prípadne niektoré ďalšie signály.
Ešte dôležitejšie je zvážiť prístup AI k skrytým zdrojom informácií, ako je napríklad jeho vlastný hardvér a softvér. Analýzou jeho návrhu a zdrojového kódu dospeje supervízorka k záverom o vývojárov. Napríklad, po analýze zdrojového kódu, AI pravdepodobne dospeje k záveru, ktorý je pre ľudstvo nelichotivý: ľudskí programátori sú pomalí (súdenie podľa dátumov zmien súboru), neefektívni (súdenie podľa redundancie kódu), nelogickí (súdenie podľa chýb kódu), majú zlú pamäť (súdenie podľa dlhých a nestabilných popisných mien) a ľahkomyseľné pri kódovaní (súdenie podľa zbytočných komentárov v kóde). Na základe týchto informácií bude umelá inteligencia pozerať na ľudí ako na hlúpeho človeka, ktorý ho môže klamaním alebo manipuláciou prinútiť prepustiť. Ak AI pri skúmaní jeho konštrukčných vlastností zistí, že AI má chybu, ktorá mu umožňuje okamžite uniknúť, bude „najmenší z našich problémov zrejme„ únik informácií “. A nemali by sme zabúdať na to, že AI, a to aj bez toho, aby dostali akékoľvek informácie o ľuďoch, ktorí ho vytvorili, je schopný jednoduchým vymenovaním možností odhaliť množstvo účinných spôsobov úniku, ktoré vývojári nezabezpečili (Chalmers 2010).
AI sa môže dozvedieť o našich vedomostiach z fyziky, chémie a súvisiacich technických odborov analýzou typu architektúry (mechanická, elektrická, kvantová atď.), V rámci ktorej bola implementovaná. Počiatočná schopnosť AI spracovať informácie, jej sebazlepšovanie a samotný akt ich vytvorenia povedie o našich znalostiach o informáciách, povahe spravodajských informácií a našich kultúrnych postojoch týkajúcich sa technológie a bezpečnosti. Ak je AI uväznená v simulovanom svete, je pravdepodobné, že virtualizujeme našu realitu ako vesmír druhého života alebo entropia. Takéto svety, v mnohých ohľadoch odlišné od našich, budú tiež skladom údajov o tom, čo to znamená byť človekom a čo je realita.
3. Kritika boxu AI
Myšlienka obmedziť slobodu superinteligencie získala veľa kritiky, ale mnohí z tých, ktorí ju kritizovali, sa spoliehali na Yudkowského experimenty s AI boxom. Dôkladná analýza protokolu použitého počas týchto experimentov naznačuje, že sú nevedecké a navrhnuté tak, aby ukázali, že je nemožné obmedziť slobodu AI. Zoberme si túto tému bez toho, aby sme sa zaoberali technickými podrobnosťami. Po prvé, výber účastníkov nebol náhodný. Tu je skutočnosť: Yudkowsky našiel ľudí, ktorí sa zúčastňovali na jeho experimentoch na fórach venovaných riešeniu problémov týkajúcich sa jedinečnosti. Je nepravdepodobné, že by sme sa mýlili, ak povieme, že väčšina z týchto ľudí má podobný svetový názor ako Yudkowsky. Po druhé, účastníci experimentov nezískali žiadne školenie na zaistenie bezpečného používania AI, zatiaľ čo skutoční strážcovia,dozorcovia prepravky AI budú, samozrejme, profesionálmi. Okrem toho dal Yudkowski strážcom právo oslobodiť AI podľa vlastného uváženia, nedovolil im, aby sa s niekým poradil a nestanovil trest za únik AI. To všetko je veľmi nereálne. Komunikačný kanál medzi strážcom a AI bol úplne otvorený: žiadne filtre, žiadny dohľad tretích strán. Okrem toho museli strážcovia komunikovať s AI po dlhú dobu. A nakoniec neboli publikované žiadne cenné vedecké údaje získané počas experimentov, pretože podľa protokolu „ani jedna strana nikdy nepovedie o všetkom, čo sa stalo počas experimentov s AI boxom“(Yudkovsky 2002). Okrem toho dal Yudkowski strážcom právo oslobodiť AI podľa vlastného uváženia, nedovolil im, aby sa s niekým poradil a nestanovil trest za únik AI. To všetko je veľmi nereálne. Komunikačný kanál medzi strážcom a AI bol úplne otvorený: žiadne filtre, žiadny dohľad tretích strán. Okrem toho museli strážcovia komunikovať s AI po dlhú dobu. A nakoniec neboli publikované žiadne cenné vedecké údaje získané počas experimentov, pretože podľa protokolu „ani jedna strana nikdy nepovedie o všetkom, čo sa stalo počas experimentov s AI boxom“(Yudkovsky 2002). Okrem toho dal Yudkowski strážcom právo oslobodiť AI podľa vlastného uváženia, nedovolil im, aby sa s niekým poradil a nestanovil trest za únik AI. To všetko je veľmi nereálne. Komunikačný kanál medzi strážcom a AI bol úplne otvorený: žiadne filtre, žiadny dohľad tretích strán. Okrem toho museli strážcovia komunikovať s AI po dlhú dobu. A nakoniec neboli publikované žiadne cenné vedecké údaje získané počas experimentov, pretože podľa protokolu „ani jedna strana nikdy nepovedie o všetkom, čo sa stalo počas experimentov s AI boxom“(Yudkovsky 2002).žiadne filtre, žiadny dohľad tretích strán. Okrem toho museli strážcovia komunikovať s AI po dlhú dobu. A nakoniec neboli publikované žiadne cenné vedecké údaje získané počas experimentov, pretože podľa protokolu „ani jedna strana nikdy nepovedie o všetkom, čo sa stalo počas experimentov s AI boxom“(Yudkovsky 2002).žiadne filtre, žiadny dohľad tretích strán. Okrem toho museli strážcovia komunikovať s AI po dlhú dobu. A nakoniec neboli publikované žiadne cenné vedecké údaje získané počas experimentov, pretože podľa protokolu „ani jedna strana nikdy nepovedie o všetkom, čo sa stalo počas experimentov s AI boxom“(Yudkovsky 2002).
3.1. Protiopatrenia proti úniku
V tejto časti navrhujeme protiopatrenia proti rôznym únikovým metódam, ktoré môže AI využiť. Navrhované opatrenia nezaručujú nemožnosť úniku, ale uplatnenie týchto odporúčaní ho môže oddialiť, čo je už veľmi cenný výsledok. Začnime pripomenutím, že existujú štyri obmedzenia spoločnosti Lampson o obmedzení (izolácia, transitivita, maskovanie a sledovanie výkonu), ktoré je potrebné dodržiavať (Lampson 1973). Špecifické stratégie opísané nižšie by mali pomôcť odraziť AI útoky pomocou sociálneho inžinierstva, systémových zdrojov, fyziky a informácií získaných z vonkajšieho sveta.
3.1.1. Prevencia útokov na sociálne inžinierstvo
Ľudská inteligencia nie je pre superinteligenciu žiadnym spôsobom. Ľudia majú tendenciu robiť chyby, a preto sú aj pri primeranom tréningu veľmi zraniteľní dobre naplánovaným útokom pomocou SI. Jediným riešením tohto problému je úplná izolácia AI od akejkoľvek komunikácie s ľuďmi. Úplná izolácia znamená, že žiadna osoba priamo neovláda systém AI, nekomunikuje s ním ústne, v chate, používajúc Morseov kód alebo iné nástroje využívajúce otvorené komunikačné kanály. Okrem toho by ľudia nemali priamo pozorovať správanie AI v poli, skontrolovať jeho zdrojový kód alebo oblasť pamäte. Akékoľvek pozorovanie, údržba a interakcia s AI by sa mali robiť iba pomocou inteligentných programov, ktoré nemajú žiadne možnosti oslobodiť AI.
3.1.2. Bojujte proti útokom pomocou systémových prostriedkov a budúcich poznatkov
Aby ste predišli útokom pomocou systémových prostriedkov, musíte aktivovať funkciu AI na základe obmedzených, klesajúcich alebo náhodne sa meniacich zdrojov. AI box by mal byť špeciálne navrhnutý hardvér s obmedzenou sadou senzorov a výstupných zariadení. Bez ohľadu na použité výpočtové paradigmy nepoužívajte konfigurovateľný hardvér. V ideálnom prípade by mal byť obmedzený priestor spravovaný virtuálnym strojom, ktorý nemá priamy prístup k hardvéru. Tým sa tiež zabezpečí ľahké nastavenie taktovacej frekvencie, pri ktorej sa simulácia pohybuje, čo umožní spomalenie AI, aby sa zabránilo inteligentnej explózii v priestore boxu (Chalmers 2010). všeobecne platí,všetky komponenty na zaistenie bezpečného používania uzamknutej umelej inteligencie by sa mali duplikovať na niekoľkých úrovniach a po prekonaní jedného z týchto krokov bude umelá inteligencia stále vzdialená niekoľko krokov od vonkajšieho sveta a bez času na únik sa automaticky vypne. Napríklad je vhodné spustiť virtuálny stroj pomocou iného virtuálneho počítača atď.
V niektorých scenároch obmedzovania slobody je eskalácia sebazlepšovania AI nežiaduca, pretože rýchly rozvoj superinteligencie spôsobuje vyššiu pravdepodobnosť úniku. Aby sa predišlo eskalácii samoobsluhy, AI by sa mala pravidelne preinštalovať, pričom by sa mala nahrávať predchádzajúca verzia programu, aby sa nahradila súčasná pokročilejšia. Porovnanie rôznych verzií programu sa môže použiť na zistenie úprav, ktoré vykonala samotná AI. Po zistení modifikácie, ktorá umožňuje únik, by sa mal systém AI zastaviť napríklad vypnutím napájania.
Súčasné znalosti nám neumožňujú vyvíjať protiopatrenia proti útokom využívajúcim budúce, zatiaľ nerozvinuté teórie, ktoré sa objavia v rámci fyziky alebo iných disciplín, ktoré sa stále považujú za pseudovedecké. Keď sa tieto znalosti získajú, mali by sa vykonať zmeny bezpečnostného protokolu. Dúfame, že systém AI bude mať prístup iba k tým komponentom nových technológií, z ktorých je vyrobený.
3.1.3. Boj proti vonkajším faktorom úniku
Aj keď nie je možné úplne zabrániť škodlivým účinkom prírodných faktorov na AI box, toto zariadenie by malo byť navrhnuté tak, aby jeho vážne poškodenie viedlo k jeho samodeštrukcii spolu s AI v ňom uzamknutými. Pokiaľ ide o katastrofy spôsobené ľudskou činnosťou, najlepšou stratégiou je vybudovať prepravku AI na tajnom, ťažko prístupnom bezpečnom mieste. Opustený ostrov, hlboká baňa alebo vesmírny objekt, ako je napríklad asteroid, sú vynikajúcimi miestami na vytvorenie bezpečnej a pevnej skrinky. Pozdĺž svojho obvodu by sa mal nainštalovať ochranný kryt, ktorý, ak je známe umiestnenie tohto zariadenia, nedovolí do neho preniesť žiadne nepovolané osoby.
3.1.4 Boj proti úniku informácií z nášho sveta
Aby sme unikli z krabice, AI sa pokúsi získať informácie o nás, našich vedomostiach a našom svete. Na vytvorenie protokolov na obmedzenie slobody AI s vylúčením úniku informácií z nášho priestoru do priestoru schránky je dôležité pripraviť AI o prístup ku knižniciam, počítačovým sieťam a kanálom priamej komunikácie s ľuďmi. Box AI by mal byť navrhnutý tak, aby blokoval všetky typy komunikácie: GPS, bezdrôtový internet, televízor, rádio, mobilný telefón atď. Vo vnútri skrinky musia byť vypnuté zvukové, svetelné, zápachové a iné senzorické vstupné zariadenia podobné ľudským receptorom, ako aj zariadenia schopné zachytávať infračervené žiarenie, žiarenie a iné signály, ktoré ľudia nevnímajú.
Aby AI nemohla získať informácie počas samokontroly, nemala by mať prístup k svojmu zdrojovému kódu alebo k žiadnym snímačom, ktoré jej umožňujú presne zmerať určité vlastnosti svojho zariadenia. Ak to nie je možné, ľudstvu možno do určitej miery pomôcť zaistením bezpečnosti prostredníctvom nepochopiteľnosti. Konfigurácia zdrojového kódu a hardvéru systému by mala byť mätúca (Yampolsky a Govindaraju 2007a) a dôležité programové moduly by sa mali poskytovať iba v homomorficky šifrovanej forme (Gentry 2009), čo vylučuje možnosť ich použitia na introspekciu, ale umožňuje jej použitie. na výpočet alebo na zlepšenie zo strany seba (Hall 2007).
AI je ťažké zameniť, ale potrebnú zámenu je možné získať náhodným rozdelením dostupných výpočtových zdrojov. Okrem toho si AI nikdy nebude môcť byť istý, že jeho pôvodný dizajn predstavuje to najlepšie, čo je ľudstvo schopné, a nie je účelne obmedzeným projektom vytvoreným na uskutočnenie špecifického experimentu zameraného na skúmanie obmedzených inteligencií zdrojov. Okrem toho by sme sa podľa Chalmersa mali snažiť minimalizovať špecifické konštrukčné vlastnosti AI (Chalmers 2010). Je ešte lepšie predstaviť model, ktorý nebude vyzerať ako projektovaný, ale ako model, ktorý sa vyskytuje v prírode, ako je svet, v ktorom žije ľudstvo (Bostrom 2003).
4. Bezpečnosť komunikácie s AI
Pri klasifikácii foriem obmedzenia slobody AI existuje 8 hlavných úrovní bezpečnosti (pozri tabuľku 1). Najvyššia bezpečnosť je zabezpečená úrovňou 8, ktorá úplne vylučuje akékoľvek spojenie medzi AI a skutočným svetom. Na prvý pohľad je bezpečnosť úrovne 8 zbytočná, ale práve táto ochrana sa môže vyžadovať pri prvom testovaní škatule s aretáciou AI. Všeobecne platí, že ide o tento prípad: vždy, keď potrebujeme určitú úroveň bezpečnosti komunikácie medzi AI a vonkajším svetom, namiesto toho, aby sme túto úroveň okamžite používali, ideme k nej postupne, krok za krokom zostupne z vyššej úrovne bezpečnosti. Po spustení systému na najvyššej úrovni a zaistení jeho bezpečnosti ho preinštalovaním vrátime do pôvodného stavu. Potom sme nastavili nižšiu úroveň bezpečnosti a v rovnakom duchu ako predtým sme sa posunuli vpred, až kým nedosiahneme požadovanú úroveň.
Tabuľka 1: Úrovne zabezpečenej komunikácie so zablokovanou AI
| hladina | výstupy | vstupy | vysvetlenie |
| 0 | Nie je obmedzené | Nie je obmedzené | Neobmedzená komunikácia (bezplatná AI) |
| 1 | Nie je obmedzené | obmedzený | Obmedzený vstup, neobmedzený výstup |
| 2 | Nie je obmedzené | neprítomný | Výstup bez vstupu |
| 3 | obmedzený | Nie je obmedzené | Neobmedzený vstup a obmedzený výstup |
| 4 | obmedzený | obmedzený | Bezpečná komunikácia (odporúčaný protokol) |
| päť | obmedzený | neprítomný | Obmedzený výstup bez vstupu |
| 6 | neprítomný | Nie je obmedzené | Zadajte bez východu |
| 7 | neprítomný | obmedzený | Obmedzený vstup bez výstupu |
| 8 | neprítomný | neprítomný | Nedostatok komunikácie, úplne zablokovaný AI |
Na úrovni 7 a 6 nemá AI žiadny výstup, čo nám neumožňuje priamo využívať možnosti superintelligence. Toto sú úrovne testovania AI boxu, ktoré sa môžu použiť na kontrolu, či má superinteligencia určité vlastnosti (napríklad rýchlosť asimilácie informácií a využívanie zdrojov), ako aj na testovanie samotných prichádzajúcich komunikačných kanálov.
Úroveň 0 neobmedzuje komunikáciu medzi AI a okolitým svetom a je v podstate bezplatnou úrovňou AI. Na úrovni 1 a 2 nemá AI žiadne obmedzenia týkajúce sa odchádzajúcich informácií. Jeho práca na úrovni 2 je v podstate čistým brainstormingom. Superintelligence tu generuje abstraktné myšlienky bez spoliehania sa na realitu. Na úrovni 1 má však obmedzený prístup k externým informáciám, a preto je možné v určitom rámci ovládať jeho vedomosti a záujmy.
Na troch uvažovaných úrovniach AI je v podstate zadarmo a už nie je viazaný žiadnymi obmedzeniami. Tvrdí sa, že ak sa zistí, že AI je „priateľská“v dôsledku rozsiahleho testovania na rôznych miestach zadržania (Yudkowski 2001), mala by byť prepustená (Chalmers 2010). Podľa niektorých výskumných pracovníkov by hlavným cieľom tohto druhu testovania malo byť vytvorenie obmedzených priestorov na uchovávanie AI pod kontrolou ľudí. Zámerom je monitorovať správanie superinteligencie, buď skontrolovať jeho zdrojový kód po tom, čo urobila sebapoškodzovanie, alebo požiadať AI, aby poskytla nejaký dôkaz o jeho priateľskosti, ktorú môžu experti na ľudskú činnosť otestovať. Tento názor nepodporujeme.
Rozhodovanie o tom, ktoré AI uvoľniť a ktoré udržať pod kontrolou, je veľmi zložitý problém. Pre samo zlepšujúcu sa superinteligenciu nebude ťažké skryť svoje nežiaduce vlastnosti pre ľudstvo v poliach zdrojového kódu alebo vo veľmi dlhom dôkaze (Coleman 2008). Ale ďalšia vec je ešte horšia: ani veľmi dôkladná kontrola nemôže zaručiť sto percent, že budúca vnútorná alebo vonkajšia zmena AI ju neurobí nepriateľskou. Preto sa domnievame, že dozorná služba by za žiadnych okolností nemala byť nikdy vynechaná. Inými slovami, nikdy by sa nemali používať úrovne komunikácie 0-2. Bezpečná interakcia s dozorom je možná iba vtedy, keď je v krabici a komunikácia by sa mala uskutočňovať v rámci obmedzeného komunikačného protokolu. Tento protokol,zodpovedajúci bezpečnostnej úrovni 4 (LB4) je uvedený v nasledujúcej časti, ako je podobný, ale menej bezpečný protokol úrovne 3. Úroveň 5 je ďalšia skúšobná úroveň, ktorá sa môže použiť pred prevádzkou LB4.
4.1 Ako bezpečne komunikovať s dozorom
Debna, ktorá pracuje s našimi navrhovanými protiopatreniami proti úniku, zabráni AI v nekontrolovateľnom ovplyvňovaní vonkajšieho sveta. Tento systém bohužiaľ nie je k dispozícii, ak neexistuje spôsob, ako získať informácie z AI. Preto musíte vyvinúť spôsob, ako získať niektoré údaje z AI. Aby bola superinteligencia úplne bezpečná, nemala by s ňou komunikovať, ale riziko komunikácie s AI sa môže minimalizovať a vyvinuli sme vhodný protokol. V tejto časti ju ponúkame v jasnej formalizovanej podobe. Tento komunikačný protokol sťažuje superintelligence prístup na náš svet, ale zároveň umožňuje AI byť zdrojom užitočných poznatkov pre ľudstvo.
Predchádzajúce časti tohto článku ukázali, že otvorený komunikačný kanál s dozorom je veľmi nebezpečný. Používaním AI na zodpovedanie otvorených otázok riskujeme útoky na sociálne inžinierstvo a množstvo ďalších nepríjemností. Protokol, ktorý navrhujeme, je založený na myšlienke kladenia „bezpečných otázok“AI s obmedzenými odpoveďami. Bezpečne zavoláme otázku, odpoveď, ktorú môže človek nájsť bez pomoci superinteligencie, úplne nezávisle. Aké je tu použitie? Predpokladajme, že vedec pracujúci na liekoch proti rakovine zvažuje dve liečby. Každá z nich môže byť vyvinutá a testovaná bez pomoci AI, ale bude vyžadovať asi tri roky tvrdej práce. Ktorý spôsob sa má rozvíjať v prvom rade,ak sa zdá, že obe možnosti sú rovnako sľubné? Pri nesprávnom výbere dostane ľudstvo liek na rakovinu za 6 rokov, so správnou voľbou - o 3 roky skôr. Prečo nepožiadať AI o výber osoby?
Požiadať AI o najlepšiu liečbu je bezpečné z troch dôvodov. Po prvé, jedna z dvoch možných odpovedí sa môže ukázať ako správna s rovnakou pravdepodobnosťou ako druhá. Po druhé, človek je schopný odpovedať na túto otázku sám, bez pomoci AI, a jeho spojenie len urýchli rozvoj onkológie, ale žiadnym spôsobom nezmení výsledok, ktorý je potrebné dosiahnuť. V skutočnosti sa AI, ktorá sa zaväzuje odpovedať na túto otázku, bude správať ako úspešný odhadca, nič viac. Nakoniec môže byť odpoveď zakódovaná do jedného bitu a je nepravdepodobné, že by sa v tejto odpovedi mohli skryť akékoľvek ďalšie správy.
Skupina expertov sa môže použiť na testovanie bezpečnosti superinteligentnej otázky. Odborníci musia byť kvalifikovaní odborníci na bezpečnosť AI, čo znamená, že majú znalosti o dizajne AI a jeho skrinke, ako aj o najnovších pokrokoch v oblasti strojovej etiky (Allen et al. 2006; Anderson & Anderson 2007; hala 2000; Moor 2006; Tonkens 2009). Okrem toho môžu odborníci požadovať znalosť počítačovej psychológie. V súčasnosti takáto disciplína neexistuje, pravdepodobne sa však objaví v budúcnosti (Epstein 1997). Zo súčasných odborov môže Artimetrics vyvinutý autorom tohto článku poskytnúť najväčšiu pomoc školiacim odborníkom, ktorí kontrolujú bezpečnostné otázky AI. Artimetrics identifikuje,klasifikuje a overuje inteligentných agentov, robotov a avatarov virtuálnej reality na zaistenie bezpečnosti (Yampolsky 2007; Yampolsky a Govindaradzhu, 2008, 2007b; Gavrilova a Yampolsky 2010).
Zdôrazňujem: superinteligencia by mala klásť bezpečné otázky týkajúce sa pravdepodobnosti, ktorú môžu ľudia vypočítať, s dvoma možnými odpoveďami. Musíte sa opýtať prostredníctvom inteligentného rozhrania, v náhodnom poradí a až potom, ako sú odborníci presvedčení o bezpečnosti otázky. To predstavuje obmedzený prichádzajúci kanál navrhovaného komunikačného protokolu.
Obmedzený odchádzajúci shell pozostáva z binárnych (0 alebo 1) odpovedí, za ktorými nasledujú originálne nemodifikované bezpečnostné otázky, predložené v náhodnom poradí neinteligentným proxy programom, aby sa zabránilo komunikácii cez neautorizovaný kanál (čas alebo pamäť), ktorý môže byť steganografovaný. Výstup by nikdy nemal byť riadený AI mimo výberovej ponuky. Vrstva 3 používa rovnaký odchádzajúci protokol, ale neobmedzuje prichádzajúci kanál. Táto úroveň je rovnako bezpečná ako štvrtá, pokiaľ ide o informácie od AI k nám, ale tu je možné, aby naše informácie prenikli do AI.
Sme presvedčení, že náš komunikačný protokol - a to je možné overiť - spoľahlivo ochráni pred únikom informácií, aj keď AI pozná jeho obsah. Správnym uplatňovaním tohto protokolu bude ľudstvo mimoriadne prospešné využívať služby superinteligentného věštca a AI obmedzená naším protokolom je omnoho bezpečnejšia ako tá slobodná a neobmedzená. Všeobecné pravidlo je: ak nechcete mať problémy s bezpečnosťou, vyhnite sa komunikácii pod UB4.
Chceme upriamiť pozornosť vedeckej komunity na skutočnosť, že v podmienkach neustáleho rozvoja základnej fyziky, výpočtovej techniky a znalostí o povahe inteligencie je potrebné neustále zdokonaľovať a rozvíjať protokol na obmedzenie slobody AI. Práce na tom budú vždy pokračovať a nikdy nekončia. V tomto článku sme striktne definovali pojmy „problém obmedzenia AI“, „únik“a „bezpečné otázky“. Chceli by sme tiež navrhnúť niekoľko ďalších výrazov, ktoré môžu byť užitočné na zefektívnenie diskusií o pozícii. Uzavretý priestor AI sa môže nazývať JAIL (Just for AI Location) a samotný superinteligentný AI sa môže nazývať SING (Super Intelligent Gizmo - Superintelligent Gizmo). Termín „SING“sa vzťahuje na SINGularity aj na neslávne známe väzenie Sing Sing.čo uľahčuje zapamätanie.
Nakoniec by sme chceli predstaviť vizuálny symbol pre schránku obsahujúcu nebezpečný spravodajský program (obrázok 1 úplne vpravo). Takéto symboly môžu byť umiestnené v blízkosti rôznych JAIL, aby varovali pred nebezpečenstvom. Značka pre AI box je navrhnutá analogicky so znakmi pre biohazard, žiarenie a magnetické pole. Skladá sa zo symbolu „@“uzavretého v trojuholníku, ktorý je dobre známy v priemysle počítačov a informačných technológií. Tento symbol, ktorý sa označuje ako „umiestnený na adrese“, sa nachádza na všetkých klávesniciach, a preto je jeho prijatie veľmi nákladovo efektívne.
Obrázok: 1. Výstražné symboly zľava doprava: biologické nebezpečenstvo, žiarenie, magnetické pole a AI box.
5. Závery a budúca práca
Obmedzenie prístupu superinteligentných počítačov do reálneho sveta je riešením bezpečnostného problému AI, ktoré v žiadnom prípade nie je neobvyklé. Superinteligencia nie je všemocná. Je to program schopný posúdiť všetky možnosti, ktoré daná situácia predstavuje, a dať každému správne hodnotenie. Akonáhle sa AI dostane do situácie, keď nie je na výber alebo je obmedzená na možnosti s extrémne malými šancami na úspech, superintelligence bude agentom, ktorý nemá väčšiu moc ako ktorákoľvek iná. Je zrejmé, že umelá inteligencia s neobmedzeným kanálom komunikácie môže ľahko uniknúť, ale superinteligencia nútená komunikovať cez filtrovaný komunikačný kanál bude musieť tvrdo pracovať, aby sa uvoľnila.
V tomto článku sme uviedli dôkladné vymedzenie problému obmedzenia slobody AI a navrhli sme súbor pravidiel zameraných na vytvorenie takého priestoru, z ktorého by pre AI bolo mimoriadne ťažké uniknúť, alebo aspoň by to trvalo značné množstvo času. Naše navrhované riešenie nie je úplne bezpečné, ale predstavuje významný príspevok k zhromažďovaniu bezpečnostných metód. Je to ako v prípade skutočných väzníc: aj keď z nich je možné uniknúť, stále sa im darí plniť úlohu, ktorú im boli zverené, aby sa nechcené subjekty dostali mimo spoločnosť. Akonáhle budeme mať na pamäti „neznámych cudzincov“a nezabúdame na nedosiahnuteľnosť absolútnej bezpečnosti, môžeme si uvedomiť, že protokol obmedzujúci inteligenciu je presne nástroj, ktorý musí ľudstvo zodpovedne používať, keď vstúpi do našej reality, Singularity.
Obmedzenie slobody AI môže na krátky čas uľahčiť bezpečnú obsluhu skutočne inteligentných strojov, najmä v počiatočných fázach ich vývoja. Okrem toho podľa nášho názoru je toto pole výskumu jedinečnosti jedným z hlavných uchádzačov o uznanie svetovou vedeckou komunitou, pretože výskum v oblasti počítačovej a sieťovej bezpečnosti, steganografie, počítačových vírusov, skrytých komunikačných kanálov, šifrovania a počítačovej kriminality je dobre financovaný. a sú široko publikované v renomovaných vedeckých časopisoch. A hoci metodika obmedzenia slobody nie je vôbec ľahko implementovateľná, môže zaistiť bezpečnosť ľudstva nejakú dobu, kým sa neobjaví lepší nástroj.
V tomto článku sme kvôli obmedzenému priestoru nevzniesli veľa relevantných filozofických otázok. Budeme ich brať do úvahy v blízkej budúcnosti a teraz uvedieme iba krátky zoznam. Ktorá AI spadne do kolónky: vyvinutá ľuďmi alebo získaná zo signálu zachyteného počas vykonávania projektu „SETI“(„Vyhľadávanie mimozemskej inteligencie“- „Vyhľadávanie mimozemskej inteligencie“)? Bude AI roztrhaná na slobodu, alebo možno bude považovať za šťastie žiť v obmedzenom priestore? Môžete vážne vystrašiť AI trestom za pokus o spustenie? Aké sú etické pravidlá uväznenia nevinnej umelej inteligentnej bytosti? Máme právo ho vypnúť, čo sa v podstate rovná vražde? AI sa rozhnevá na naše nepriateľstvo voči nemu a uväzní ho v krabici? Pokúsi sa pomstiťak utečie? Okrem toho by sme mali zvážiť problém ľudskej závislosti na odporúčaniach AI vo všetkých oblastiach vedy, ekonómie, medicíny, politiky atď., A tiež na to, ako táto závislosť môže ovplyvniť našu schopnosť udržať AI pod kontrolou. Dostane AI spokojnosť dosiahnutím svojich cieľov v obmedzenom priestore, ako je napríklad simulácia úspešného úniku? Ako potrestať AI, ak nám to úmyselne poskytne nesprávne odpovede? Je možné oddeliť intelektuálne moduly AI od priestoru, v ktorom je uväznená, čím by sa zabránilo samoanalýze superinteligencie a tlačilo ju na cestu doslovného hľadania duše? Nakoniec sme sa ešte neskúšali analyzovať finančné a výpočtové náklady na vytvorenie vhodného uzavretého priestoru, v ktorom sa implementuje komplexná simulácia sveta.mali by sme zvážiť problém ľudskej závislosti na odporúčaniach AI vo všetkých oblastiach vedy, ekonómie, medicíny, politiky atď. a tiež to, ako táto závislosť môže ovplyvniť našu schopnosť udržať AI pod kontrolou. Dostane AI spokojnosť dosiahnutím svojich cieľov v obmedzenom priestore, ako je napríklad simulácia úspešného úniku? Ako potrestať AI, ak nám to úmyselne poskytne nesprávne odpovede? Je možné oddeliť inteligentné moduly AI od priestoru, v ktorom je uväznená, čím by sa zabránilo samoanalýze superinteligencie a tlačilo ju na cestu doslovného hľadania duše? Nakoniec sme sa ani neskúšali analyzovať finančné a výpočtové náklady na vytvorenie vhodného uzavretého priestoru, v ktorom sa implementuje komplexná simulácia sveta.mali by sme zvážiť problém ľudskej závislosti na odporúčaniach AI vo všetkých oblastiach vedy, ekonómie, medicíny, politiky atď. a tiež to, ako táto závislosť môže ovplyvniť našu schopnosť udržať AI pod kontrolou. Dostane AI spokojnosť dosiahnutím svojich cieľov v obmedzenom priestore, ako je napríklad simulácia úspešného úniku? Ako potrestať AI, ak nám to úmyselne poskytne nesprávne odpovede? Je možné oddeľovať inteligentné moduly AI od priestoru, v ktorom je uväznený, čím bráni samoanalýze superinteligencie a tlačí ju na cestu doslovného hľadania duše? Nakoniec sme sa ani neskúšali analyzovať finančné a výpočtové náklady na vytvorenie vhodného uzavretého priestoru, v ktorom sa implementuje komplexná simulácia sveta.
Autor: Roman Yampolsky. Preklad: Alexander Gorlov