Niekoľko rokov v osemdesiatych rokoch boli uchádzači o lekársku fakultu St George's Hospital Medical School v Londýne vybraní pomocou high-tech metódy. Počítačový program, prvý svojho druhu, naskenovaný pokračuje, vyberá zo všetkých prihlášok asi 2 000 kandidátov ročne. Program preskúmal záznamy o prijatí, preskúmal charakteristiky úspešných uchádzačov a upravil, až kým sa jeho rozhodnutia nezhodovali so stanoviskom prijímacej komisie.
Program sa však naučil nájsť viac ako dobré známky a známky akademického úspechu. Štyri roky po zavedení programu dvaja lekári v nemocnici zistili, že program mal tendenciu odmietať žiadateľky a jednotlivcov s neeurópskymi menami bez ohľadu na ich akademickú hodnotu. Lekári zistili, že približne 60 žiadateľom boli jednoducho zamietnuté rozhovory každý rok z dôvodu ich pohlavia alebo rasy. Program začlenil rodové a rasové skreslenie do údajov použitých na jeho školenie - v skutočnosti sa dozvedel, že lekári a cudzinci nie sú najlepšími kandidátmi na lekárov.
O tridsať rokov neskôr sa stretávame s podobným problémom, ale programy s vnútornými skresleniami sú teraz rozšírenejšie a prijímajú rozhodnutia s ešte vyššími podielmi. Algoritmy umelej inteligencie založené na strojovom učení sa používajú vo všetkom, od vládnych agentúr po zdravotníctvo, rozhodovanie a predpovedanie na základe historických údajov. Preskúmaním vzorcov v údajoch tiež absorbujú odchýlky v údajoch. Spoločnosť Google napríklad zobrazuje viac reklám na málo platené pracovné miesta pre ženy ako pre mužov; Jednodňová preprava Amazonu obchádza čierne štvrte a digitálne fotoaparáty sa snažia rozpoznať nebielené tváre.
Je ťažké vedieť, či je algoritmus neobjektívny alebo spravodlivý, a dokonca si to počítačoví odborníci myslia. Jedným z dôvodov je to, že podrobnosti o vytvorení algoritmu sa často považujú za informácie, ktoré sú predmetom priemyselného vlastníctva, takže ich vlastníci starostlivo chránia. V zložitejších prípadoch sú algoritmy také zložité, že ani tvorcovia nevedia presne, ako pracujú. Toto je problém tzv. „Čiernej skrinky“AI - našej neschopnosti vidieť vnútornú časť algoritmu a pochopiť, ako sa jedná o riešenie. Ak bude spoločnosť uzamknutá, naša spoločnosť by sa mohla vážne poškodiť: digitálne prostredie predstavuje historickú diskrimináciu, ktorú sme už mnoho rokov bojovali, od otroctva a poddanstva až po diskrimináciu žien.
Tieto obavy, ktoré boli predtým vyslovené v malých komunitách počítačovej vedy, sa teraz naberajú na intenzite. Za posledné dva roky sa v tejto oblasti objavilo pomerne málo publikácií o transparentnosti umelej inteligencie. Spolu s týmto vedomím rastie aj pocit zodpovednosti. „Je niečo, čo by sme nemali stavať?“Spýta sa Keith Crawford, výskumný pracovník spoločnosti Microsoft a spoluzakladateľ spoločnosti AI Now Insitution v New Yorku.
„Strojové učenie sa konečne dostalo do popredia. Teraz sa ho snažíme využiť na stovky rôznych úloh v skutočnom svete, “hovorí Rich Caruana, vedecký pracovník spoločnosti Microsoft. „Je možné, že ľudia budú schopní implementovať škodlivé algoritmy, ktoré z dlhodobého hľadiska významne ovplyvnia spoločnosť. Zdá sa, že zrazu si všetci uvedomili, že toto je dôležitá kapitola v našom odbore. “
Propagačné video:
Neoprávnený algoritmus
Používame algoritmy už dlho, ale problém s čiernou skrinkou je bezprecedentný. Prvé algoritmy boli jednoduché a transparentné. Stále ich využívame - napríklad na posúdenie úverovej bonity. S každým novým použitím vstupuje do platnosti regulácia.
"Ľudia používajú algoritmy na hodnotenie úverovej bonity už desaťročia, ale tieto oblasti mali niekoľko veľmi silných osád, ktoré rástli súbežne s použitím prediktívnych algoritmov," hovorí Caruana. Regulačné pravidlá zabezpečujú, aby prediktívne algoritmy poskytovali vysvetlenie pre každé skóre: boli ste odmietnutí, pretože máte veľa kreditu alebo príliš malý príjem.
V iných oblastiach, ako je právny systém a reklama, neexistujú pravidlá zakazujúce používanie úmyselne nečitateľných algoritmov. Možno neviete, prečo vám bola zamietnutá pôžička alebo nebola prijatá do zamestnania, pretože nikto nenúti vlastníka algoritmu vysvetliť, ako to funguje. "Ale vieme, že pretože algoritmy sú trénované na dátach z reálneho sveta, musia byť skreslené - pretože skutočný svet je skreslený," hovorí Caruana.
Zoberme si napríklad jeden z najzjavnejších zdrojov zaujatosti. Keď sú algoritmy trénované z písaného textu, vytvárajú určité asociácie medzi slovami, ktoré sa vyskytujú častejšie. Napríklad sa učia, že „pre muža, ktorý má byť počítačovým programátorom, je to isté ako pre ženu, ktorá má byť v domácnosti.“Ak je úlohou tohto algoritmu nájsť vhodný životopis pre prácu programátora, bude pravdepodobne vybraný spomedzi mužských kandidátov.
Problémy, ako sú tieto, sa dajú pomerne ľahko vyriešiť, ale mnoho spoločností to jednoducho neurobí. Namiesto toho skryjú takéto nezrovnalosti za štítom chránených informácií. Bez prístupu k podrobnostiam algoritmu nebudú odborníci v mnohých prípadoch schopní určiť, či existuje zaujatosť alebo nie.
Pretože tieto algoritmy sú tajné a zostávajú mimo jurisdikcie regulátorov, je takmer nemožné, aby občania žalovali tvorcov algoritmov. V roku 2016 Najvyšší súd Wisconsinu zamietol žiadosť osoby o preskúmanie vnútorného fungovania spoločnosti COMPAS. Muž, Eric Loomis, bol čiastočne odsúdený na šesť rokov väzenia, pretože ho COMPAS považoval za „vysoko rizikové“. Loomis tvrdí, že jeho právo na riadny proces bolo porušené závislosťou sudcu od nepriehľadného algoritmu. Konečná žiadosť na Najvyšší súd USA zlyhala v júni 2017.
Ale tajné spoločnosti si svoju slobodu nebudú neobmedzene užívať. Do marca EÚ schváli zákony, ktoré od spoločností požadujú, aby boli schopné vysvetliť zainteresovaným klientom, ako fungujú ich algoritmy a ako sa prijímajú rozhodnutia. USA v dielach takéto právne predpisy nemajú.
Čierna skrinka forenzná
Bez ohľadu na to, či sa do toho všetkého zapájajú regulačné orgány, kultúrny posun v spôsobe navrhovania a zavádzania algoritmov by mohol znížiť prevalenciu skreslených algoritmov. Keďže sa stále viac a viac spoločností a programátorov zaväzuje sprehľadniť a vysvetliť svoje algoritmy, niektorí dúfajú, že spoločnosti, ktoré tak neurobia, stratia na verejnosti dobré meno.
Rast výpočtového výkonu umožnil vytvoriť algoritmy, ktoré sú presné a vysvetliteľné - technická výzva, ktorú vývojári historicky nedokázali prekonať. Nedávny výskum naznačuje, že je možné vytvoriť vysvetliteľné modely, ktoré predpovedajú opakovaný výskyt zločincov rovnako presne ako čierna skrinka forenzných vedcov, ako je COMPAS.
"Hotovo - vieme, ako vytvárať modely bez čiernych skriniek," hovorí Cynthia Rudin, odborná asistentka informatiky a elektrotechniky na Duke University. „Ale nie je také ľahké upozorniť ľudí na túto prácu. Keby vládne agentúry prestali platiť za modely čiernych skriniek, pomohlo by to. Ak sudcovia odmietnu použiť na odsúdenie modely čiernej skrinky, pomôže to tiež. “
Iní sa snažia vymyslieť spôsoby, ako otestovať platnosť algoritmov vytvorením systému kontrol a vyvážení predtým, ako sa algoritmus uvoľní do sveta, tak ako sa testuje každý nový liek.
„Modely sa teraz vyrábajú a zavádzajú príliš rýchlo. Pred vydaním algoritmu neexistuje žiadna riadna validácia, “hovorí Sarah Tan z Cornell University.
V ideálnom prípade by vývojári mali zamiesť stranou známe skreslenia - napríklad pohlavie, vek a rasu - a spustiť interné simulácie, aby otestovali svoje algoritmy na ďalšie problémy.
Medzitým, predtým, ako sa dostaneme k bodu, v ktorom budú všetky algoritmy dôkladne testované pred vydaním, je už možné určiť, ktoré z nich budú ovplyvnené zaujatosťou.
Tan, Caruana a ich kolegovia vo svojej najnovšej práci opísali nový spôsob, ako porozumieť tomu, čo by sa mohlo diať pod algoritmom čiernej skrinky. Vedci vytvorili model, ktorý napodobňuje algoritmus čiernej skrinky a učil sa odhadovať riziko recidívy pomocou údajov COMPAS. Vytvorili tiež ďalší model, ktorý vyškolil údaje z reálneho sveta, aby ukázal, či sa predpokladaný recidivizmus skutočne vyskytol. Porovnanie týchto dvoch modelov umožnilo vedcom posúdiť presnosť predpovedaného skóre bez analýzy algoritmu. Rozdiely vo výsledkoch týchto dvoch modelov môžu naznačovať, ktoré premenné, ako napríklad rasa alebo vek, môžu byť v konkrétnom modeli dôležitejšie. Ich výsledky ukázali, že spoločnosť COMPAS diskriminuje černochov.
Správne navrhnuté algoritmy môžu eliminovať dlhotrvajúce predpojatosti v trestnom súdnictve, polícii a mnohých ďalších oblastiach spoločnosti.
Ilja Khel