Umelá inteligencia Amazonu, navrhnutá tak, aby usporiadala životopisy uchádzačov o zamestnanie, zaradila mužov nad ženy. Najmä zamietol životopisy slovom „ženský“a ponúkol najať kandidátov, ktorí vo svojom prejave používali typické mužské slovesá, aj keď títo ľudia nemali potrebné zručnosti. V dôsledku toho musela spoločnosť projekt uzavrieť.
Umelá HR inteligencia
Experti spoločnosti Amazon na strojové učenie zistili, že umelá inteligencia, ktorá spracúva obnovenie kandidátov na pozície v spoločnosti, diskriminuje ženy hľadajúce prácu. Táto vlastnosť nebola zámerne začlenená do systému - bola výsledkom strojového učenia.
V Amazone sa od roku 2014 vyvíja v triede Amazon pre triedenie motorov na báze umelej inteligencie 12-členný tím v Edinburghu. Už v roku 2015 spoločnosť zaznamenala, že nový systém nerešpektoval zásadu rodovej neutrality pri hodnotení kandidátov na pozície v oblasti vývoja softvéru a iných technických pozícií.
Čoskoro si uvedomili dôvod: faktom je, že systém bol za posledných 10 rokov trénovaný o pokračovaní činnosti spoločnosti. Väčšinu týchto životopisov zadržiavali muži, čo vo všeobecnosti odráža stav v IT priemysle. Výsledkom bolo, že Amazonova umelá inteligencia sa dozvedela, že uchádzači o prácu u mužov sú uprednostňovaní pred ženami.
Jazykové odmietnutie
Propagačné video:
Výsledkom bolo, že umelá inteligencia začala vyraďovať životopisy obsahujúce slovo „žena“v takých výrazoch ako „kapitán ženského šachového klubu“. Tento mechanizmus tiež znížil platovú triedu absolventov dvoch dámskych vysokých škôl, ale zdroje agentúry Reuters nešpecifikovali ich mená. Pri hodnotení životopisov im umelá inteligencia dala medzi jednou až piatimi hviezdičkami - veľmi podobné tomu, ako kupujúci hodnotia produkty na Amazone.
Systém venoval pozornosť aj iným slovám. Vývojári vytvorili 500 počítačových modelov pre rôzne úlohy a geografické polohy. Každý model bol vyškolený na rozpoznávanie asi 50 000 signálnych slov, ktoré boli prítomné v životopise žiadateľa.
Je pozoruhodné, že tento mechanizmus ignoroval slová označujúce zručnosti, ktoré sa často uvádzajú v životopise odborníkov na IT, ako napríklad schopnosť písať rôzne kódy, atď. Namiesto toho systém pri samoopise kandidátov sledoval napríklad typické slovesá pre mužskú reč, ako napríklad „splnené“. (popravené) alebo „zajaté“, pretože boli pravidelne vidieť v starých životopisoch, z ktorých sa stroj poučil. Pri tomto prístupe nebola rodová diskriminácia jediným problémom - mechanizmus často odporúčal ľuďom, ktorí na túto pozíciu nemali potrebné zručnosti.
Ďalší osud projektu
Amazon upravil systém tak, aby už nereagoval na signálne slová. Nejednalo sa však o záruku, že tento mechanizmus nenájde iný spôsob identifikácie životopisov vo vlastníctve žien. Začiatkom roku 2017 sa spoločnosť rozčarovala projektom a rozpustila tím. Podľa zdrojov agentúry Reuters odborníci na ľudské zdroje brali do úvahy odporúčania systému, nikdy sa však nespoliehali iba na ne.
Jeden zo zdrojov hovorí, že projekt je uzavretý. Ďalší argumentuje, že v Edinburghu sa vytvoril nový tím s cieľom pokračovať v rozvoji mechanizmu, ale tentoraz so zameraním na spravodlivosť a začlenenie. Ďalší zdroj uvádza, že na vykonávanie rutinnej práce sa teraz používa výrazne zmenená verzia tohto nástroja, napríklad odstránenie duplicitných obnovených údajov z databázy.