Etika umelej inteligencie a hroziaci debakel, keď zákon v New Yorku vyžadujúci audity pre predsudky AI

Niekedy sú tie najlepšie úmysly žalostne zmarené vážnym nedostatkom pozornosti k detailom.

Skvelý príklad tejto múdrej múdrosti stojí za preskúmanie.

Konkrétne sa pozrime bližšie na nový zákon v New Yorku týkajúci sa umelej inteligencie (AI), ktorý nadobudne účinnosť 1. januára 2023. Môžete ľahko vyhrať veľkú stávku, že nastanú všetky druhy zmätku, zdesenia a problémov. akonáhle zákon vstúpi do platnosti. Hoci problémy nie sú zámerne, nepochybne sa vyskytnú v dôsledku zlého návrhu alebo aspoň nedostatočného stanovenia potrebných detailov, ktoré by sa mali a mohli ľahko vymyslieť a explicitne uviesť.

Mám na mysli miestny zákon prijatý minulý rok 11. decembra 2021 v uctievanom meste New York, ktorý má vstúpiť do platnosti začiatkom roka 2023. V súčasnosti nás delí len niekoľko mesiacov od veľkého prebudenia, ktoré tento nový zákon rozhýbe. Prial by som si, aby som mohol povedať, že ambiciózny zákon bude bez problémov robiť to, čo má robiť, konkrétne riešiť potenciálne zaujatosti AI v oblasti prijímania rozhodnutí o zamestnaní. Žiaľ, hoci je zámer chvályhodný, prevediem vás priepastnými medzerami, opomenutiami a nedostatkom konkrétnosti, ktoré podkopajú tento zákon a privedú zamestnávateľov k šialenstvu, keď sa snažia vyrovnať s nezamýšľanými, no dosť nepriaznivými následkami.

Možno si poviete, že ide o klasický problém presadzovania nedomysleného plánu. Uctievaná zásada pripisovaná Dwightovi Eisenhowerovi bola, že plán je nič, zatiaľ čo plánovanie je všetko. Stručne povedané, tento konkrétny zákon poskytne názorný príklad toho, ako môžu zákonodarcovia niekedy zaostať tým, že nepremyslia vopred potrebné náležitosti, aby zákon plnil svoje chvályhodné ciele a mohol byť prijatý zaručene rozumnými a obozretnými spôsobmi.

Čaká sa debakel.

Výhovorky sa už zoraďujú.

Niektorí odborníci povedali, že nikdy nemôžete úplne špecifikovať zákon a musíte ho vidieť v praxi, aby ste vedeli, aké aspekty zákona je potrebné vyladiť (všeobecná pravda, ktorá je v tomto prípade prekrútená). Okrem toho horlivo argumentujú, že ide najmä o prípad, keď ide o novovznikajúce zákony týkajúce sa AI. Sakra, nabádajú, AI je hi-tech čarodejníctvo, o ktorom ako zákonodarcovia veľa nevieme, takže logika hovorí, že dať niečo na právne stránky je lepšie, ako tam nemať vôbec nič.

Navonok to určite znie presvedčivo. Ponorte sa však hlbšie a uvedomíte si, že je to potenciálne otrasné, vrátane a najmä v prípade tohto špecifického zákona. Tento zákon by mohol byť ľahko stanovený šikovnejšie a uvážlivejšie. Nepotrebujeme čarovné elixíry. Nemusíme čakať, kým nastanú problémy. V čase, keď bol zákon vytvorený, mohol byť stanovený správny druh znenia a podrobnosti.

Uistime sa tiež, že neslušná, vznášajúca sa myšlienka, že aspekty adopcie nemožno vopred odhadnúť, je bolestne absurdná. Je to legálne mávnutie rukou toho najprázdnejšieho druhu. Existuje veľa už známych úvah o riešení zaujatosti AI a vykonávaní auditov AI, ktoré by mohli byť ľahko zapracované do tohto zákona. To isté možno povedať o akejkoľvek inej jurisdikcii, ktorá zvažuje vytvorenie takéhoto zákona. Nenechajte sa oklamať tým, že sa musíme uchýliť len k tomu, aby sme slepo hádzali legálnu šípku do divokého vetra a trpeli úzkosťou. Kúsok právnicky orientovaného myslenia v kombinácii s vhodným pochopením AI je už realizovateľný a nie je potrebné chytať sa len za slamky.

Môžem dodať, že je ešte čas to napraviť. Hodiny stále tikajú. Je možné, že sa zobudíte skôr, ako začnú zvoniť budíky. Potrebné poradenstvo možno odvodiť a oznámiť. Času je málo, takže tomu treba venovať náležitú prioritu.

V každom prípade sa prosím uistite, že tu chápete dôraz.

Dovoľte mi vrúcne objasniť, že takýto zákon týkajúci sa predsudkov AI má svoje opodstatnenie. O chvíľu vysvetlím prečo. Popíšem tiež, aké sú problémy s týmto novým zákonom, o ktorom by mnohí povedali, že je vôbec prvým, ktorý sa dostal do právnických kníh (existujú aj iné variácie, možno nie celkom ako tento).

V skutočnosti môžete očakávať, že podobné zákony budú postupne nadobudnúť platnosť v celej krajine. Jednou z pozoruhodných obáv je, že ak tento pokus o prvý krok v New Yorku dopadne zle, môže to spôsobiť, že zvyšok krajiny bude opatrný pri prijímaní takýchto zákonov. To nie je tá správna lekcia. Správna poučka je, že ak idete písať takýto zákon, robte to rozumne a s náležitou rozvahou.

Zákony vyhodené do účtovníctva bez adekvátneho preverenia môžu byť dosť znepokojujúce a môžu spôsobiť všetky možné problémy. V tomto zmysle, prosím, nevyhadzujte dieťa spolu s vodou vo vani (staré príslovie, pravdepodobne by malo byť na dôchodku). Podstatou je, že takéto zákony môžu byť skutočne produktívne a ochranné, ak sú správne zostavené.

Tento konkrétny to, žiaľ, za bránu nespraví.

Všetky druhy paniky musia pochádzať od zákonodarcov a vymáhateľov zákona. Poznačte si do kalendára koniec januára a február 2023, aby ste mohli sledovať, ako nastanú ťahanice. Ukazovanie prstom bude nesmierne intenzívne.

Momentálne nikto zvlášť nekričí, pretože zákon ešte nepristál na hlavách zamestnávateľov, ktorých nový zákon zničí. Predstavte si, že toto je metaforicky povedané zemetrasenie svojho druhu, ktoré sa má odohrať v prvých týždňoch roku 2023. Málokto sa na zemetrasenie pripravuje. Mnohí ani nevedia, že zemetrasenie je už zapísané v kalendári. Všetko, čo bolo povedané, akonáhle dôjde k zemetraseniu, veľa veľmi prekvapených a šokovaných podnikov sa bude čudovať, čo sa stalo a prečo muselo dôjsť k neporiadku.

To všetko má mimoriadne významné dôsledky na etiku AI a ponúka praktické okno do získaných skúseností (ešte predtým, ako sa stanú všetky lekcie), pokiaľ ide o uzákonenie AI. Pokiaľ ide o moje pokračujúce a rozsiahle pokrytie etiky AI, Etická umelá inteligencia spolu so zákonom o AI v rámci právnych aspektov riadenia AI nájdete na odkaz tu a odkaz tu, len aby sme vymenovali aspoň niektoré.

Tento právny príbeh o utrpení sa týka skôr vznikajúcich obáv týkajúcich sa dnešnej AI a najmä používania strojového učenia (ML) a hlbokého učenia (DL) ako formy technológie a spôsobu ich využívania. Viete, existujú spôsoby použitia ML/DL, ktoré majú tendenciu zahŕňať antropomorfizáciu AI širokou verejnosťou, ktorá verí alebo sa rozhodne predpokladať, že ML/DL je buď vnímajúca AI, alebo je jej blízko (nie je). Okrem toho môže ML/DL obsahovať aspekty porovnávania výpočtových vzorov, ktoré sú nežiaduce alebo úplne nevhodné alebo nezákonné z etického alebo právneho hľadiska.

Mohlo by byť užitočné najprv objasniť, čo mám na mysli, keď hovorím o AI celkovo, a tiež poskytnúť stručný prehľad strojového učenia a hlbokého učenia. Existuje veľký zmätok, pokiaľ ide o to, čo znamená umelá inteligencia. Rád by som vám tiež predstavil zásady etiky AI, ktoré budú obzvlášť neoddeliteľnou súčasťou zvyšku tohto diskurzu.

Vyhlásenie rekordu o AI

Uistime sa, že sme na rovnakej stránke o povahe dnešnej AI.

Dnes neexistuje žiadna umelá inteligencia, ktorá by bola vnímavá.

Toto my nemáme.

Nevieme, či bude vnímajúca AI možná. Nikto nemôže vhodne predpovedať, či dosiahneme vnímajúcu AI, ani to, či sa vnímajúca AI nejakým zázrakom spontánne objaví vo forme výpočtovej kognitívnej supernovy (zvyčajne označovanej ako The Singularity, pozri moje pokrytie na odkaz tu).

Uvedomte si, že dnešná AI nie je schopná „myslieť“ žiadnym spôsobom na rovnakej úrovni ako ľudské myslenie. Keď komunikujete s Alexou alebo Siri, konverzačné schopnosti sa môžu zdať podobné ľudským schopnostiam, ale realita je taká, že sú výpočtové a chýba im ľudské poznanie. Najnovšia éra AI vo veľkej miere využíva strojové učenie a hlboké učenie, ktoré využívajú porovnávanie výpočtových vzorov. To viedlo k systémom AI, ktoré vyzerajú ako ľudské sklony. Medzitým dnes neexistuje žiadna umelá inteligencia, ktorá by mala zdanie zdravého rozumu, ani žiadny z kognitívnych zázrakov robustného ľudského myslenia.

Súčasťou problému je naša tendencia antropomorfizovať počítače a najmä AI. Keď sa zdá, že počítačový systém alebo AI koná spôsobom, ktorý si spájame s ľudským správaním, existuje takmer ohromujúca túžba pripísať systému ľudské vlastnosti. Je to bežná mentálna pasca, ktorá dokáže chytiť aj toho najneústupnejšieho skeptika, pokiaľ ide o šance dosiahnuť rozum.

To je do istej miery dôvod, prečo je etika AI a etická AI taká kľúčová téma.

Prikázania etiky AI nás vedú k tomu, aby sme zostali ostražití. Technológovia umelej inteligencie môžu byť niekedy zaujatí technológiou, najmä optimalizáciou špičkových technológií. Nezohľadňujú nevyhnutne väčšie spoločenské dôsledky. Mať etické myslenie AI a robiť to integrálne s vývojom a zavádzaním AI je nevyhnutné na vytváranie vhodnej AI vrátane hodnotenia toho, ako firmy prijímajú etiku AI.

Okrem používania etických zásad AI vo všeobecnosti existuje zodpovedajúca otázka, či by sme mali mať zákony upravujúce rôzne spôsoby použitia AI. Na federálnej, štátnej a miestnej úrovni sa hromadia nové zákony, ktoré sa týkajú rozsahu a povahy toho, ako by mala byť navrhnutá AI. Snaha vypracovať a prijať takéto zákony je postupná. Etika AI slúži prinajmenšom ako zvažovaná prestávka a takmer určite bude do určitej miery priamo začlenená do týchto nových zákonov.

Uvedomte si, že niektorí neústupne tvrdia, že nepotrebujeme nové zákony, ktoré pokrývajú AI, a že naše existujúce zákony sú dostatočné. Varujú pred tým, že ak prijmeme niektoré z týchto zákonov AI, zabijeme zlatú hus tým, že potlačíme pokroky v AI, ktoré ponúkajú obrovské spoločenské výhody. Pozrite si napríklad moje pokrytie na odkaz tu.

V predchádzajúcich stĺpcoch som popísal rôzne národné a medzinárodné snahy o vytvorenie a prijatie zákonov regulujúcich AI, pozri odkaz tu, napríklad. Zaoberal som sa aj rôznymi princípmi a usmerneniami etiky umelej inteligencie, ktoré identifikovali a prijali rôzne národy, vrátane napríklad úsilia Organizácie Spojených národov, ako je súbor etiky umelej inteligencie UNESCO, ktorý prijalo takmer 200 krajín, pozri odkaz tu.

Tu je užitočný základný zoznam etických kritérií alebo charakteristík AI systémov AI, ktoré som predtým podrobne preskúmal:

  • Priehľadnosť
  • Spravodlivosť a spravodlivosť
  • Neškodnosť
  • zodpovednosť
  • súkromia
  • dobročinnosť
  • Sloboda a autonómia
  • Verte
  • Udržateľnosť
  • dôstojnosť
  • Solidarita

Predpokladá sa, že tieto princípy etiky AI budú vážne využívať vývojári AI spolu s tými, ktorí riadia úsilie o vývoj AI, a dokonca aj tými, ktorí v konečnom dôsledku nasadzujú a vykonávajú údržbu systémov AI. Všetky zainteresované strany počas celého životného cyklu vývoja a používania AI sa zohľadňujú v rámci dodržiavania zavedených noriem Etickej umelej inteligencie. Toto je dôležitý bod, pretože zvyčajným predpokladom je, že „iba kóderi“ alebo tí, ktorí programujú AI, podliehajú etike AI. Ako už bolo zdôraznené vyššie, na vymyslenie a nasadenie AI je potrebná dedina, v ktorej musí byť celá dedina oboznámená a dodržiavať etické predpisy AI.

Nechajme veci pri zemi a sústreďme sa na dnešnú výpočtovú necitlivú AI.

ML/DL je forma porovnávania výpočtových vzorov. Zvyčajný prístup je taký, že zhromažďujete údaje o úlohe rozhodovania. Dáta vložíte do počítačových modelov ML/DL. Tieto modely sa snažia nájsť matematické vzorce. Po nájdení takýchto vzorov, ak sa nájdu, systém AI potom použije tieto vzory pri stretnutí s novými údajmi. Po predložení nových údajov sa na vyvodenie aktuálneho rozhodnutia použijú vzory založené na „starých“ alebo historických údajoch.

Myslím, že viete hádať, kam to smeruje. Ak ľudia, ktorí sa rozhodovali podľa vzoru, začlenili do seba nepriaznivé predsudky, je pravdepodobné, že údaje to odrážajú jemným, ale významným spôsobom. Zhoda výpočtových vzorov Machine Learning alebo Deep Learning sa jednoducho pokúsi zodpovedajúcim spôsobom matematicky napodobniť údaje. Neexistuje žiadne zdanie zdravého rozumu alebo iných vnímavých aspektov modelovania vytvoreného AI ako takého.

Okrem toho si vývojári AI nemusia uvedomiť, čo sa deje. Tajomná matematika v ML/DL môže sťažiť odhalenie teraz skrytých predsudkov. Oprávnene by ste dúfali a očakávali, že vývojári AI budú testovať potenciálne skryté predsudky, hoci je to zložitejšie, ako by sa mohlo zdať. Existuje solídna šanca, že aj pri relatívne rozsiahlom testovaní budú v modeloch zhody vzorov ML/DL stále zakomponované odchýlky.

Do istej miery by ste mohli použiť známe alebo neslávne známe príslovie o odpadkoch do odpadu. Ide o to, že je to skôr podobné zaujatostiam – in, ktoré sa zákerne naplnia, keď sa predsudky ponoria do AI. Algoritmus rozhodovania (ADM) AI je axiomaticky zaťažený nerovnosťami.

Nie dobré.

Verím, že som teraz pripravil pôdu na to, aby som dostatočne prediskutoval úlohu AI v rámci kategórie tichého ukončenia.

AI, ktorá sa používa pri rozhodovaní o zamestnaní

Zákon mesta New York sa zameriava na tému rozhodovania o zamestnaní.

Ak ste sa v poslednej dobe pokúšali uchádzať o modernú prácu takmer kdekoľvek na tejto zemi, pravdepodobne ste sa v procese rozhodovania o zamestnaní stretli s prvkom založeným na AI. Samozrejme, možno neviete, že tam je, pretože by to mohlo byť skryté v zákulisí a nemali by ste žiadny pripravený spôsob, ako rozoznať, že bol zapojený systém AI.

Bežná fráza používaná na označenie týchto systémov AI je, že sa berú do úvahy Nástroje na automatizované rozhodovanie o zamestnaní, skrátene AEDT.

Pozrime sa, ako zákon NYC definoval tieto nástroje alebo aplikácie, ktoré zahŕňajú rozhodovanie o zamestnaní:

  • „Pojem „automatizovaný nástroj na rozhodovanie o zamestnaní“ znamená akýkoľvek výpočtový proces odvodený od strojového učenia, štatistického modelovania, analýzy údajov alebo umelej inteligencie, ktorý vydáva zjednodušený výstup vrátane skóre, klasifikácie alebo odporúčania, ktorý sa používa na podstatnú pomoc resp. nahradiť rozhodovanie podľa vlastného uváženia pri prijímaní rozhodnutí o zamestnaní, ktoré majú vplyv na fyzické osoby. Pojem „automatizovaný nástroj na rozhodovanie o zamestnaní“ nezahŕňa nástroj, ktorý neautomatizuje, nepodporuje, podstatne nepomáha ani nenahrádza rozhodovacie procesy podľa vlastného uváženia a ktorý nemá podstatný vplyv na fyzické osoby, vrátane, ale nie výlučne, filtra nevyžiadanej pošty, firewall, antivírusový softvér, kalkulačka, tabuľkový procesor, databáza, súbor údajov alebo iná kompilácia údajov“ (NYC, Int 1894-2020, podkapitola 25, oddiel 20-870).

Stručne preskúmam toto znenie, pretože je nevyhnutné pre celú povahu a rozsah zákona.

Po prvé, ako som už mnohokrát uviedol vo svojich spisoch, jedna z najťažších prekážok pri písaní zákonov o AI spočíva v snahe adekvátne definovať, čo AI znamená. Neexistuje žiadny jednotný, plne dohodnutý právne nepriestrelný štandard, na ktorý by všetci pristáli. Existujú všetky druhy definícií. Niektoré sú užitočné, iné nie. Pozrite si moje analýzy na odkaz tu.

Môžete byť v pokušení myslieť si, že nezáleží na tom, ako by sme mohli AI definovať. Prepáč, ale v tom by si sa mýlil.

Problém je v tom, že ak je definícia AI v danom zákone nejasne špecifikovaná, umožňuje tým, ktorí vyvíjajú AI, pokúsiť sa obísť zákon zdanlivým tvrdením, že ich softvér alebo systém nie je obohatený o AI. S veľkou drzosťou by tvrdili, že na ich softvér sa zákon nevzťahuje. Podobne by niekto, kto používa softvér, mohol tvrdiť, že sa ho zákon netýka, pretože softvér alebo systém, ktorý používa, nespadá do definície AI uvedenej v zákone.

Ľudia sú takí zákerní.

Jedným z najdômyselnejších spôsobov, ako sa vyhnúť tomu, aby ste sa nedali prevalcovať zákonom, ktorý vám nevyhovuje, je tvrdiť, že zákon sa na vás nevzťahuje. V tomto prípade by ste sa snažili po častiach rozobrať definíciu AEDT. Vaším cieľom, za predpokladu, že nechcete, aby bol zákon na vašom chrbte, by bolo právne tvrdiť, že definícia uvedená v zákone je nesprávna v tom, čo je alebo robí váš počítačový systém súvisiaci so zamestnaním.

Zákonu tohto druhu možno pomôcť a niekedy aj podkopať tým, že sa do definície zámerne zahrnú vylučujúce ustanovenia.

Znova sa pozrite na definíciu AEDT, ako je uvedená v tomto zákone. Dúfajme, že ste si všimli, že existuje vylučujúca klauzula, ktorá hovorí „...nezahŕňa nástroj, ktorý neautomatizuje, nepodporuje, podstatne nepomáha ani nenahrádza rozhodovacie procesy podľa vlastného uváženia a ktorý nemá materiálny vplyv na fyzické osoby...“.

Na jednej strane je základ pre zahrnutie takéhoto vylúčenia rozhodne užitočný.

Zdá sa, že to naznačuje (podľa môjho laického názoru), že AEDT musí poskytovať špecifický účel a musí sa využívať vecným spôsobom. Ak je AEDT, povedzme zbežné alebo okrajové, a ak je rozhodnutie o zamestnaní stále skôr robené ľudskou rukou, možno by sa používaný softvérový systém nemal chápať ako AEDT. Taktiež, ak softvér alebo systém „materiálne“ neovplyvňuje fyzické osoby (ľudí), potom sa nezdá, že by stálo za to držať nohy pri ohni.

Rozumne, nechcete, aby zákon prehnal svoj rozsah a pohltil všetko vrátane kuchynského drezu. Takéto konanie je v podstate nespravodlivé a zaťažujúce pre tých, ktorých zákon nezamýšľal zahrnúť. Môžu sa chytiť do bahna, ktoré funguje ako jedna z tých univerzálnych sietí. Naše zákony by si zrejme mali dávať pozor, aby nevťahovali nevinných do pôsobnosti zákona.

Všetko je dobré a dobré.

Dômyselný právnik si musí uvedomiť, že vylučujúca klauzula môže byť istým druhom legálnej karty na únik z väzenia (okrem toho, tento konkrétny zákon stanovuje občianskoprávne sankcie, nie trestné sankcie, takže dostať von z väzenia poznámka je len metaforická a má výraznú chuť). Ak by niekto tvrdil, že spoločnosť používa AEDT pri spracúvaní zamestnania, jedným z prvých spôsobov, ako sa pokúsiť prekonať toto tvrdenie, by bolo tvrdiť, že takzvaná AEDT bola v skutočnosti vo sfére vylúčenia. Môžete sa pokúsiť ukázať, že takzvaná AEDT nie automatizovať rozhodnutie o zamestnaní, alebo nie podpora rozhodnutie o zamestnaní, alebo nie podstatne pomôcť or nahradiť diskrečné rozhodovacie procesy.

Potom môžete prejsť kľukatou cestou identifikácie toho, čo v tomto kontexte znamenajú slová „automatizovať“, „podporovať“, „podstatne pomáhať“ alebo „nahrádzať“. Je to celkom šikovná legálna králikáreň. Mohlo by sa uviesť, že softvér alebo systém, o ktorom sa tvrdí, že je AEDT, je súčasťou vylučujúcich označení. Preto žiadna škoda, žiadny faul, pokiaľ ide o tento konkrétny zákon.

Je zrejmé, že takéto záležitosti by sa mali konzultovať s licencovanými právnikmi (v tomto dokumente nie je uvedené žiadne zdanie právneho poradenstva a je to čisto laický názor).

Chcem tu povedať, že v tomto novom zákone bude priestor na kolísanie. Miesta na kývanie umožní niektorým zamestnávateľom, ktorí skutočne používajú AEDT, nájsť medzeru, ako obísť používanie AEDT. Druhou stranou tejto mince je, že môžu existovať firmy, ktoré skutočne nepoužívajú AEDT, ktoré sa chytia do pasce tohto zákona. Možno tvrdiť, že čokoľvek, čo používali, bolo skutočne AEDT, a budú musieť nájsť spôsob, ako preukázať, že ich softvér alebo systémy nespadajú pod AEDT a patria do vylučujúceho ustanovenia.

Môžeme urobiť túto odvážnu predpoveď:

  • Nepochybne budú existovať zamestnávatelia, ktorí vedome používajú AEDT, ktorí sa potenciálne pokúsia zbaviť sa svojich právnych povinností.
  • Nevyhnutne sa vyskytnú zamestnávatelia, ktorí nepoužívajú AEDT, uviaznu v tvrdeniach, že používajú AEDT, čo ich prinúti vynaložiť „extra“ úsilie, aby ukázali, že nepoužívajú AEDT.

Keď sa v tejto diskusii dostaneme ďalej, budem ďalej vysvetľovať tieto početné permutácie a kombinácie. Máme oveľa viac pôdy, na ktorú musíme ísť.

Používanie AEDT samo o sebe nie je súčasťou tohto problému, ktorý vyvoláva demonštratívne obavy, je to spôsob, akým AEDT vykonáva svoje činnosti, ktoré vyvolávajú legálny hnev. Podstatou je, že ak AEDT pravdepodobne zavádza aj predsudky súvisiace s rozhodovaním o zamestnaní, potom ste v potenciálne horúcej vode (tak trochu).

Ako máme vedieť, či AEDT v skutočnosti vnáša do rozhodovania o zamestnaní zaujatosti plné AI?

Odpoveď podľa tohto zákona je, že sa má vykonať audit AI.

Predtým a často som sa zaoberal povahou auditov AI a tým, čo sú, spolu s uvedením existujúcich nevýhod a zle definovaných aspektov, ako napr. odkaz tu a odkaz tu, medzi mnohými inými podobnými príspevkami. Jednoducho povedané, predstava je taká, že rovnako ako môžete vykonať finančný audit firmy alebo vykonať technologický audit týkajúci sa počítačového systému, môžete vykonať audit systému AI. Pomocou špecializovaných audítorských techník, nástrojov a metód skúmate a hodnotíte, z čoho pozostáva systém umelej inteligencie, vrátane napríklad snahy zistiť, či obsahuje skreslenia jedného alebo druhého druhu.

Toto je rastúca oblasť pozornosti.

Môžete očakávať, že táto podoblasť auditu, ktorá sa venuje auditu AI, bude naďalej rásť. Je zrejmé, že čím viac systémov umelej inteligencie bude uvádzaných na trh, a tým sa bude čoraz viac dožadovať auditov AI. K tomu pomôžu nové zákony. Aj bez týchto zákonov bude auditov AI veľa, pretože ľudia a spoločnosti tvrdia, že im AI ublížila, a budú sa snažiť poskytnúť hmatateľný zdokumentovaný náznak, že škoda bola prítomná a spojená s používanou AI.

Audítori AI budú veľmi žiadaní a žiadaní.

Môže to byť vzrušujúca práca. Jedným možno vzrušujúcim prvkom je ponorenie sa do najnovšej a najväčšej umelej inteligencie. AI stále napreduje. Keď sa to stane, bystrý audítor AI bude musieť držať palce. Ak ste audítorom, ktorého už omrzelo robiť každodenné konvenčné audity, sľubuje vám vždy nová audítorská aréna AI, ktorá otvára oči (hovorím to preto, aby som čiastočne pozdvihol postavenie audítorov, pretože sú často neohlásenými hrdinami pracujúcimi v zákopoch a majú tendenciu byť pre svoje snahy zanedbávané).

Okrem toho som certifikovaným audítorom počítačových systémov (jedným z týchto označení je CISA) a počas mnohých rokov som mnohokrát vykonal audity IT (Information Technology), vrátane auditov AI. Väčšinou sa vám za takéto úsilie nedostane uznania, ktoré by si zaslúžilo. Asi tušíte prečo. Vo všeobecnosti majú audítori tendenciu nájsť veci, ktoré sú nesprávne alebo pokazené. V tomto zmysle sú celkom nápomocní, aj keď to niektorí môžu vnímať ako zlé správy a posol zlých správ zvyčajne nie je špeciálne umiestnený na piedestál.

Späť k veci.

Čo sa týka zákona NYC, tu je to, čo zákon hovorí o audite AI a snahe odhaliť predsudky AI:

  • „Pojem „predpojatý audit“ znamená nestranné hodnotenie nezávislého audítora. Takýto audit zaujatosti zahŕňa, ale nie je obmedzený na testovanie automatizovaného nástroja na rozhodovanie o zamestnaní, aby sa posúdil rozdielny vplyv nástroja na osoby akejkoľvek kategórie komponentu 1, ktoré musia zamestnávatelia hlásiť podľa pododdielu (c) oddielu 2000e-8 názvu 42 kódexu Spojených štátov amerických, ako je uvedené v časti 1602.7 hlavy 29 kódexu federálnych predpisov“ (NYC, Int 1894-2020, podkapitola 25, oddiel 20-870).

Ako rekapituláciu uvádzame, kde sme zatiaľ pri rozbaľovaní tohto zákona:

  • Zákon sa vzťahuje na nástroje automatizovaného rozhodovania o zamestnaní (AEDT)
  • Definícia druhov je zahrnutá na identifikáciu toho, čo je AEDT
  • V definícii AEDT sa uvádzajú aj vylučujúce ustanovenia
  • Podstatou je, že zákon chce odhaliť zaujatosti AI v AEDT
  • Ak chcete zistiť, či sú prítomné zaujatosti AI, je potrebné vykonať audit AI
  • Audit AI pravdepodobne odhalí akékoľvek zaujatosti AI

Nabudúce sa môžeme pohrabať trochu viac v zákone.

Z čoho pozostáva rozhodnutie o zamestnaní:

  • „Pojem „rozhodnutie o zamestnaní“ znamená preverenie kandidátov na zamestnanie alebo zamestnancov na povýšenie v rámci mesta“ (NYC, Int 1894-2020, podkapitola 25, oddiel 20-870).

Všimnite si, že ohraničujúci aspekt „mesta“ naznačuje, že záležitosť sa týka iba okolností súvisiacich so zamestnaním v NYC. Tiež stojí za zmienku, že rozhodnutie o zamestnaní, ako je definované, zahŕňa preverovanie kandidátov, čo je zvyčajná konotácia toho, čo považujeme za rozhodnutie o zamestnaní, plus zahŕňa aj povýšenie.

Ide o dvojitú pohromu v tom zmysle, že firmy si budú musieť uvedomiť, že musia mať prehľad o tom, ako sa ich AEDT (ak ho používajú) používa na počiatočné nastavenie zamestnania a tiež pri povyšovaní v rámci firmy. Pravdepodobne môžete hádať alebo predpokladať, že mnohé firmy si nebudú celkom vedomé toho, že prvok propagácie je súčasťou tejto rubriky. Nevyhnutne prehliadnu túto dodatočnú konštrukciu na vlastné nebezpečenstvo.

Ďalej uvediem ďalší kľúčový výňatok zo zákona, aby som objasnil podstatu toho, čo sa týmto zákonom vykladá ako nezákonné:

  • „Požiadavky na automatizované nástroje rozhodovania o zamestnaní. a. V meste je nezákonné, aby zamestnávateľ alebo pracovná agentúra používali automatizovaný nástroj na rozhodovanie o zamestnaní na preverovanie kandidáta alebo zamestnanca na rozhodnutie o zamestnaní, pokiaľ: 1. Takýto nástroj nebol predmetom auditu zaujatosti vykonaného najviac jeden rok pred použitím takéhoto nástroja; a 2. Súhrn výsledkov posledného auditu zaujatosti takéhoto nástroja, ako aj dátum distribúcie nástroja, na ktorý sa takýto audit vzťahuje, bol verejne dostupný na webovej stránke zamestnávateľa alebo pracovnej agentúry pred použitím takýto nástroj…“ (NYC, Int 1894-2020, podkapitola 25, sekcia 20-871). Existujú ďalšie články, ktoré si možno budete chcieť pozrieť, ak vás veľmi zaujíma právne znenie.

Skeptici a kritici tvrdili, že to vyzerá trochu vlažne, pokiaľ ide o nezákonnú činnosť, ktorá sa vyvoláva.

Hovorí sa, že zákon sa zameriava len úzko a minimálne vykonávajúci audit AI a zverejňovanie výsledky, a nie to, či audit AI odhalil zaujatosť AI a aké dôsledky to malo pri prijímaní rozhodnutí o zamestnaní, ktoré patria do pôsobnosti tohto zákona. V podstate je to zrejme nezákonné nie rozhodnúť sa pre vykonanie takéhoto auditu AI (ak je to možné, ako bolo uvedené vyššie), navyše je to nezákonné aj v prípade, ak audit AI vykonávate, ale nie zverejniť to.

Zdá sa, že zákon mlčí o otázke, či boli odhalené a prítomné zaujatosti AI alebo nie. Podobne mlčanie o tom, či predsudky AI ovplyvnili niekoho súvisiaceho s najvýznamnejšou činnosťou pri rozhodovaní o zamestnaní. Kľúčom je zdanlivo „iba“ vykonať audit AI a povedať o ňom.

Nezachádza tento zákon dostatočne ďaleko?

Časť protiargumentu na tvrdenie, že je to zdanlivo uspokojivé, pokiaľ ide o rozsah alebo rozsah toho, čo tento zákon zahŕňa, je, že ak audit AI zistí zaujatosti AI a ak sú tieto zaujatosti spojené s konkrétnymi prípadmi rozhodovania o zamestnaní, osoba alebo osoby takto poškodené by mohli zamestnávateľa stíhať pod ďalšie zákonov. Preto nie je potrebné zahrnúť tento aspekt do tohto konkrétneho zákona.

Údajne má tento zákon priniesť takéto veci na svetlo.

Akonáhle sa na tieto nevhodné praktiky dostane svetlo sveta, možno využiť všetky možné ďalšie právne cesty, ak existujú predsudky AI a majú vplyv na ľudí. Bez tohto zákona sa argumentuje tým, že tí, ktorí používajú AEDT, by to robili, pričom by sa mohli zblázniť a mali by potenciálne veľa predsudkov AI, o ktorých by tí, ktorí hľadajú zamestnanie alebo ktorí hľadajú povýšenie, nevedeli, že sa deje.

Vyneste ich na povrch. Nechajte ich povedať. Choďte pod kapotu. Pozrite sa, čo je vo vnútri toho motora. To je v tomto prípade mantra. Z tohto objavovania a rozprávania je možné podniknúť ďalšie akcie.

Okrem hľadania právnych krokov v dôsledku objasnenia, že audit AI pravdepodobne hlásil, že boli prítomné zaujatosti AI, existuje aj presvedčenie, že zverejnenie týchto výsledkov bude mať dôsledky na reputáciu. Zamestnávatelia, ktorí sú predvádzaní ako používajúci AEDT so zaujatosťou AI, budú pravdepodobne trpieť spoločenským hnevom, napríklad prostredníctvom sociálnych médií a podobne. Budú odhalení za svoje zlé činy a zahanbení, aby napravili svoje správanie, a môžu sa tiež ocitnúť bez ľudí, ktorí sa tam snažia pracovať, kvôli ťažkostiam, ktoré AI zaujatosti bránia najímaniu alebo uzurpovaniu povýšení.

Uvedené sankcie spojené s nezákonnosťou sú tieto:

  • „Penalty. a. Akákoľvek osoba, ktorá poruší akékoľvek ustanovenie tejto podkapitoly alebo akékoľvek pravidlo vyhlásené podľa tejto podkapitoly, bude zodpovedná za občiansky trest najviac 500 USD za prvé porušenie a každé ďalšie porušenie, ku ktorému dôjde v ten istý deň ako prvé porušenie, a nie menej ako 500 USD a nie viac ako 1,500 1894 USD za každé nasledujúce porušenie“ (NYC, Int 2020-25, podkapitola 20, sekcia 872-XNUMX). Existujú ďalšie články, ktoré si možno budete chcieť pozrieť, ak vás veľmi zaujíma právne znenie.

Skeptici a kritici tvrdia, že tresty nie sú dostatočne prísne. Veľká firma by sa údajne posmievala alebo sa zasmiala nad nepatrnými dolárovými pokutami. Iní poukazujú na to, že pokuta môže byť v konečnom dôsledku vyššia, než sa na prvý pohľad zdá, takže ak by firma mala každý deň porušiť tisíc dolárov (iba jeden scenár, existuje veľa iných scenárov), hodnota za rok by bola približne 365,000 XNUMX dolárov za predpokladu, že firma jednoducho celý rok ignorovala zákon a prešlo jej to (zdá sa, že je ťažké si to predstaviť, ale môže sa to stať a môže sa to stať aj dlhšie alebo teoreticky za vyššiu kulmináciu denných pokút).

Niektorí sa medzitým obávajú menších podnikateľov a s tým spojených pokút. Ak pokutu zasiahne malý podnik, ktorý ledva zarába, a údajne tak neurobil z úmyselnej motivácie obchádzať zákon, pokuty by mohli podstatne ovplyvniť jeho nestále podnikanie.

Problémové otázky týkajúce sa základného kameňa

Mám na vás jednoduchú a priamočiaru otázku.

Čo presne v kontexte tohto zákona predstavuje audit AI?

Problémom je, že v naratíve zákona neexistuje žiadna definitívna indikácia. Zdá sa, že nám bolo povedané len to, že „audit predpojatosti“ sa má vykonávať prostredníctvom „nestranného hodnotenia nezávislým audítorom“ (v zmysle znenia zákona).

Cez tú dieru môžete prejsť s kamiónom Mac.

Tu je dôvod.

Zvážte tento dosť znepokojujúci príklad. Podvodník kontaktuje firmu v NYC a vysvetľuje, že poskytujú službu tak, že vykonajú takzvaný „audit zaujatosti“ ich AEDT. Sľubujú, že tak urobia „nestranne“ (nech už to znamená čokoľvek). Vystupujú ako nezávislý audítor a pomazali sa za jedného audítora. Nie je potrebné žiadne účtovné alebo audítorské školenie, tituly, certifikácie alebo čokoľvek podobného. Možno si dajú tú námahu a vytlačia si nejaké vizitky alebo narýchlo vytvoria webovú stránku, na ktorej chvália postavenie nezávislého audítora.

Budú účtovať firme mierny poplatok povedzme 100 dolárov. Ich služba pozostáva z položenia niekoľkých otázok o AEDT a potom vyhlásenia, že AEDT je ​​nezaujaté. Potom pošlú správu s veľkosťou jednej strany a deklarujú „výsledky“ takzvaného auditu. Spoločnosť to poslušne zverejňuje na svojej webovej stránke.

Dodržala firma tento zákon?

Povedz mi.

Zdá sa, že majú.

Môžete byť okamžite zaskočení, že audit bol vykonaný zbežným spôsobom (v tomto konkrétnom scenári je to zdvorilé a veľkorysé). Možno vás znepokojí, že detekcia skreslenia (alebo jej absencia) bola možno v podstate vopred určená (voila, zdá sa, že ste bez zaujatosti). Môžete byť naštvaní, že zverejnené výsledky by mohli vyvolať dojem, že ste prešli prísnym auditom skúseným, vyškoleným, skúseným a certifikovaným audítorom v dobrej viere.

Áno, to sa týka veľkosti vecí.

Zamestnávateľovi by sa mohlo uľaviť, že splnili túto „hlúpu“ požiadavku, a môže byť šťastný, že ho to stálo iba úbohých 100 dolárov. Zamestnávateľ si možno vnútorne a potichu uvedomí, že nezávislý audit bola šaráda, ale zdá sa, že to nie je na jeho pleciach, aby rozhodol. Bol im predložený požadovaný nezávislý audítor, audítor vykonal prácu, o ktorej audítor povedal, že je v súlade, firma za to zaplatila, dostali výsledky a výsledky zverejnili.

Niektorí zamestnávatelia to urobia a uvedomia si, že postupujú v súlade so zákonom. Napriek tomu budú veriť, že sú plne v súlade.

Ostatní zamestnávatelia môžu byť podvedení. Jediné, čo vedia, je potreba dodržiavať zákon. Našťastie pre nich (alebo to aspoň predpokladajú) ich kontaktuje „nezávislý audítor“ a sľúbi, že audit sťažností a výsledok môžu byť za 100 dolárov. Aby sa vyhla dennej pokute 500 dolárov alebo viac, firma si myslí, že jej dali dar z nebies. Zaplatia 100 dolárov, prebehne „audit“, dostanú bezplatný zdravotný list týkajúci sa nedostatku zaujatosti AI, zverejnia výsledky a zabudnú na to, kým nabudúce nebudú musieť urobiť ďalší takýto audit. .

Ako má každá firma v New Yorku, na ktorú sa vzťahuje tento zákon, vedieť, čo je v dobrej viere dodržiavanie zákona?

V prípade, že sa vám už tak trochu nedvíha žalúdok, môžeme situáciu ešte zhoršiť. Dúfam, že ste za posledných pár hodín nejedli, pretože bude ťažké udržať ďalšie zvraty nedotknuté.

Ste pripravení?

Ukázalo sa, že tento poskytovateľ falošných služieb je väčším kladivom, ako ste si možno mysleli. Prinútia firmu, aby sa prihlásila do služby v hodnote 100 USD, aby vykonala audit nestranného zaujatosti ako nezávislý audítor. Hľa, vykonajú „audit“ a zistia, že v každom kúte a rohu AEDT sú predsudky.

Majú predsudky AI ako zamorenie švábmi.

Fuj, hovorí firma, čo s tým môžeme urobiť?

Nie je problém, hovorí sa, že tieto predsudky AI môžeme opraviť za vás. Bude vás to stáť len 50 dolárov za každé zistené skreslenie. Dobre, firma hovorí, opravte ich, ďakujeme za to. Poskytovateľ služby trochu zakóduje a povie firme, že opravili sto skreslení AI, a preto im bude účtovať 5,000 50 USD (to je 100 USD za každé skreslenie AI, ktoré sa má opraviť, vynásobené XNUMX nájdenými).

Ach, firma sa cíti ako priškrtená, ale stále je to lepšie, ako čeliť 500 alebo viac dolárov za deň porušovaniu pravidiel, takže zaplatia „nezávislému audítorovi“ a potom dostanú novú správu, v ktorej ukážu, že sú teraz bez zaujatosti. Toto hrdo uverejňujú na svojej webovej stránke.

Netušia, že to bol podvod, podvod, podvod.

Môžete trvať na tom, že tento poskytovateľ služieb by mal byť potrestaný za svoje podvody. Chytiť a zastaviť týchto podvodníkov bude oveľa ťažšie, ako si dokážete predstaviť. Rovnako ako ísť za tými princami so sídlom v zahraničí, ktorí majú pre vás majetok, sú pravdepodobne v cudzej krajine mimo dosahu zákonov Spojených štátov, to isté sa môže stať aj v tomto prípade.

Očakávajte, že sa vďaka tomuto novému zákonu objaví domácky priemysel.

Budú existovať bona fide audítori, ktorí sa budú snažiť poskytovať tieto služby. Dobré pre nich. Po tejto práci budú útržkovití audítori. Po tejto práci pôjdu falošne vyhlásení audítori.

Spomenul som, že scenár poskytovateľa služieb zahŕňal požiadavku na 100 dolárov za vykonanie takzvaného auditu AI. Bol to len vymyslený zástupný symbol. Možno si niektorí budú účtovať 10 dolárov (zdá sa to útržkovité). Možno nejakých 50 dolárov (stále útržkovité). Atď.

Predpokladajme, že poskytovateľ služieb hovorí, že vykonanie práce bude stáť 10,000 XNUMX dolárov.

Alebo 100,000 XNUMX dolárov za to.

Možno za to 1,000,000 XNUMX XNUMX dolárov.

Niektorí zamestnávatelia nebudú mať žiadnu predstavu o tom, koľko by to mohlo alebo malo stáť. Marketing týchto služieb bude bezplatný pre všetkých. Toto je zákon o zarábaní peňazí pre tých, ktorí oprávnene vykonávajú tieto služby, a o zarábaní peňazí pre tých, ktorí sú pri tom tiež nepochopení. Bude ťažké vedieť, ktorý je ktorý.

Poprosím vás tiež, aby ste uvažovali o ďalšej otvorenej diere.

Čo presne v kontexte tohto zákona predstavuje zaujatosť AI?

Okrem zmienky o kódexe federálnych predpisov Spojených štátov (toto zvlášť neodpovedá na otázku zaujatosti AI a neslúži teda ako brzdná medzera alebo riešenie v tejto záležitosti), ťažko by ste tvrdili, že tento nový zákon poskytuje akýkoľvek podstatný údaj o tom, čo sú zaujatosti AI. Opäť to bude úplne otvorené pre veľmi rozdielne interpretácie a nebudete vedieť, čo sa hľadalo, čo sa našlo atď. Práca vykonávaná dokonca aj bona fide audítormi AI bude takmer pravdepodobne neporovnateľná s inou, takže každý bude mať tendenciu používať svoje vlastné definície a prístupy.

Stručne povedané, môžeme s obavami a obavami sledovať, s čím sa zamestnávatelia stretnú v dôsledku tohto voľne formulovaného, ​​hoci dobre mieneného zákona:

  • Niektorí zamestnávatelia budú o zákone vedieť a budú ho dôsledne a úplne dodržiavať podľa svojich najlepších schopností
  • Niektorí zamestnávatelia budú o zákone vedieť a okrajovo budú dodržiavať tú najtenšiu, najlacnejšiu a možno aj nechutnú cestu, ktorú nájdu alebo ktorá sa im dostane pred dvere.
  • Niektorí zamestnávatelia budú o zákone vedieť a domnievajú sa, že nespadajú do pôsobnosti zákona, takže s tým nič neurobia (hoci sa ukázalo, že by sa na ne vzťahovať mohol)
  • Niektorí zamestnávatelia budú o zákone vedieť a rozhodne sa ho rozhodnú ignorovať, možno sa domnievajú, že si to nikto nevšimne, alebo že zákon nebude vymáhaný, alebo že zákon bude považovaný za nevymožiteľný atď.
  • Niektorí zamestnávatelia nebudú vedieť o zákone a budú prichytení ako plochá noha, ktorá sa bude snažiť dodržiavať
  • Niektorí zamestnávatelia nebudú vedieť o zákone a budú nešťastne podvedení podvodníkmi
  • Niektorí zamestnávatelia o zákone nebudú vedieť, nespadajú do jeho pôsobnosti, no aj tak ich podrazia podvodníci, ktorí ich presviedčajú, že sa na ne vzťahuje
  • Niektorí zamestnávatelia nebudú vedieť o zákone a neurobia s tým nič, pričom sa zázračne nikdy nenechajú pristihnúť alebo nebudú pykať za svoj dohľad
  • ostatné

Jednou z dôležitých úvah, ktoré treba mať na pamäti, je rozsah alebo škálovanie spojené s týmto novým zákonom.

Podľa rôznych štatistických údajov o počte podnikov v New Yorku sa počet zvyčajne uvádza niekde okolo 200,000 XNUMX podnikov (použime to ako rádovú veľkosť). Za predpokladu, že ide o primeranú aproximáciu, pravdepodobne tieto podniky ako zamestnávatelia podliehajú tomuto novému zákonu. Vezmime si teda niekoľko vyššie uvedených spôsobov, ako budú zamestnávatelia reagovať na tento zákon, a zamyslite sa nad tým, koľko ich bude v každom z rôznych vedier, ktoré som práve spomenul.

Je to dosť ohromujúci problém škálovania.

Okrem toho podľa hlásených štatistík existuje v New Yorku asi 4 milióny pracovných miest v súkromnom sektore plus odhadovaný počet približne 300,000 XNUMX vládnych pracovníkov zamestnaných vládou NYC (opäť ich použite ako rádové hodnoty a nie presné počty). Ak vezmete do úvahy, že noví zamestnanci sú zdanlivo v rozsahu pôsobnosti tohto nového zákona, spolu s povýšením spojeným so všetkými týmito existujúcimi a budúcimi pracovníkmi, počet zamestnancov, ktorých sa tento zákon tak či onak dotkne, je úprimne ohromujúci. .

Veľké jablko má nový zákon, ktorý sa na prvý pohľad javí ako neškodný a zdanlivo zanedbateľný alebo všedný, no keď si uvedomíte, aké škálovacie faktory sú s tým spojené, môže sa vám z toho zakrútiť hlava.

záver

Na začiatku tejto diskusie som spomenul, že ide o dobre mienený nový zákon.

Všetko, čo som práve opísal ako potenciálne medzery, opomenutia, medzery, problémy a podobne, sa dalo ľahko predvídať. Toto nie je žiadna raketová veda. Mohol by som dodať, že v tomto zákone sú ešte inherentnejšie obavy a mätúce aspekty, ktoré som kvôli priestorovým obmedzeniam v tomto dokumente neuviedol.

Môžete ich nájsť tak ľahko, ako môžete strieľať ryby v sude.

Zákony tohto druhu by mali byť starostlivo vytvorené, aby sa pokúsili zabrániť takýmto záludným koncom. Predpokladám, že seriózni skladatelia sa snažili napísať zákon, o ktorom si mysleli, že je pomerne železný a že by v najhoršom prípade mohol mať tu či tam nejaké malé drobné kvapky. Žiaľ, je to hasičská hadica kvapiek. Bude potrebné veľa lepiacej pásky.

Mohol byť zákon napísaný zrozumiteľnejším spôsobom, aby sa uzavreli tieto pomerne zjavné medzery a súvisiace problémy?

Áno, v hojnej miere.

Teraz, ak je to tak, môžete rozhorčene nabádať, že takýto zákon by bol nepochybne oveľa dlhší. Vždy existuje kompromis medzi zákonom, ktorý pokračuje a pokračuje, stáva sa nepraktickým, oproti tomu, aby bol stručný a kompaktný. Nechcete však získať stručnosť pri strate toho, čo by bolo podstatnou a záslužnou jasnosťou a konkrétnosťou. Krátky zákon, ktorý povoľuje vyčíňanie, je bohatý na problémy. Dlhší zákon, aj keď zdanlivo zložitejší, by bol zvyčajne hodný kompromisu, ak by zabránil, odvrátil alebo aspoň minimalizoval následné problémy počas fázy prijatia.

Svätý Augustín povedal: „Zdá sa mi, že nespravodlivý zákon nie je žiadnym zákonom.

Mohli by sme poskytnúť dôsledok, že spravodlivý zákon, ktorý pozostáva z problematického jazyka, je zákonom, ktorý vyvoláva kruté problémy. Zdá sa, že v tomto prípade nám zostali len múdre slová veľkého právnika Olivera Wendella Holmesa Jr., a síce, že stránka histórie stojí za kilo logiky.

Sledujte, ako sa čoskoro začne písať história.

Zdroj: https://www.forbes.com/sites/lanceeliot/2022/09/23/ai-ethics-and-the-looming-debacle-when-that-new-york-city-law-requiring-ai- biases-audits-kopy-do-gear/