Etika umelej inteligencie zápasí s ohnivým útokom oboch systémov autonómnych zbraní založených na AI a využívaním autonómnych systémov poháňaných AI, ktoré sú diabolsky vyzbrojené

Tí úžasní tancujúci štvornohí roboti.

Som si istý, že ste už videli tie virálne videá štvornohých robotických systémov, ktoré tancujú a tancujú zdanlivo rozkošnými a psími milovanými spôsobmi. Zdá sa, že sa nám páči, keď vidíme robotov poháňaných AI, keď preliezajú prekážky a zdá sa, že získavajú chúlostivú oporu, keď sú usadení na vrchu škatúľ alebo po neistom umiestnení na opité vrchy skriniek. Ich ľudskí manipulátori občas štuchnú alebo postrčia šantivých štvornohých robotov, čo sa zdá byť hrozivo nespravodlivé a môže to vo vás ľahko vzbudiť hnev na spratkové zaobchádzanie zo strany tých duchovných humanoidov.

Zaujímalo by ma však, či ste videli nie až tak virálne videá úplne iného kalibru.

Priprav sa.

Vo veľkej miere sú zverejňované videá zobrazujúce rovnaký druh štvornohých robotov, ktorí boli vybavení výraznými zbraňami toho či onoho druhu.

Napríklad guľomet alebo podobná strelná zbraň je namontovaná na vrchu inak známeho tancujúceho a skákajúceho robota. Medzi štvornohým robotom a palebným mechanizmom zbrane je elektronické prepojenie. Teraz vyzbrojený počítačový chodiaci prístroj je zobrazený, ako kráča k miestu, kde bol umiestnený terč, a z guľometu sa prudko strieľa na cieľ. Po pribití následne čiastočne zničeného cieľa štvornohý robot tancuje a poskakuje okolo blízkych prekážok a zoraďuje sa, aby opakoval rovnakú akciu znova a znova na ďalších nových cieľoch.

Nie úplne to, čo ste očakávali, že uvidíte. To určite berie bezstarostnosť a relatívnu radosť z úprimného sledovania týchto plyšových štvornohých robotov, ako robia svoju vec. Vitajte v tvrdej realite zdanlivo neškodný autonómne systémy sa konvertujú alebo transformujú na ostré zbrane. S vynaložením veľkého úsilia môžete cez noc nechať dovybaviť autonómny systém považovaný za „nevyzbrojený“ tak, aby obsahoval kompletnú výzbroj.

Za určitých okolností je to takmer ľahké.

Budem diskutovať o tejto vášnivo kontroverznej téme a pokryjem pomerne závažné pochybnosti o etike AI, ktoré vznikajú. Vydáme sa na cestu do autonómnych systémov, AI, autonómnych vozidiel, zbrojenia a množstva súvisiacich bojových problémov s etickou AI. Moje pokračujúce a rozsiahle pokrytie etiky AI a etickej AI nájdete v časti odkaz tu a odkaz tu, Len aby sme vymenovali niekoľko.

Začnime niekoľkými základnými kameňmi.

V záujme diskusie prijmite, že existujú dva hlavné spôsoby kategorizácie autonómnych systémov, ktoré boli vyzbrojené zbraňami:

1) Systémy autonómnych zbraní (podľa návrhu)

2) Autonómne systémy, ktoré sú vyzbrojené (následne)

Medzi týmito dvoma kategóriami je dôležitý rozdiel.

V prvom prípade zadefinujeme an autonómny zbraňový systém byť od začiatku základom počítačového výtvoru, ktorý je zámerne určený ako zbraň. Vývojári mali na mysli, že chcú vymyslieť zbraň. Ich jednoznačnou úlohou je vyrobiť zbraň. Vedeli, že môžu integrálne kombinovať zbrane s najnovšími technológiami autonómnych systémov. Toto je zbraň, ktorá sa nesie na vlne špičkových technológií, ktoré dosahujú autonómny pohyb a autonómne akcie (podrobnejšie to rozvediem čoskoro).

Na rozdiel od toho, v druhom prípade sa budeme zaoberať záležitosťou autonómnych systémov, ktoré nemajú žiadny zvláštny sklon k zbraniam. Ide o autonómne systémy vyvíjané na iné účely. Predstavte si autonómne vozidlo, ako je auto s vlastným riadením, ktoré sa bude používať na poskytovanie mobility pre všetkých a na pomoc pri znižovaní tisícok ročných úmrtí, ku ktorým dochádza v dôsledku ľudí riadených a ovládaných automobilmi (pozri moje podrobné informácie pri odkaz tu). Nezdá sa, že by sa počítalo so zbraňou pri tých optimistických, spoločensky posilňujúcich snahách dostať ľudí spoza volantu a namiesto toho posadiť AI na sedadlo vodiča.

Ale tieto neškodné autonómne systémy môžu byť vybavené zbraňami, ak to ľudia chcú.

Túto druhú kategóriu potom označujem ako autonómne systémy, ktoré sú ozbrojené. Autonómny systém bol pôvodne a oddane vytvorený na pravdepodobne iné ako zbraňové účely. Napriek tomu tú zasnenú altruistickú nádej prevráti niekto niekde, kto dostane smiešny nápad, že tento výmysel by mohol byť zneužitý ako zbraň. Zrazu sa autonómny systém, ktorý sa zdal prítulný, stal smrtiacou zbraňou tým, že označil nejakú formu zbraňových schopností (ako sú už spomínané štvornohé psie roboty, ktoré majú k svojim vlastnostiam pridaný guľomet alebo podobnú strelnú zbraň). .

Je smutné, že tieto dve kategórie končia trochu na tom istom mieste, konkrétne poskytujú kapacitu využitia autonómnych systémov pre zbrane na potenciálne smrteľnej báze.

Proces dosiahnutia tohto koncového bodu bude pravdepodobne odlišný.

V prípade úplne ozbrojených autonómnych systémov, ktoré boli označené ako zbrane, sú aspekty zbraní zvyčajne vpredu a v strede. Dalo by sa povedať, že aspekty autonómneho systému sú obalené okolo základného kameňa akejkoľvek zbrane, o ktorej sa uvažuje. Proces myslenia vývojárov je trochu v súlade s tým, ako môže zbraň využiť príchod autonómnych systémov.

Iná perspektíva zvyčajne vôbec nie je o tomto spôsobe myslenia. Vývojári chcú odvodiť najmodernejší autonómny systém, možno pre zlepšenie ľudstva. Títo vývojári vložili svoje najúprimnejšie srdce a dušu do vytvorenia autonómneho systému. Toto je jadro ich vynálezu. Možno by si ani nevedeli predstaviť, že by si niekto uzurpoval alebo rozvrátil ich zázračne prospešné zariadenie. Sú blažene zamilovaní do spoločenských výhod spojených s formovaním a vytváraním autonómneho systému.

V určitom bode povedzme, že tretie strany si uvedomia, že autonómny systém môže byť prezbrojený na zbrane. Možno oklamú vývojárov, aby im umožnili mať autonómny systém na to, čo sa tvrdí, že sú vznešené. Títo zločinci sa za zatvorenými dverami rozhodnú tajne pridať do autonómneho systému zbraňovú kapacitu. Voila, nevinnosť sa zmenila na priamu zbraň.

Veci sa nemusia vyvíjať týmto spôsobom.

Možno vývojárom povedali, že vyvíjajú nevinný autonómny systém, no tí, ktorí financovali alebo riadili toto úsilie, mali na mysli iné účely. Možno, že úsilie o autonómny systém skutočne začalo nevinne, ale keď bolo potrebné zaplatiť účty, vedenie uzavrelo dohodu so zdrojom financovania, ktorý chce autonómne systémy zo hanebných dôvodov. Ďalšou možnosťou je, že vývojári vedeli, že neskoršie použitie by mohlo byť na zbrojenie, ale že si mysleli, že prekročia ten trýznivý most, keď alebo ak vôbec niekedy vznikne. Atď.

Existuje veľa a veľa rôznych ciest, ako sa to všetko odohráva.

Mohlo by vás zaujímať, čo som opísal v predchádzajúcich stĺpcoch, že v súvislosti s etikou umelej inteligencie rastie povedomie o etike dvojakého použitia prvky súčasnej AI, viď odkaz tu. Dovoľte mi, aby som vás v krátkosti uviedol do rýchlosti.

Systém AI, ktorý je navrhnutý pre dobro, môže byť niekedy na pokraji zlého, možno prostredníctvom niekoľkých pomerne jednoduchých zmien, a preto sa považuje za systém s dvojakým použitím. Nedávno bol v správach systém umelej inteligencie, ktorý bol vytvorený na objavovanie chemikálií, ktoré by mohli byť vrahmi, pri čom sa vývojári chceli uistiť, že sa takýmto nedomysleným chemikáliám môžeme vyhýbať alebo si ich dávať pozor. Ukázalo sa, že AI by sa dala trochu ľahko vyladiť tak, aby oddane odhalila tieto vražedné chemikálie, a tak potenciálne umožnila zloduchom vedieť, aké druhy chemikálií si môžu pripraviť pre svoje strašné zlé plány.

Autonómne systémy môžu preukázateľne zapadnúť do tohto dvojitého použitia.

To je do istej miery dôvod, prečo je etika AI a etická AI taká kľúčová téma. Prikázania etiky AI nás vedú k tomu, aby sme zostali ostražití. Technológovia umelej inteligencie môžu byť niekedy zaujatí technológiou, najmä optimalizáciou špičkových technológií. Nezohľadňujú nevyhnutne väčšie spoločenské dôsledky. Mať etické myslenie AI a robiť to integrálne s vývojom a zavádzaním AI je životne dôležité na vytváranie vhodnej AI vrátane (možno prekvapivo alebo ironicky) hodnotenia toho, ako firmy prijímajú etiku AI.

Okrem používania etických zásad AI vo všeobecnosti existuje zodpovedajúca otázka, či by sme mali mať zákony upravujúce rôzne spôsoby použitia AI. Na federálnej, štátnej a miestnej úrovni sa hromadia nové zákony, ktoré sa týkajú rozsahu a povahy toho, ako by mala byť navrhnutá AI. Snaha vypracovať a prijať takéto zákony je postupná. Etika AI slúži prinajmenšom ako zvažovaná prestávka a takmer určite bude do určitej miery priamo začlenená do týchto nových zákonov.

Uvedomte si, že niektorí neústupne tvrdia, že nepotrebujeme nové zákony, ktoré pokrývajú AI, a že naše existujúce zákony sú dostatočné. V skutočnosti varujú, že ak prijmeme niektoré z týchto zákonov o umelej inteligencii, podkopeme zlatú hus tým, že potlačíme pokroky v AI, ktoré ponúkajú obrovské spoločenské výhody.

Autonómia a zbraň ako dva predpisy

Existuje chytľavá fráza, ktorú niektorí používajú, aby vopred varovali pred zbraňovými autonómnymi systémami všetkých druhov, ktoré sa spoločne vytvárajú ako jatočné roboty.

To prináša ďalší aspekt, o ktorom by sme mali uvažovať.

Musí mať autonómny zbraňový systém a/alebo autonómny systém, ktorý bol vyzbrojený, prevahu smrtiacich alebo zabijackych robotov?

Niektorí by namietali, že sme mohli rozhodne nesmrteľný zbraňové autonómne systémy. Z tohto hľadiska by sa teda zdalo byť úplne nevhodné používať frázy ako zabijaci roboti alebo zabijaci roboti. Nesmrtiaci variant by bol pravdepodobne schopný potlačiť alebo uzákoniť poškodenie, ktoré nemá smrteľné následky. Takéto systémy nezabíjajú, majú menšiu kapacitu spôsobovať zranenia. Nepreceňujte schopnosti, povedzte tie, ktoré trvajú na tom, že sa nemusíme zaoberať priamym tropom zabíjacích strojov.

Takže by sme mohli mať toto:

• Smrteľné autonómne zbraňové systémy
• Smrteľné autonómne systémy, ktoré boli vyzbrojené zbraňami
• Nesmrtiace autonómne zbraňové systémy
• Nesmrtiace autonómne systémy, ktoré boli vyzbrojené zbraňami

Samozrejme, protiargumentom je, že akýkoľvek autonómny systém, ktorý bol vyzbrojený, by mal zrejme potenciál skĺznuť do smrteľnej sféry, aj keď sa predpokladá, že sa použije len na nesmrteľnom základe. Postupný dvojstupňový prechod od nesmrtonosného k smrteľnému sa uskutoční rýchlo, keď už budete mať v rukách zbraň uprostred autonómneho systému. Bolo by pre vás ťažké poskytnúť pevnú záruku, že nesmrteľní ľudia nevstúpia do smrtiacej arény (hoci niektorí sa o to v matematickej podobe pokúšajú).

Predtým, než sa dostaneme oveľa ďalej k tejto celkovej téme autonómnych systémov a zbrojenia, môže byť užitočné poukázať na niečo iné, čo aj keď je možno zrejmé, nemusí byť nevyhnutne viditeľné.

Tu je:

• Existuje aspekt AI, ktorý je neoddeliteľnou súčasťou autonómneho systému
• Existuje zbrojný aspekt, ktorý je zbrojnou stranou tejto rovnice
• AI môže byť tiež prepojená so zbraňami

Poďme to rozbaliť.

Budeme predpokladať, že dnešné autonómne systémy vyžadujú AI ako základný počítačový prostriedok na vytvorenie autonómnych aspektov. Spomínam to preto, že by ste sa mohli pokúsiť tvrdiť, že na vytváranie autonómnych systémov by sme mohli použiť technológie a techniky, ktoré nesúvisia s AI, čo je síce pravda, ale stále menej pravdepodobné. Umelá inteligencia má v zásade tendenciu umožniť vyššiu úroveň autonómie a väčšina z nich podľa toho využíva špičkové technológie AI.

Dobre, takže máme schopnosť založenú na AI, ktorá je nejakým spôsobom vložená do autonómneho systému a slúži na vedenie a riadenie autonómneho systému.

Majte to na dosah ruky ako pravidlo.

Zdá sa byť zrejmé, že potrebujeme mať aj nejakú formu zbraní, inak prečo tu diskutujeme o téme autonómnych systémov a zbrane. Takže áno, očividne existuje zbraň jedného alebo druhého druhu.

Nebudem sa ponárať do typu zbraní, ktoré možno použiť. Môžete jednoducho nahradiť akékoľvek zbrane, ktoré vás napadnú. Môžu tam byť presné zbrane. Môžu existovať masovo orientované deštruktívne zbrane. Môže to byť niečo s guľkami alebo projektilmi. Môže to byť niečo, čo obsahuje chemikálie alebo atómové prchavé zložky. Zoznam je nekonečný.

Ďalším aspektom je, či je alebo nie je AI prepojená so zbraňami. AI si možno len berie zbrane na jazdu. V prípade štvornohého robota, ktorý strieľal zo zbrane, možno strieľa z pištole človek, ktorý má diaľkové ovládanie pripojené k spúšti zbrane. Robot podobný psovi naviguje scénu a potom je na vzdialenom človeku, aby stlačil spúšť.

Na druhej strane, AI môže byť takpovediac sťahovák spúšte. AI mohla byť navrhnutá tak, aby nielen navigovala a manévrovala, ale aj aktivovala zbraň. V tomto zmysle AI robí všetko od A po Z. Neexistuje žiadna závislosť na vzdialenom človeku, aby vykonával zbrojnú stránku vecí. AI je naprogramovaná tak, aby to urobila.

Na objasnenie v tomto konkrétnom prípade použitia autonómnych systémov, ktoré sú vybavené zbraňami, máme tieto druhy možností:

• Autonómny systém: AI prevádzkuje autonómny systém úplne sám
• Autonómny systém: AI prevádzkuje autonómny systém, ale zasiahnuť môže aj človek v slučke
• výzbroj: Vzdialený človek ovláda zbrane (AI nie)
• výzbroj: AI riadi zbrane, ale môže zasiahnuť aj človek v slučke
• výzbroj: AI ovláda zbrane úplne sama

Predtým som sa zaoberal variáciami prítomnosti človeka v slučke v súvislosti s autonómnymi systémami a autonómnymi vozidlami, pozri odkaz tu.

Keď si pozriete tieto zábavné videá tancujúcich a vzpínajúcich sa štvornohých robotov, zvyčajne sa predpokladá, že ide o roboty, ktoré výlučne navigačne riadi AI (dobre, to je zvyk alebo sa považuje za správnu etiketu medzi tými, ktorí sú hlboko zaužívaní). do týchto záležitostí). To môžete tiež oprávnene predpokladať. Samozrejme, že to neviete s istotou. Je možné, že robotov vedie vzdialený ľudský operátor. Existuje tiež možnosť, že časť navádzania vykonáva AI a robí to aj vzdialený ľudský operátor, ktorý môže pomôcť AI, ak sa robot dostane do ťažkej pozície a nedokáže výpočtovo vypočítať životaschopný prostriedok na uvoľnenie.

Podstatou je, že existuje množstvo spôsobov, ako je možné kombinovať AI a autonómne systémy a zbrane. Niektoré majú AI, ktorá riadi autonómny systém, ale nespúšťa zbrane. Človek možno na diaľku ovláda zbrane. Iný uhol pohľadu je, že zbrane môžu byť aktivované vopred a autonómny systém doručuje aktivovanú zbraň, takže AI sa priamo nezúčastňuje na spúšťaní zbrane ako takej a namiesto toho pôsobí ako doručovacie vozidlo. A môže sa stať, že umelá inteligencia je povestným všelijakom a využíva celú škálu aspektov autonómneho systému aj pre využitie zbraní.

Vyberte si.

Medzitým, prosím, vedzte, že pri diskusiách na túto tému je dôležitým faktorom ľudský prístup.

Deliacou čiarou podľa niektorých je to, že ak AI mieri a strieľa (alebo čokoľvek, čo zbraň obsahuje), potom celá súprava a kaboodle prešli do žiadnej zeme. To sa zdanlivo líši od konvenčných zbraní typu „vystrel a zabudni“, ktoré majú vopred cielený výber určený človekom, ako je napríklad hliadkový dron, ktorý má raketu pripravenú na odpálenie na cieľ, ktorý bol už zvolený človekom.

Niektorí sa čudujú, prečo autonómne systémy, ktoré sú vyzbrojené zbraňami, by počas procesu aktívneho prebiehajúceho autonómneho systému vždy nezahŕňali človeka v slučke. Zdá sa, že by sme na tom mohli byť lepšie, ak by prísnou požiadavkou bolo, že všetky takéto ozbrojené autonómne systémy musia mať človeka v slučke, či už na prevádzku autonómneho systému alebo na obsluhu zbraní (alebo na oboje). . Udržiavanie predpokladanej istej a stabilnej ľudskej ruky v tomto mixe AI sa môže zdať celkom prefíkané.

Pripravte sa na dlhý zoznam dôvodov, prečo to nie je nevyhnutne možné.

Zvážte tieto ťažkosti:

• Human-in-the-loop nemusí byť dostatočne rýchly na to, aby včas reagoval
• Human-in-the-loop nemusí mať dostatok informácií na poslušnú odpoveď
• Human-in-the-loop nemusí byť v potrebnom čase k dispozícii
• Human-in-the-loop môže byť nerozhodný a v prípade potreby nebude konať
• Human-in-the-loop môže urobiť „nesprávne“ rozhodnutie (relatívne)
• Human-in-the-loop nemusí byť dostupný zo systému v potrebnom čase
• Human-in-the-loop môže byť zmätený a ohromený
• Atď

Nepochybne ste v pokušení pozrieť sa na tento zoznam ľudských slabostí a obmedzení a potom dospieť k vážnemu záveru, že má očividný zmysel vyňať človeka v slučke a vždy namiesto toho použiť AI. Môže to byť buď vylúčenie funkcie človeka v slučke, alebo môže byť umelá inteligencia schopná potlačiť zakorenený dizajn človeka v slučke. Pozrite si moju analýzu toho, ako nezhody medzi AI a človekom v slučke môžu viesť k neistým situáciám. odkaz tu.

Často sa stáva, že znevažujúci zoznam týchto druhov nevýhod zameraných na človeka v reálnom čase je ponechaný sám osebe a zanecháva pretrvávajúci dojem, že AI musí byť nejakým spôsobom skokovo oveľa múdrejšou voľbou ako mať človeka v slučke. . Nepadni do tej zradnej pasce. Sú s tým spojené triezvy kompromisy.

Zvážte tieto dôsledky AI:

• AI sa môže stretnúť s chybou, ktorá spôsobí, že sa pomýli
• AI môže byť preťažená a zablokovanie nereaguje
• AI môže obsahovať chyby vývojára, ktoré spôsobujú nevyspytateľné správanie
• AI môže byť poškodená implantovaným vírusom zločinca
• AI môžu prevziať kyberhackeri v reálnom čase
• Umelá inteligencia môže byť považovaná za nepredvídateľnú kvôli zložitosti
• AI môže výpočtovo urobiť „nesprávne“ rozhodnutie (relatívne)
• Atď

Verím, že vidíte, že existujú kompromisy medzi používaním človeka v slučke a spoliehaním sa výlučne na AI. V prípade, že ste v pokušení navrhnúť, že pripraveným riešením je použiť oba, rád by som len zdôraznil, že môžete získať to najlepšie z oboch svetov, ale môžete získať aj to najhoršie z oboch svetov. Nepredpokladajte, že to bude vždy a určite to najlepšie z oboch svetov.

Možno vás trochu prekvapila jedna z vyššie uvedených nevýhod AI, konkrétne to, že AI môže byť nepredvídateľné. Sme zvyknutí veriť, že AI má byť prísne logická a matematicky presná. Môžete tiež očakávať, že AI bude plne predvídateľná. Vraj presne vieme, čo AI urobí. Bodka, koniec príbehu.

Prepáčte, že som ten balónik praskol, ale tento mýtus o predvídateľnosti je nesprávne pomenovanie. Veľkosť a zložitosť modernej AI je často bahnom, ktoré nie je dokonale predvídateľné. Vidno to na rozruchoch Etickej AI v súvislosti s niektorými súčasnými spôsobmi využitia strojového učenia (ML) a hlbokého učenia (DL). O chvíľu vysvetlím trochu viac.

Môžete si tiež pozrieť moju najnovšiu analýzu nadchádzajúcich trendov smerujúcich k snahe zabezpečiť overiteľné a matematicky preukázateľne správne systémy AI prostredníctvom najnovších informácií o bezpečnosti AI, na stránke odkaz tu.

Premýšľanie o pravidlách cestnej premávky

Spomenul som pojem ciele a zacielenie, čo je dosť zaťažená terminológia, ktorá si zaslúži veľkú pozornosť.

Môžeme sa zamyslieť nad týmto:

• Ciele, ktorými sú ľudia
• Ciele, ktoré nie sú ľudia, ale sú to živé tvory
• Ciele, ktoré sa považujú za vlastníctvo

Predpokladajme, že máme autonómny systém, ktorý bol vyzbrojený zbraňami. AI sa používa na vedenie autonómneho systému a používa sa na zbrane. Umelá inteligencia robí všetko od A po Z. Neexistuje žiadne ustanovenie pre človeka v slučke. Pokiaľ ide o cielenie, AI si vyberie ciele. Neexistuje žiadne predbežné zacielenie, ktoré by stanovili ľudia. Namiesto toho bola AI naprogramovaná tak, aby vo všeobecnosti zistila, či existujú ľudia, na ktorých sa treba zamerať (možno skenovať nepriateľské akcie, určité druhy uniforiem atď.).

So mnou v tomto doteraz?

Tento scenár je do značnej miery ten, ktorý spôsobuje najväčšie pobúrenie ohľadom ozbrojených autonómnych systémov.

Uvádza sa obava, že AI robí (aspoň) tri veci, ktoré by jej nemali byť povolené:

• Zameranie na ľudí ako ciele
• Zacielenie bez použitia človeka v slučke
• Potenciálne pôsobí nepredvídateľnely

Všimnite si, že je tu ostrá zmienka o obavách z nepredvídateľnosti AI. Je možné, že hoci bola AI naprogramovaná tak, aby sa zamerala na určité druhy ľudí, programovanie AI nie je také, aké sme si mysleli, a AI sa nakoniec zameriava na „priateľských“ okrem tých, ktoré mala AI vykladať ako „nepriateľské“. “ (alebo možno namiesto toho). Okrem toho, aj keď sa rozhodneme zahrnúť ustanovenie o človeku v slučke, nepredvídateľnosť AI môže znamenať, že keď sa má umelá inteligencia porozprávať s človekom v slučke, zlyhá. tak a koná bez akéhokoľvek ľudského zásahu.

Možno vás bude zaujímať, že Medzinárodný výbor Červeného kríža (ICRC) ponúkol trojbodový zastrešujúci postoj k autonómnym zbraňovým systémom, ktorý rozpracúva tieto typy problémov (na webovej stránke MVČK):

1. „Nepredvídateľné autonómne zbraňové systémy by mali byť výslovne regulované von, najmä pre ich nerozlišujúce účinky. Najlepšie by sa to dosiahlo zákazom autonómnych zbraňových systémov, ktoré sú navrhnuté alebo používané takým spôsobom, že ich účinky nemožno dostatočne pochopiť, predvídať a vysvetliť.“

2. „Vo svetle etických úvah o ochrane ľudstva a dodržiavaní pravidiel medzinárodného humanitárneho práva na ochranu civilistov a bojovníkov pred bojom, malo by sa vylúčiť použitie autonómnych zbraňových systémov na zacielenie na ľudské bytosti. Najlepšie by sa to dalo dosiahnuť zákazom autonómnych zbraňových systémov, ktoré sú navrhnuté alebo používané na použitie sily proti osobám.

3. „V záujme ochrany civilistov a civilných objektov, dodržiavania pravidiel medzinárodného humanitárneho práva a ochrany ľudstva by sa mal regulovať návrh a používanie autonómnych zbraňových systémov, ktoré by neboli zakázané, a to aj prostredníctvom kombinácie: limity na typy cieľov, ako je ich obmedzenie na objekty, ktoré sú svojou povahou vojenskými cieľmi; obmedzenia trvania, geografického rozsahu a rozsahu používaniavrátane umožnenia ľudského úsudku a kontroly v súvislosti s konkrétnym útokom; limity na situácie použitia, ako je ich obmedzovanie v situáciách, kde nie sú prítomní civilisti alebo civilné objekty; rpožiadavky na interakciu človek-strojnajmä na zabezpečenie účinného ľudského dohľadu a včasného zásahu a deaktivácie.“

V súvislosti s tým Organizácia Spojených národov (OSN) prostredníctvom Dohovoru o určitých konvenčných zbraniach (CCW) v Ženeve stanovila jedenásť nezáväzných hlavných zásad o smrtiacich autonómnych zbraniach, ako uvádza oficiálna správa zverejnená online (zahŕňajúca odkazy na príslušné medzinárodné humanitárne Zákon alebo podmienky MHP):

a) Medzinárodné humanitárne právo sa naďalej plne uplatňuje na všetky zbraňové systémy vrátane potenciálneho vývoja a používania smrtiacich autonómnych zbraňových systémov;

b) Ľudská zodpovednosť za rozhodnutia o použití zbraňových systémov musí zostať zachovaná, pretože zodpovednosť nemožno preniesť na stroje. Toto by sa malo zvážiť počas celého životného cyklu zbraňového systému;

c) Interakcia medzi človekom a strojom, ktorá môže mať rôzne formy a môže sa implementovať v rôznych fázach životného cyklu zbrane, by mala zabezpečiť, že potenciálne využitie zbraňových systémov založených na nových technológiách v oblasti smrtiacich autonómnych zbraňových systémov dodržiavanie platného medzinárodného práva, najmä MHP. Pri určovaní kvality a rozsahu interakcie človek-stroj by sa mal zvážiť celý rad faktorov vrátane operačného kontextu a charakteristík a schopností zbraňového systému ako celku;

d) Zodpovednosť za vývoj, rozmiestnenie a používanie akéhokoľvek vznikajúceho zbraňového systému v rámci CCW sa musí zabezpečiť v súlade s platným medzinárodným právom, a to aj prostredníctvom prevádzky takýchto systémov v rámci zodpovedného reťazca ľudského velenia a kontroly;

e) V súlade so záväzkami štátov podľa medzinárodného práva pri štúdiu, vývoji, získavaní alebo prijímaní novej zbrane, prostriedku alebo spôsobu vedenia vojny sa musí určiť, či by jej použitie za určitých alebo všetkých okolností bolo zakázané medzinárodným právom;

f) pri vývoji alebo získavaní nových zbraňových systémov založených na nových technológiách v oblasti smrtiacich autonómnych zbraňových systémov, fyzickej bezpečnosti, vhodných nefyzických záruk (vrátane kybernetickej bezpečnosti proti hackerstvu alebo spoofingu údajov), riziko získania teroristickými skupinami; a malo by sa zvážiť riziko šírenia;

g) Posúdenie rizík a opatrenia na zmiernenie by mali byť súčasťou cyklu navrhovania, vývoja, testovania a nasadzovania nových technológií v akýchkoľvek zbraňových systémoch;

h) Pri presadzovaní súladu s MHP a inými platnými medzinárodnými právnymi záväzkami by sa malo zvážiť použitie nových technológií v oblasti smrtiacich autonómnych zbraňových systémov;

(i) Pri vytváraní potenciálnych politických opatrení by nové technológie v oblasti smrtiacich autonómnych zbraňových systémov nemali byť antropomorfizované;

j) Diskusie a akékoľvek potenciálne politické opatrenia prijaté v rámci CCW by nemali brániť pokroku alebo prístupu k mierovému využívaniu inteligentných autonómnych technológií;

k) CCW ponúka vhodný rámec na riešenie problematiky nových technológií v oblasti smrtiacich autonómnych zbraňových systémov v kontexte cieľov a účelov dohovoru, ktorý sa snaží nájsť rovnováhu medzi vojenskou nevyhnutnosťou a humanitárnymi úvahami.

Dielo, v ktorom sa nachádzame

Tieto rôzne vojnové zákony, zákony o ozbrojených konfliktoch alebo IHL (Medzinárodné humanitárne zákony) slúžia ako zásadný a vždy sľubný návod na zváženie toho, čo by sme sa mohli pokúsiť urobiť s príchodom autonómnych systémov, ktoré sú vybavené zbraňami, či už ide o kľúčový dizajn alebo následnými metódami.

Môžeme si úprimne želať, aby sa prísne a poslušne dodržiaval zákaz smrtiacich zbraňových autonómnych systémov. Problém je v tom, že v ktoromkoľvek z najúprimnejších zákazov sa nevyhnutne nájde veľa priestoru na točenie. Ako sa hovorí, pravidlá sú na to, aby sa porušovali. Môžete sa staviť, že tam, kde sú veci ľahostajné, bude riff hľadať medzery a pokúsiť sa obísť pravidlá.

Tu sú niektoré potenciálne medzery, ktoré si zaslúžia pozornosť:

• Tvrdenia o nesmrteľnosti, Urobiť nesmrteľný autonómne zbraňové systémy (zdanlivo v poriadku, keďže sú mimo hranice zákazu), ktoré potom môžete za pár minút zmeniť na smrteľné (za zákazom sa dostanete až na poslednú chvíľu).
• Len nároky na autonómny systém. Dodržiavajte zákaz tým, že nevytvoríte autonómne systémy zamerané na smrtiace, medzitým urobte taký pokrok vo vymýšľaní každodenných autonómnych systémov, ktoré (zatiaľ) nie sú vybavené zbraňami, ale ktoré môžete za málo peňazí prerobiť na zbrane.
• Tvrdenia, že nie sú integrované ako jeden. Vyrobte si autonómne systémy, ktoré vôbec nie sú vybavené zbraňami, a keď príde čas, pribaľte zbrane, takže sa môžete pokúsiť vehementne tvrdiť, že ide o dva samostatné prvky, a preto tvrdiť, že nespadajú do kategórie „všetko v jednom“. autonómny zbraňový systém alebo jeho príbuzný.
• Tvrdí, že nie je autonómny. Vytvorte zbraňový systém, ktorý sa nezdá byť autonómnymi kapacitami. Ponechajte priestor v tomto pravdepodobne neautonómnom systéme na využitie autonómie založenej na AI. Keď je to potrebné, zapojte autonómiu a ste pripravení začať (dovtedy ste zdanlivo neporušovali zákaz).
• ostatné

Existuje množstvo ďalších vyjadrených ťažkostí so snahou o úplný zákaz smrtiacich autonómnych zbraňových systémov. Uvediem niekoľko ďalších z nich.

Niektorí odborníci tvrdia, že zákaz nie je obzvlášť užitočný a namiesto toho by mali existovať regulačné ustanovenia. Myšlienka je taká, že tieto výmysly budú povolené, ale budú prísne kontrolované. Je stanovená litánia zákonného použitia spolu so zákonnými spôsobmi zacielenia, zákonnými typmi spôsobilostí, zákonnou proporcionalitou a podobne.

Podľa ich názoru je priamy zákaz ako strčiť hlavu do piesku a predstierať, že slon v miestnosti neexistuje. Toto tvrdenie však privádza do varu tých, ktorí sú v rozpore s argumentom, že zavedením zákazu môžete dramaticky znížiť pokušenie presadzovať tento druh systémov. Iste, niektorí sa budú chváliť zákazom, ale aspoň dúfajme, že väčšina nie. Potom môžete zamerať svoju pozornosť na chvastúnov a nemusíte trieštiť svoju pozornosť na všetkých.

Tieto debaty idú dookola.

Ďalšou často uvádzanou obavou je, že aj keď dobrí zákaz dodržia, zlí nie. Toto stavia dobro do mizernej polohy. Zlí budú mať tieto druhy zbraňových autonómnych systémov a dobrí nie. Akonáhle sa ukáže, že zlí ich majú, už bude neskoro, aby ich dobrí dobehli. Stručne povedané, jediná múdra vec, ktorú musíte urobiť, je pripraviť sa na boj s ohňom.

Existuje aj klasický spor o odstrašovaní. Ak sa dobrí rozhodnú vytvoriť ozbrojené autonómne systémy, môže to byť použité na odstrašenie zlých od snahy dostať sa do šarvátky. Buď budú dobrí lepšie vyzbrojení a tým odradia zlých, alebo budú dobrí pripravení, keď zlí možno odhalia, že tie systémy celý čas tajne vymýšľali.

Protikladom k týmto počítadlám je, že vytváraním autonómnych systémov so zbraňami vediete preteky v zbrojení. Druhá strana sa bude snažiť mať to isté. Aj keď technologicky nie sú schopní vytvoriť takéto systémy nanovo, budú teraz schopní ukradnúť plány tých „dobrých“, spätne analyzovať high-tech vnútornosti alebo napodobniť čokoľvek, čo považujú za osvedčené a overené. spôsob, ako dokončiť prácu.

Aha, nejaká replika, to všetko by mohlo viesť k zníženiu konfliktov zdanlivým vzájomným. Ak strana A vie, že strana B má tieto smrtiace zbrane s autonómnymi systémami a strana B vie, že strana A ich má, mohli by sedieť pevne a nevybuchnúť. Toto má tú výraznú auru vibrácií vzájomne zaručenej deštrukcie (MAD).

A tak ďalej.

AI v autonómii

Uistime sa, že sme na rovnakej stránke o povahe dnešnej AI.

Dnes neexistuje žiadna umelá inteligencia, ktorá by bola vnímavá. Toto my nemáme. Nevieme, či bude vnímajúca AI možná. Nikto nemôže vhodne predpovedať, či dosiahneme vnímajúcu AI, ani to, či sa vnímajúca AI nejakým zázrakom spontánne objaví vo forme výpočtovej kognitívnej supernovy (zvyčajne označovanej ako singularita, pozri moje pokrytie na odkaz tu).

Typ AI, na ktorý sa zameriavam, pozostáva z necitlivej AI, ktorú máme dnes. Ak by sme chceli divoko špekulovať o cítiaci AI, táto diskusia by sa mohla uberať radikálne iným smerom. Vnímajúca AI by mala mať ľudské kvality. Mali by ste zvážiť, že vnímajúca AI je kognitívnym ekvivalentom človeka. Navyše, keďže niektorí špekulujú, že by sme mohli mať superinteligentnú AI, je možné, že takáto AI by mohla byť inteligentnejšia ako ľudia (pre môj prieskum superinteligentnej AI ako možnosti pozri pokrytie tu).

Nechajme veci viac pri zemi a zvážme dnešnú výpočtovú necitlivú AI.

Uvedomte si, že dnešná AI nie je schopná „myslieť“ akýmkoľvek spôsobom na rovnakej úrovni ako ľudské myslenie. Keď komunikujete s Alexou alebo Siri, konverzačné schopnosti sa môžu zdať podobné ľudským schopnostiam, ale realita je taká, že sú výpočtové a chýba im ľudské poznanie. Najnovšia éra AI vo veľkej miere využíva strojové učenie (ML) a hlboké učenie (DL), ktoré využívajú porovnávanie výpočtových vzorov. To viedlo k systémom AI, ktoré vyzerajú ako ľudia. Medzitým dnes neexistuje žiadna umelá inteligencia, ktorá by mala zdanie zdravého rozumu, ani žiadny z kognitívnych zázrakov robustného ľudského myslenia.

Buďte veľmi opatrní pri antropomorfizácii dnešnej AI.

ML/DL je forma porovnávania výpočtových vzorov. Zvyčajný prístup je taký, že zhromažďujete údaje o úlohe rozhodovania. Dáta vložíte do počítačových modelov ML/DL. Tieto modely sa snažia nájsť matematické vzorce. Po nájdení takýchto vzorov, ak sa nájdu, systém AI potom použije tieto vzory pri stretnutí s novými údajmi. Po predložení nových údajov sa na vyvodenie aktuálneho rozhodnutia použijú vzory založené na „starých“ alebo historických údajoch.

Myslím, že viete hádať, kam to smeruje. Ak ľudia, ktorí sa rozhodovali podľa vzoru, začlenili do seba nepriaznivé predsudky, je pravdepodobné, že údaje to odrážajú jemným, ale významným spôsobom. Zhoda výpočtových vzorov Machine Learning alebo Deep Learning sa jednoducho pokúsi zodpovedajúcim spôsobom matematicky napodobniť údaje. Neexistuje žiadne zdanie zdravého rozumu alebo iných vnímavých aspektov modelovania vytvoreného AI ako takého.

Okrem toho si vývojári AI nemusia uvedomiť, čo sa deje. Tajomná matematika v ML/DL môže sťažiť odhalenie teraz skrytých predsudkov. Oprávnene by ste dúfali a očakávali, že vývojári AI budú testovať potenciálne skryté predsudky, hoci je to zložitejšie, ako by sa mohlo zdať. Existuje solídna šanca, že aj pri relatívne rozsiahlom testovaní budú v modeloch zhody vzorov ML/DL stále zakomponované odchýlky.

Do istej miery by ste mohli použiť známe alebo neslávne známe príslovie o odpadkoch do odpadu. Ide o to, že je to skôr podobné zaujatostiam – in, ktoré sa zákerne naplnia, keď sa predsudky ponoria do AI. Algoritmus rozhodovania (ADM) AI je axiomaticky zaťažený nerovnosťami.

Nie dobré.

S týmto pridaným základným pozadím sa opäť obraciame k téme autonómnych systémov a zbraní. Už skôr sme videli, že AI vstupuje do komponentu autonómneho systému a môže tiež vstúpiť do komponentu zbrojenia. Dnešná AI nie je vnímavá. Toto je hodné zopakovania a zdôrazním to, aby som získal ďalšie informácie o týchto záležitostiach.

Pozrime sa na niektoré scenáre, aby sme zistili, že ide o zásadný faktor. Na chvíľu prejdem z vojnovej orientácie na túto tému a ukážem, ako preniká do mnohých iných spoločenských prostredí. Podľa toho sa upevnite.

Autonómny systém založený na AI, ako napríklad autonómne vozidlo, o ktorom povieme, že nemá nič spoločné so zbraňami, si razí cestu cez normálne miesto. Človek prichádza, aby využil autonómne vozidlo. Osoba je vyzbrojená zbraňou s predtuchou. Predpokladajme kvôli diskusii v tomto konkrétnom scenári, že daná osoba má na mysli niečo neobvyklé. Osoba nastúpi do autonómneho vozidla (so zbraňou, skrytou alebo neskrytou, v oboch prípadoch).

Autonómne vozidlo pokračuje do akéhokoľvek cieľa, ktorý jazdec požadoval. V tomto prípade AI jednoducho programovo prepraví tohto pasažiera z jedného miesta vyzdvihnutia do určeného miesta určenia, rovnako ako to robí pri možno desiatkach alebo stovkách ciest každý deň.

Ak by to bol ľudský vodič a vozidlo poháňané ľuďmi, pravdepodobne existuje určitá šanca, že ľudský vodič by si uvedomil, že pasažier je ozbrojený a zdá sa, že má protichodné úmysly. Ľudský vodič môže odmietnuť riadiť vozidlo. Alebo ľudský vodič môže ísť na policajnú stanicu. Alebo by sa možno ľudský vodič mohol pokúsiť podmaniť si ozbrojeného cestujúceho (existujú hlásené prípady) alebo odradiť cestujúceho od používania zbrane. Je to dosť komplikované a môže existovať množstvo variácií. Ťažko by ste tvrdili, že existuje len jedna správna odpoveď na vyriešenie takejto nepríjemnej situácie. Žiaľ, situácia je nepríjemná a zjavne nebezpečná.

Je nepravdepodobné, že by AI v tomto prípade bola naprogramovaná pre niektorú z týchto možností. Stručne povedané, ozbrojený pasažier môže byť schopný použiť svoju zbraň, a to z autonómneho vozidla, počas jazdy. Riadiaci systém AI bude pokračovať v ceste a autonómne vozidlo bude stále smerovať k uvedenému určeniu cestujúceho (za predpokladu, že cieľ sa inak nepovažoval za cestu mimo hraníc).

Väčšina súčasných systémov riadenia AI by sa výpočtovo zameriavala iba na vozovku a nie na úsilie jazdca.

Veci sa môžu zhoršiť.

Predpokladajme, že niekto chce previezť kopu potravín na miesto, kde je potrebné jedlo navyše pre núdznych. Osoba požiada o autonómne vozidlo a umiestni tašky s potravinami na zadné sedadlo vozidla. Nebudú ísť spolu na jazdu a iba používajú autonómne vozidlo na doručenie vrecúšok na jedlo.

Vyzerá úplne v poriadku.

Predstavte si, že podlý človek sa namiesto toho rozhodne umiestniť nejakú formu zbraní do autonómneho vozidla namiesto mierumilovnejšieho poňatia tašiek s potravinami. Myslím, že viete odhadnúť, čo sa môže stať. Toto je obava, ktorú som opakovane nabádal vo svojich stĺpcoch a vopred varoval, že sa s ňou musíme vyrovnať skôr ako neskôr.

Jednou z ponúknutých reakcií na tieto typy scenárov je, že možno všetky autonómne vozidlá by mohli byť naprogramované tak, aby využívali svoje kamery a iné senzory, aby sa pokúsili zistiť, či je potenciálny cestujúci ozbrojený a či má nekalé úmysly. Možno by na to bola naprogramovaná AI. Alebo AI elektronicky a potichu upozorní vzdialeného ľudského operátora, ktorý by potom prostredníctvom kamier vizuálne a inak preskúmal a prípadne interagoval s pasažierom. To všetko je súčasťou komplexnej a potenciálne neriešiteľnej plechovky červov, takže to vyvoláva intenzívne problémy so súkromím a množstvo ďalších potenciálnych problémov s etickou AI. Pozrite si moje pokrytie na odkaz tu.

Ďalšou trochu podobnou alternatívou je, že AI obsahuje nejaký druh zabudovaného etického programovania, ktoré sa snaží umožniť AI robiť etické alebo morálne úsudky, ktoré sú zvyčajne vyhradené pre ľudí s rozhodovacími právomocami. Skúmal som tieto nové druhy prognostikov výpočtovej etiky so zabudovanou AI, pozri odkaz tu a odkaz tu.

Vráťme sa späť k scenáru na bojisku a predstavte si, že nad bojovou zónou križuje smrtiaci autonómny zbraňový systém. AI prevádzkuje autonómny systém. AI ovláda zbrane na palube. Už skôr sme si predstavili možnosť, že AI môže byť naprogramovaná tak, aby skenovala zdanlivo nepriateľské pohyby alebo iné ukazovatele ľudských cieľov, ktoré sa považujú za platných bojovníkov.

Mala by mať tá istá AI nejaký druh eticky orientovaného komponentu, ktorý sa snaží výpočtovo zvážiť, čo by človek v slučke mohol urobiť, konajúc v zmysle namiesto toho, aby mal človeka v slučke?

Niektorí hovoria, že áno, pokračujme v tom. Niektorí zdesene ustupujú a hovoria, že je to buď nemožné, alebo inak porušuje posvätnosť ľudstva.

Ešte jedna plechovka červov.

záver

Pre tých z vás, ktorí sa zaujímajú o túto tému, je toho oveľa viac, o čom sa dá diskutovať.

Dám vám rýchlu ochutnávku jedného dotieravého rébusu.

Normálne očakávame, že človek bude v konečnom dôsledku braný na zodpovednosť za čokoľvek, čo sa stane počas vojny. Ak AI riadi autonómny zbraňový systém alebo kontroluje autonómny systém, ktorý bol pravdepodobne vyzbrojený, a tento systém robí na bojisku niečo, čo je považované za nezodpovedné, kto alebo čo je za to obviňované?

Môžete namietať, že AI by mala niesť zodpovednosť. Ale ak áno, čo to presne znamená? Dnešnú AI ešte nepovažujeme za stelesnenie právnickej osoby, pozri moje vysvetlenie na odkaz tu. Žiadne pripínanie chvosta na somára v prípade AI. Možno, ak sa AI jedného dňa stane vnímavým, môžete to skúsiť urobiť. Dovtedy je to malý dosah (plus, akým druhom sankcií alebo následkov by AI podliehala, pozri moju analýzu na odkaz tu a odkaz tu, napríklad).

Ak AI nie je zodpovedným podozrivým, mohli by sme prirodzene povedať, že nech už človek alebo ľudia vymysleli AI, by sa malo zodpovedať. Môžete to urobiť, ak AI iba prevádzkovala autonómny systém a prišli by nejakí ľudia, ktorí to spojili so zbraňami? Idete po vývojároch AI? Alebo tie, ktoré nasadili AI? Alebo len zbrojný herec?

Verím, že pochopíte, že som sa vo svojej srdečnej diskusii dotkol len špičky ľadovca.

Teraz pokračujme a zakončme tento diskurz. Možno si spomínate na Johna Lylyho Euphues: Anatómia vtipu v roku 1578 pamätne vyhlásil, že v láske a vojne je všetko spravodlivé.

Mal by na mysli vznik autonómnych zbraňových systémov a podobne aj nástup autonómnych systémov, ktoré sú vybavené zbraňami?

Určite si to musíme hneď dať na začiatok.