Bezpečnostný expert Bar Lanyado nedávno urobil prieskum o tom, ako generatívne modely AI neúmyselne prispievajú k obrovským potenciálnym bezpečnostným hrozbám vo svete vývoja softvéru. Takýto výskum od Lanyada zistil alarmujúci trend: AI navrhuje balíky imaginárneho softvéru a vývojári, bez toho, aby si to boli vedomí, ho zahrnuli do svojej kódovej základne.
Vydanie odhalené
Problémom je, že vygenerované riešenie bolo fiktívne meno – niečo typické pre AI. Tieto fiktívne názvy balíkov sa však potom s istotou navrhujú vývojárom, ktorí majú problémy s programovaním modelov AI. V skutočnosti niektoré vymyslené názvy balíkov boli čiastočne založené na ľuďoch – ako Lanyado – a niektoré pokračovali a premenili ich na skutočné balíky. To následne viedlo k náhodnému zahrnutiu potenciálne škodlivého kódu do skutočných a legitímnych softvérových projektov.
Jedným z podnikov, ktoré spadali pod tento vplyv, bola Alibaba, jeden z hlavných hráčov v technologickom priemysle. V rámci inštalačných pokynov pre GraphTranslator Lanyado zistil, že Alibaba obsahovala balík s názvom „huggingface-cli“, ktorý bol sfalšovaný. V skutočnosti existoval skutočný balík s rovnakým názvom umiestnený na indexe balíkov Python (PyPI), ale sprievodca Alibaba sa odvolával na ten, ktorý vytvoril Lanyado.
Testovanie vytrvalosti
Cieľom výskumu spoločnosti Lanyado bolo posúdiť životnosť a potenciálne využitie týchto názvov balíkov generovaných AI. V tomto zmysle LQuery vykonal odlišné modely AI o programovacích výzvach a medzi jazykmi v procese porozumenia, ak boli tieto fiktívne názvy odporúčané efektívne a systematicky. V tomto experimente je jasné, že existuje riziko, že škodlivé entity by mohli zneužiť názvy balíkov vygenerované AI na distribúciu škodlivého softvéru.
Tieto výsledky majú hlboké dôsledky. Zlí herci môžu zneužiť slepú dôveru vývojárov v prijaté odporúčania takým spôsobom, že môžu začať zverejňovať škodlivé balíčky pod falošnými identitami. Pri modeloch AI sa riziko zvyšuje s konzistentnými odporúčaniami AI pre vymyslené názvy balíkov, ktoré by nevedomí vývojári zahrnuli ako malvér. **Cesta vpred**
Preto, keď sa AI ďalej integruje s vývojom softvéru, môže vzniknúť potreba opraviť slabé miesta, ak sú spojené s odporúčaniami vygenerovanými AI. V takýchto prípadoch sa musí vykonať náležitá starostlivosť, aby softvérové balíky navrhnuté na integráciu boli legitímne. Okrem toho by platforma, na ktorej sa nachádza úložisko softvéru, mala overiť a mala by byť dostatočne silná, aby sa nedistribuoval žiadny kód škodlivej kvality.
Priesečník umelej inteligencie a vývoja softvéru odhalil znepokojivú bezpečnostnú hrozbu. Model AI môže tiež viesť k náhodnému odporúčaniu falošných softvérových balíkov, čo predstavuje veľké riziko pre integritu softvérových projektov. Skutočnosť, že Alibaba vo svojich pokynoch zahrnula škatuľku, ktorá tam nikdy nemala byť, je len dôkazom toho, ako by v skutočnosti mohli vzniknúť možnosti, keď ľudia roboticky dodržiavali odporúčania
daný AI. V budúcnosti bude potrebné prijať proaktívne opatrenia, aby sa zabránilo zneužitiu AI na vývoj softvéru.
Zdroj: https://www.cryptopolitan.com/ai-generated-software-packages-threats/