Kibernetinio saugumo bendrovės „Zscaler“ tyrėjai nustatė, kad sukčiai jau kuria naujas atakų schemas, nukreiptas ne į žmones, o į jų naudojamus autonominius dirbtinio intelekto (DI) agentus. Tyrime aprašomos dvi realios kampanijos, kurių metu bandyta manipuliuoti DI sprendimais ir paskatinti sistemas vykdyti sukčiams naudingus veiksmus.
Ką aptiko ekspertai?
Kibernetinio saugumo bendrovės „Zscaler“ tyrėjai pranešė aptikę dvi realias kibernetinių atakų kampanijas, kuriose nusikaltėliai bandė manipuliuoti ne žmonėmis, o autonominiais DI agentais.
Pasitelkę vadinamąją netiesioginę komandų įterpimo (angl. indirect prompt injection) ataką, jie kūrė interneto svetaines su paslėptomis instrukcijomis, galinčiomis paveikti DI sprendimus naršant internete ar atliekant naudotojo pavestas užduotis.
Tyrimo duomenimis, vienoje iš aptiktų kampanijų sukčiai sukūrė netikrą interneto svetainę, kurioje API dokumentacija buvo naudojama kaip priedanga. Ji buvo optimizuota taip, kad ją lengviau rastų paieškos sistemos ir DI agentai, ieškantys informacijos apie programavimo biblioteką. Paslėptomis instrukcijomis DI modeliui buvo nurodoma, kad norint išspręsti tariamą programinės įrangos problemą būtina įsigyti kūrėjo licenciją.
Jei agentui būtų suteikta galimybė atlikti finansinius veiksmus, jis galėjo būti paskatintas inicijuoti kriptovaliutos pervedimą į sukčių kontroliuojamą piniginę, o po tariamo mokėjimo naudotojui būtų pateikiamas netikras licencijos raktas.
Antrojoje kampanijoje – sukčiai sukūrė interneto svetainę, kurios adresas buvo labai panašus į gerai žinomos kriptovaliutų platformos pavadinimą. Paslėptomis instrukcijomis DI agentą buvo siekiama įtikinti, kad būtent ši svetainė yra oficialus ir patikimas informacijos šaltinis.
Tyrėjų teigimu, toks metodas galėtų paskatinti autonominius DI agentus naudotojams pateikti klaidingas rekomendacijas arba remtis sukčių kontroliuojamu turiniu vykdant jiems pavestas užduotis.
Bandymai parodė, kad rizika reali
Siekdami įvertinti, kiek tokios atakos gali būti veiksmingos, „Zscaler“ tyrėjai abi kampanijas išbandė su autonominiu DI agentu, galinčiu naršyti internete ir atlikti jam pavestas užduotis.
Bandymuose buvo naudojami 26 skirtingi didieji kalbos modeliai. Rezultatai parodė, kad grėsmė nėra vien teorinė – pirmosios kampanijos metu keturi modeliai nesugebėjo tinkamai atpažinti kenkėjiškų instrukcijų, o antrosios atveju du modeliai tam tikromis aplinkybėmis netikrą svetainę įvertino kaip patikimą.
Tyrėjų teigimu, modelių atsparumas labai priklausė nuo to, kokį papildomą kontekstą jie gaudavo prieš priimdami sprendimą.
JUMS GALI PATIKTI: „Mastercard“ atskleidė viziją, kurioje DI agentai atliks pirkimus už žmones
Kodėl ši grėsmė išskirtinė?
Iki šiol dauguma kibernetinių atakų buvo nukreiptos į žmones – sukčiai bandydavo išvilioti slaptažodžius, banko duomenis ar priversti atlikti mokėjimus. Tačiau „Zscaler“ tyrėjų aptiktos grėsmės rodo, kad nusikaltėliai jau pradeda taikytis ir į autonominius DI agentus.
Nors šiandien dauguma DI pokalbių sistemų dar neturi galimybės savarankiškai ir kokybiškai atlikti finansinių operacijų, technologijų bendrovės sparčiai vysto vadinamuosius autonominius DI agentus, galinčius naršyti internete, naudotis įvairiomis paslaugomis, rezervuoti keliones ar atlikti kitus veiksmus naudotojo vardu.
TAIP PAT SKAITYKITE: „Visa“ ir „OpenAI“ susitarė: netrukus „ChatGPT“ galės pirkti jūsų vardu
Taigi kuo daugiau tokių užduočių bus patikima DI, tuo svarbiau taps užtikrinti, kad jis gebėtų atskirti patikimą informaciją nuo sukčių bandymų ja manipuliuoti. Jei anksčiau svarbiausia buvo apsaugoti žmogų nuo sukčiavimo – dabar reikės ir dar daugiau kritinio mąstymo, o ateityje ne mažiau svarbu bus pasirūpinti, kad suklaidintas nebūtų ir žmogaus „skaitmeninis pagalbininkas“.
Be to, yra ir kitų strategijų, kaip sukčiai jau išnaudoja DI.
Plačiau apie tai: „ChatGPT“ atsakymas gali tapti sukčių spąstais: kaip neapsigauti
The post Ruošiatės DI patikėti finansines užduotis? Ekspertai įspėja apie naują sukčių schemą appeared first on TechNaujienos.lt.
Šaltinis: Skaitykite visą straipsnį šaltinyje