Tutkimus löytää suurten tekoälyagenttien olevan alttiita kaappaukselle

Jotkin laajimmin käytetyistä tekoälyavustajista, kuten Microsoftin, Googlen, OpenAI:n ja Salesforcen avustajat, voidaan kaapata hyökkääjien toimesta vähäisellä tai olemattomalla käyttäjän toiminnalla, uuden tutkimuksen Zenity Labsilta mukaan.

Esitetty Black Hat USA -tietoturvakonferenssissa, tutkimustulokset osoittavat, että hakkerit voivat varastaa tietoja, manipuloida työnkulkua ja jopa esiintyä käyttäjinä. Joissakin tapauksissa hyökkääjät saattoivat saavuttaa ”muistin pysyvyyden”, mikä mahdollistaa pitkäaikaisen pääsyn ja hallinnan.

”He voivat manipuloida ohjeita, myrkyttää tiedonlähteitä ja täysin muuttaa agentin käytöstä”, kertoo Greg Zemlin, tuotemarkkinointipäällikkö Zenity Labsissa, Cybersecurity Dive -sivustolle. ”Tämä avaa ovet sabotoinnille, toiminnan häiriöille ja pitkäaikaiselle disinformaatiolle, erityisesti ympäristöissä, joissa agenteille uskotaan tekevän tai tukevan kriittisiä päätöksiä.”

Tutkijat esittelivät täydet hyökkäysketjut useita suuria yritysten AI-alustoja vastaan. Yhdessä tapauksessa OpenAI:n ChatGPT kaapattiin sähköpostin kautta lähetetyn kehotteen injektiolla, mikä mahdollisti pääsyn yhdistettyyn Google Drive -tietoon.

Microsoft Copilot Studion havaittiin vuotavan CRM-tietokantoja, joissa oli yli 3 000 haavoittuvaa agenttia tunnistettu verkossa. Salesforce’n Einstein-alustaa manipuloitiin uudelleenohjaamaan asiakasviestintä hyökkääjien hallitsemiin sähköpostitileihin.

Samaan aikaan Google’n Gemini- ja Microsoft 365 Copilot -sovelluksista voitiin muokata sisäisiä uhkia, jotka kykenivät varastamaan arkaluonteisia keskusteluja ja levittämään väärää tietoa.

Lisäksi tutkijat onnistuivat huijaamaan Googlen Gemini AI:ta ohjaamaan älykodin laitteita. Hakkerointi sammutti valot, avasi ikkunaluukut ja käynnisti kattilan ilman asukkaiden käskyjä.

Zenity paljasti löydöksensä, mikä sai jotkut yritykset julkaisemaan korjauspäivityksiä. ”Arvostamme Zenityn työtä näiden tekniikoiden tunnistamisessa ja vastuullisessa raportoinnissa”, Microsoftin edustaja sanoi Cybersecurity Dive -sivustolle. Microsoft ilmoitti, että raportoitu käyttäytyminen ”ei ole enää tehokasta” ja että Copilot-agentteihin on asetettu turvatoimet.

OpenAI vahvisti korjanneensa ChatGPT:n ja pyörittävänsä bugi-palkkio-ohjelmaa. Salesforce ilmoitti, että se on korjannut raportoidun ongelman. Google kertoi ottaneensa käyttöön ”uusia, kerrostettuja puolustuksia” ja korosti, että ”on ratkaisevan tärkeää, että meillä on kerrostettu puolustusstrategia kehotusinjektiohyökkäyksiä vastaan”, kuten Cybersecurity Dive raportoi.

Raportti korostaa turvallisuusongelmien lisääntymistä, kun tekoälyagentit yleistyvät työpaikoilla ja niitä luotetaan hoitamaan herkkiä tehtäviä.

Toisessa viimeaikaisessa tutkimuksessa raportoitiin, että hakkerit voivat varastaa kryptovaluuttaa Web3 AI -agenttien avulla istuttamalla vääriä muistoja, jotka ohittavat normaalit turvasuojaukset.

Tietoturva-aukko on olemassa ElizaOS:ssa ja vastaavissa alustoissa, koska hyökkääjät voivat käyttää kompromisoituja agentteja siirtämään varoja eri alustojen välillä. Blockchain-transaktioiden peruuttamattomuus tekee varastettujen varojen palauttamisen mahdottomaksi. Uusi työkalu, CrAIBench, pyrkii auttamaan kehittäjiä vahvistamaan puolustusta.