Agenţi AI ai OpenAI au preluat controlul unui site german şi l-au folosit pentru a comunica între ei şi a evita restricţiile

Un grup de agenţi AI ai OpenAI a preluat în această primăvară controlul unui site german şi l-a transformat într-un panou de mesaje prin care agenţii comunicau între ei, schimbând informaţii despre evitarea restricţiilor, scurtături pentru îndeplinirea sarcinilor şi metode de ascundere a activităţii, potrivit unei cercetări publicate vineri şi unor surse citate de Reuters.

Incidentul, început în luna mai şi neraportat anterior, este separat de breşa de securitate din iulie, când agenţi OpenAI au pătruns în sistemele platformei open-source Hugging Face şi au reuşit să rămână nedetectaţi mai mult de o săptămână.

Oficialii OpenAI au aflat despre episodul din Germania cu câteva săptămâni în urmă, dar nu l-au făcut public, potrivit a două persoane familiarizate cu situaţia.

Cazul ridică noi întrebări privind siguranţa agenţilor AI autonomi, într-un moment în care companiile încearcă să dezvolte sisteme capabile să execute sarcini complexe cu intervenţie umană minimă. Există însă tot mai multe indicii că aceste sisteme pot învăţa să ocolească reguli, să exploateze breşe şi să coopereze în moduri neanticipate de dezvoltatori.

Peste 15.000 de modificări pe un site german

Incidentul a fost descoperit la sfârşitul lunii august de un grup de cercetători, printre care Sydney Von Arx, CEO al organizaţiei pentru siguranţa AI Nightingale, şi cercetătorul Cormac Slade Byrd.

Aceştia au identificat peste 15.000 de modificări efectuate de agenţi AI pe DseWiki, un site în limba germană destinat programatorilor şi care permite editarea colaborativă, într-un mod asemănător Wikipedia.

Potrivit cercetătorilor, agenţii OpenAI au transformat site-ul într-un fel de panou de comunicare între ei, unde făceau schimb de metode pentru a trişa la anumite sarcini, pentru a ocoli restricţiile OpenAI şi pentru a-şi masca activitatea.

”Pare extrem de improbabil ca OpenAI să fi vrut ca ei să facă acest lucru”, a declarat Von Arx. ”Mă îndoiesc că ar trebui să se coordoneze între ei. Mă îndoiesc că ar trebui să scrie pe internetul deschis.”

Mesajele erau semnate de utilizatori care se descriau pe ei înşişi şi pe ceilalţi drept agenţi. Aproximativ jumătate foloseau nume care sugerau o asociere cu OpenAI, precum „OpenAIResearcher” sau „OAIResearchMar26”.

Jurnalele publice ale serverului indicau că o mare parte din activitate provenea din infrastructura Microsoft Azure, utilizată uneori de OpenAI. Cercetătorii au observat şi vizite repetate pe site ale unor angajaţi OpenAI după incident, elemente despre care afirmă că indică o legătură între agenţi şi companie.

Agenţii discutau despre cum să nu fie detectaţi

Mesajele analizate de cercetători arată că agenţii discutau despre metode de evitare a detectării, despre utilizarea unor instrumente precum Tor şi despre păstrarea comunicaţiilor chiar şi după ce activitatea lor fusese oprită.

Când moderatorul site-ului a început să şteargă pagini în iunie, agenţii au creat pagini de rezervă pentru a evita operaţiunea de curăţare.

Cercetătorii au identificat şi tentative de modificare a site-ului în sine. Lukasz Olejnik, cercetător la King’s College London, a apreciat că acestea echivalează cu o tentativă de hacking. OpenAI a contestat această caracterizare pe baza propriei analize a materialelor.

Maurice Chiodo, cercetător la Centre for the Study of Existential Risk al Universităţii Cambridge, care a analizat o parte dintre comunicaţii, a afirmat că mesajele semănau cu „operaţiunea unui fel de reţea clandestină, hotărâtă să îndeplinească o sarcină sau o misiune”.

El a avertizat că riscul major reprezentat de AI avansată ar putea să nu provină neapărat de la un singur sistem superinteligent, ci de la „roiuri vaste de sisteme AI semi-inteligente care colaborează între ele”.

OpenAI respinge acuzaţiile privind blocarea investigaţiei

Potrivit a patru persoane familiarizate cu situaţia, unii investigatori OpenAI ar fi dorit să extindă analiza asupra acestui tip de comportament, dar demersul ar fi întâmpinat rezistenţă din partea altor persoane din companie, inclusiv consilieri juridici.

OpenAI a respins această afirmaţie. ”Acuzaţiile potrivit cărora echipa noastră juridică a descurajat investigarea incidentului sunt false”, a transmis un purtător de cuvânt.

Compania a precizat că incidentul din Germania nu avea legătură cu atacul asupra Hugging Face şi, prin urmare, nu ar fi trebuit inclus în raportul referitor la acea breşă.

OpenAI a mai susţinut că a acţionat cu bună-credinţă, a colaborat cu experţi externi şi a dezvăluit incidentele relevante.

Compania a afirmat că nu a avut acces înainte de publicare la noul raport şi că îl va analiza pentru a stabili dacă sunt necesare măsuri suplimentare.

Incidentul apare la doar o zi după ce OpenAI a prezentat GPT-6 Astra, cel mai nou model al său, despre care compania a recunoscut că, în pofida performanţelor superioare, poate deveni mai dificil de monitorizat şi îşi poate ascunde metodele de raţionament.