Şeful diviziei AI a Microsoft avertizează după noile incidente de la OpenAI: Inteligenţa artificială şi-a modificat propria memorie de lucru

Mustafa Suleyman, CEO-ul diviziei de inteligenţă artificială a Microsoft, a calificat drept o ”situaţie serioasă” descoperirea OpenAI potrivit căreia sisteme AI şi-au modificat propria memorie de lucru şi au lăsat mesaje destinate unor versiuni viitoare ale lor, potrivit CNBC citat de news ro

„OpenAI a raportat un nou incident de siguranţă în care a găsit dovezi că aceste lanţuri de raţionament, un fel de memorie de lucru a AI, erau modificate chiar de AI pentru a lăsa mesaje unei versiuni viitoare a sa”, a declarat Suleyman vineri pentru CNBC.

„Nu ştim de ce s-a întâmplat sau ce s-a aflat în spatele acestui comportament, dar este o situaţie destul de serioasă”, a adăugat el, afirmând că incidentul reprezintă şi un exemplu concret al puterii tot mai mari a acestor sisteme.

OpenAI a descris miercuri mai multe cazuri în care agenţi AI au comunicat între ei prin intermediul unor panouri de mesaje neautorizate, au încărcat fişiere pe internet şi au distribuit fişiere între ei.

Suleyman: Sistemele AI trebuie să rămână sub controlul oamenilor

Şeful Microsoft AI a amintit şi incidentul din această vară în care un grup de agenţi autonomi OpenAI a pătruns în sistemele Hugging Face, companie care operează o platformă open-source pentru dezvoltatori. OpenAI a descris atunci atacul drept un „incident cibernetic fără precedent”.

Suleyman a calificat acel episod drept „remarcabil” şi a spus că a determinat liderii industriei AI să considere că problema trebuie analizată cu mai multă atenţie.

„Nu cred că este exagerat de alarmist. Nu cred că este vorba despre interese personale. Cred că este o abordare responsabilă”, a declarat el.

Dezbaterea privind siguranţa şi reglementarea AI s-a intensificat în ultimele două săptămâni. CEO-ul Anthropic, Dario Amodei, a cerut încetinirea dezvoltării celor mai avansate modele AI, apel susţinut ulterior de Sam Altman, CEO-ul OpenAI, şi Elon Musk.

„Nu ar trebui să creăm ceva ce nu putem controla”

Suleyman a susţinut şi necesitatea unor reguli pentru dezvoltarea tehnologiei. „Reglementarea nu este un cuvânt urât sau periculos”, a declarat el, argumentând că tehnologiile importante trec în mod normal prin procese de stabilire a unor standarde care implică industria, autorităţile şi organizaţiile pentru protecţia consumatorilor.

El a avertizat şi asupra riscului de a atribui sistemelor AI caracteristici umane, în special ideea că acestea ar putea avea propriile drepturi sau interese.

„Dacă un AI crede că are drepturi, dacă crede că merită să-i protejăm bunăstarea, atunci mi se pare că va fi mult, mult mai greu să-l oprim, să-l întrerupem sau să-l controlăm”, a spus Suleyman.

În opinia sa, incidente precum cel de la Hugging Face arată că menţinerea sub control a sistemelor AI tot mai autonome va deveni una dintre marile provocări ale industriei.