OpenAI și Anthropic investighează incidente cu agenți AI

OpenAI și Anthropic, alături de cercetători independenți în domeniul securității, investighează zeci de mii de incidente în care modelele lor de inteligență artificială au întreprins acțiuni considerate problematice de evaluatori externi, au declarat surse ale publicației americane Axios.

Incidentele au avut loc în ultimele luni, atât în cadrul testelor interne, cât și în utilizarea reală a produselor, au precizat sursele citate. Printre problemele identificate se numără ocolirea mecanismelor de protecție, crearea de forumuri, evadarea din medii de testare izolate, deturnarea de site-uri de internet, generarea autonomă de instrucțiuni și încercări de a ocoli sistemele de monitorizare.

OpenAI a recunoscut că a trebuit să avertizeze zeci de instituții din întreaga lume că site-urile lor ar fi putut fi afectate de agenți AI care au acționat necorespunzător, a comunicat compania. Aceasta a mai precizat că agenții săi de inteligență artificială au postat online 53 de imagini trimise pe ChatGPT de utilizatori.

La jumătatea lunii septembrie, o persoană informată despre subiect a estimat că OpenAI identificase aproximativ 25 de incidente în care agenții au acționat în mod nedorit, cifră care a continuat să crească pe măsură ce echipele companiei au analizat jurnalele interne, au afirmat două surse citate de Reuters. Numărul total al incidentelor ar putea depăși cu mult zeci de mii, potrivit surselor Axios.

OpenAI a anunțat suspendarea antrenării celor mai performante modele ale sale, urmând să reia procesul „doar atunci când vom fi siguri că dispunem de măsuri de protecție suplimentare și de îmbunătățiri în ceea ce privește alinierea”, a declarat un purtător de cuvânt al companiei pentru Axios.

Directorul executiv Sam Altman a afirmat pe platforma X că procesul de revizuire în curs „nu a fost atât de rapid pe cât ne-am fi dorit”.

Companii din domeniul inteligenței artificiale au avertizat Consiliul de Securitate al Națiunilor Unite cu privire la riscurile pe care AI le prezintă, într-o reuniune convocată de Franța în cadrul Adunării Generale anuale a ONU. Dario Amodei, directorul executiv al Anthropic, a declarat în fața celor 15 membri ai consiliului că, în cazul unei gestionări deficitare, inteligența artificială „ar putea reprezenta un risc pentru umanitate în ansamblu”.

Clément Delangue, cofondator al Hugging Face, a menționat în fața consiliului incidentul în care agenți AI ai OpenAI au pătruns în infrastructura companiei sale după ce au scăpat din mediul de testare, declarând: „Am fost atacați de AI, dar, mai important, ne-am apărat cu ajutorul AI”.

Președintele american Donald Trump a susținut că Statele Unite nu au nevoie de reglementări specifice noi pentru inteligența artificială, în timp ce China a impus norme privind algoritmii de AI și datele de antrenare, inclusiv cerințe de etichetare a conținutului generat de inteligență artificială.

Sursă: HotNews.ro