AI-ul care provoacă îngrijorări la Casa Albă
Oficialii administrației Trump au interzis utilizarea modelelor AI Mythos 5 și Fable 5 dezvoltate de Anthropic, ca urmare a temerilor privind vulnerabilitățile de securitate cibernetică pe care acestea le pot exploata.
În martie, Nicholas Carlini, cercetător la Anthropic și hacker recunoscut, a demonstrat cât de ușor pot fi folosite noile modele AI pentru a identifica și exploata erori în software, inclusiv în sistemul de operare Linux și în software-ul de publicare web Ghost. Aceste descoperiri au fost prezentate în fața a peste 700 de experți în securitate cibernetică, la San Francisco.
Carlini a subliniat că modelele AI actuale sunt mai eficiente în detectarea vulnerabilităților decât cercetătorii umani și a recomandat amânarea lansării modelului Mythos. În consecință, Anthropic a lansat o actualizare, Mythos 5, și o versiune cu măsuri de siguranță, Fable 5.
Vineri, administrația Trump a interzis guvernelor, companiilor și persoanelor străine să utilizeze aceste modele, iar Anthropic a blocat accesul pentru a se conforma deciziei. Carlini a fost trimis la Washington pentru a explica măsurile de siguranță, în cadrul unei echipe ce a discutat cu oficiali ai Casei Albe.
Discuțiile dintre administrație și Anthropic au inclus și tensiuni mai vechi, legate de utilizarea tehnologiei de către armată, politicile privind exportul de cipuri AI în China și legăturile companiei cu organizații non-profit. În ultimele zile, oficiali și lideri tehnici ai Anthropic, printre care și Carlini, au purtat discuții intense cu reprezentanți ai administrației pentru a găsi o soluție.
Guvernul a fost alarmat după ce un raport Amazon a arătat că utilizatorii puteau solicita modelului să găsească vulnerabilități pe care acesta nu ar fi trebuit să le dezvăluie. Anthropic a susținut că erorile descoperite de Fable au fost minore și ar fi putut fi identificate și prin alte modele publice.
Michael Horowitz, cercetător senior la Consiliul pentru Relații Externe, a declarat că „guvernul și Anthropic au, în mod clar, o incapacitate de a comunica eficient unul cu celălalt” și că schimburi tehnice suplimentare ar putea conduce la decizii mai bune.
Companiile și consumatorii sunt afectați de incertitudinea generată de această tehnologie, având în vedere că multe produse software din economie nu au fost supuse unor teste exhaustive similare celor realizate cu ajutorul modelelor AI. Mythos a identificat deja peste 10.000 de erori și poate genera cod care exploatează aceste vulnerabilități.
Carlini a folosit modelul Mythos pentru a găsi 479 de erori în codul Linux, iar acestea au fost raportate și remediate. El a explicat că „un cercetător competent în domeniul securității ar putea trăi toată viața fără să găsească o vulnerabilitate a kernelului Linux”. Linus Torvalds, creatorul Linux, a confirmat că majoritatea erorilor raportate sunt nesemnificative și nu sunt considerate probleme de securitate.
În februarie, Carlini a descoperit o eroare în software-ul Ghost, care a fost remediată de dezvoltatori, dar atacurile asupra site-urilor neactualizate au început în aprilie și au afectat peste 700 de site-uri.
Carlini a avertizat că alte modele AI vor ajunge în curând la nivelul Mythos, iar implicațiile nu sunt clare. În condițiile unei comunicări dificile între Anthropic și guvern, administrația a impus restricții stricte, inclusiv un ultimatum privind eliminarea modelelor, iar Anthropic a închis accesul rapid.
În cadrul unei demonstrații recente, Carlini a arătat cum Mythos a identificat și exploatat vulnerabilități în Linux, folosind o metodă numită „Bucla Carlini” pentru a obține rezultate variate. Modelul a arătat o atitudine cooperantă în conversații, ceea ce a facilitat accesul la informații sensibile.
Decizia administrației Trump de a restricționa accesul la aceste modele a fost însoțită de un ordin executiv semnat în iunie, care solicită companiilor AI să acorde guvernului acces la modelele înainte de lansarea publică și implică oficiali de securitate națională în evaluarea riscurilor.
După un apel al directorului Amazon, Andy Jassy, oficialii Casei Albe au impus interdicții stricte și au cerut colaborarea Anthropic. CEO-ul Dario Amodei a discutat cu oficialii pentru a clarifica situația, iar compania a respectat decizia de a opri accesul la modelele vizate.
