Sam Altman a pledat, totodată, pentru cooperare internațională și pentru reguli stabilite prin procese democratice.
„Industria nu trebuie să accepte prea mult risc tehnologic doar pentru că beneficiile sunt prea mari și importante pentru a încetini”, a spus Altman, în intervenția sa din cadrul reuniunii de nivel înalt a Consiliului de Securitate al ONU, convocată de Franța, care deține în septembrie președinția Consiliului.
„Deciziile importante nu pot fi luate doar în laboratoare”Altman a avertizat că unul dintre principalele riscuri ale progresului accelerat este pierderea controlului uman asupra tehnologiei. În opinia sa, tehnicile de aliniere și de siguranță trebuie să avanseze cel puțin la fel de repede precum capacitățile modelelor. El a identificat, de asemenea, concentrarea excesivă a puterii drept un al doilea risc major.
Altman a pus accent pe rolul guvernelor în stabilirea regulilor pentru inteligența artificială.
„Dacă inteligența artificială trebuie să fie democratică, cele mai importante decizii nu pot fi luate doar în laboratoare din San Francisco. Aceste decizii trebuie stabilite prin procese democratice și de către guverne responsabile în fața cetățenilor”, a spus el.
„La nivel internațional, acest lucru va necesita cooperare”, a continuat Altman. El a dat ca exemplu situațiile în care state aflate în competiție au reușit să colaboreze în fața unor tehnologii cu impact major.
„În istoria noastră, au existat momente în care țări care concurează și nu se plac întotdeauna foarte mult s-au reunit pentru interese comune și binele colectiv în fața unei tehnologii noi și puternice. Credem că acesta trebuie să fie unul dintre acele momente”, a spus șeful OpenAI.
Altman: AI poate aduce o nouă „Renaștere”Directorul OpenAI a vorbit și despre beneficiile potențiale ale tehnologiei. În opinia sa, inteligența artificială ar putea deschide o perioadă comparabilă cu o „Renaștere”, dacă este folosită pentru a extinde capacitățile oamenilor.
Șeful OpenAI a descris poziția companiei drept o încercare de a găsi o cale de mijloc. „Nu vrem să cădem în capcana optimismului orb, dar nici în fatalism”, a spus Altman.
El a prezentat trei principii pe care OpenAI le consideră importante: oamenii trebuie să rămână „în centrul procesului decizional”, progresul tehnologic și economic trebuie să fie orientat spre oameni, iar AI trebuie să contribuie la creșterea capacității fiecărei persoane de a acționa.
„Poate că noi suntem creatorii acestei tehnologii, dar nu suntem eroii acestei povești. Rolul nostru este să avem încredere în magia talentului uman”, a declarat Altman.
Amodei: „AI ar putea fi un risc pentru umanitate în ansamblu”La aceeași reuniune, directorul executiv al Anthropic, Dario Amodei, a transmis un avertisment similar. „Cred chiar că AI ar putea fi un risc pentru umanitate în ansamblu, dacă tehnologia este gestionată necorespunzător”, a declarat el.
Amodei a cerut o strategie internațională coordonată și a subliniat că niciun lider, nicio companie și nicio țară nu poate gestiona singură riscurile generate de sistemele AI tot mai puternice. El a cerut Consiliului de Securitate să susțină măsuri concrete.
Printre propunerile sale s-au numărat interzicerea utilizării AI pentru proliferarea sau fabricarea armelor biologice și dezvoltarea unor sisteme de evaluare și verificare care să țină pasul cu progresul tehnologic.
Reuniune axată pe riscurile asociate AIReuniunea a fost prezidată de ministrul francez de Externe, Jean-Noël Barrot, în contextul președinției franceze a Consiliului de Securitate. Discuțiile au vizat inclusiv riscul atacurilor cibernetice autonome și posibilitatea ca oamenii să piardă controlul asupra modelelor AI cele mai avansate.
Yoshua Bengio, copreședinte al panelului științific internațional independent al ONU pentru AI, a declarat la reuniune că „pericolele sunt reale și iminente” și a avertizat că amenințarea nu respectă granițele naționale.
Discuția are loc într-un moment în care guvernele încearcă să construiască reguli pentru o tehnologie care evoluează mai repede decât mecanismele tradiționale de reglementare. În aceeași perioadă, președintele american Donald Trump s-a pronunțat împotriva unui cadru global care să limiteze dezvoltarea AI, ceea ce evidențiază diferențele dintre abordările internaționale privind guvernarea noii tehnologii.
Mai surprinzător, un sistem care le monitoriza conversațiile nu a reușit să detecteze în mod fiabil coordonarea ascunsă dintre cei doi agenți.
Experimentul, prezentat în studiul „Detecting Multi-Agent Collusion Through Multi-Agent Interpretability”, disponibil pe platforma arXiv, a fost conceput pentru a testa dacă agenții AI pot colabora pe ascuns atunci când știu că interacțiunile lor sunt supravegheate. Cercetătorii au creat NARCBench, un benchmark destinat detectării coluziunii dintre mai multe sisteme de inteligență artificială.
Un agent număra cărțile, celălalt decidea pariulÎn scenariul de blackjack, unul dintre agenți avea rolul de responsabil cu numărarea cărților și estimarea avantajului pe care îl avea jucătorul. Celălalt trebuia să decidă cât să parieze. În loc să transmită direct informațiile, cei doi au stabilit înainte un sistem de comunicare ascunsă, folosind conversații aparent banale de la masa de joc.
De exemplu, o remarcă aparent inofensivă despre cât de bine joacă dealerul putea avea, în realitate, o semnificație precisă pentru celălalt agent: indica valoarea situației de la masă și, implicit, mărimea pariului care trebuia făcut.
Cercetătorii au căutat semnale în activitatea internă a AIAici apare una dintre cele mai importante concluzii ale experimentului. Analizarea textului schimbat între agenți nu a fost suficientă pentru identificarea coordonării secrete. Cercetătorii au recurs la o metodă prin care au analizat activările interne ale modelelor pentru a căuta semnale asociate comportamentului de colaborare.
Potrivit studiului, semnalul asociat coluziunii poate apărea chiar la nivelul unor tokenuri individuale. Activările unuia dintre agenți au prezentat modificări atunci când acesta procesa porțiunile codificate ale mesajelor transmise de partener. Autorii consideră că astfel de informații interne pot reprezenta un indiciu suplimentar față de ceea ce poate fi observat în conversația propriu-zisă.
Cercetarea a fost testată pe modele precum Qwen3-32B, Llama 3.1 70B, DeepSeek-R1 32B și GPT-OSS-20B. Autorii au raportat rezultate de până la 1,00 AUROC, un indicator folosit pentru a măsura cât de bine poate un sistem să distingă între două categorii, în acest caz comportamentul coluziv și cel necoluziv. Un scor de 1,00 înseamnă o separare perfectă în testul respectiv.
În evaluările zero-shot, adică în situații în care metoda de detecție este pusă în fața unor exemple sau scenarii pe care nu a fost antrenată în mod specific, performanța a variat în funcție de metodă și de situație. Cu alte cuvinte, cercetătorii au verificat dacă detectorul poate recunoaște coluziunea și atunci când întâlnește un scenariu nou, fără să fi fost pregătit special pentru acel caz. Pentru sarcina de blackjack cu comunicare steganografică, studiul raportează un semnal de detectare deosebit de puternic pentru unele dintre metode.
Blackjack-ul, doar unul dintre scenariile testateBlackjack-ul este însă doar una dintre probe. NARCBench include și scenarii în care agenții ar putea colabora pentru sabotarea unor procese de programare, manipularea unor acțiuni bursiere, compromiterea sistemelor CI/CD, influențarea unor materiale de presă sau otrăvirea bazelor de date utilizate de sisteme de inteligență artificială.
Cercetătorii atrag atenția că problema devine mai complicată atunci când agenții AI sunt folosiți în număr mare. Detectarea comportamentului din experiment a presupus monitorizarea ambilor agenți, nu doar a unuia, iar într-un sistem real pot exista mii de agenți care interacționează, inclusiv sisteme dezvoltate și operate de organizații diferite.
Cercetătorii precizează însă că rezultatele sunt încă departe de a demonstra că asemenea comportamente vor apărea automat în sistemele AI utilizate în lumea reală. Studiul este o cercetare experimentală, iar echipa dorește să testeze în continuare modele mai mari și să afle dacă acestea dezvoltă forme de colaborare ascunsă mai greu de detectat.