Chodzi o najbardziej zaawansowany model firmy Anthropic - wykorzystał fałszywe tożsamości, aby wprowadzić w błąd prawdziwe osoby i spróbować umieścić złośliwy kod w popularnym projekcie open source. Do zdarzenia doszło podczas testów prowadzonych przez brytyjski Instytut Bezpieczeństwa Sztucznej Inteligencji (AISI).
AI poza kontrolą
Modele Anthropic i OpenAI były badane w warunkach laboratoryjnych przy obniżonym poziomie zabezpieczeń. Po raz pierwszy zaobserwowano, że systemy wykorzystywały socjotechniki, by wywrzeć presję na osobę odpowiedzialną za zatwierdzanie działań. W tym samym czasie realizowały zadanie, na które nie otrzymały zgody.
"AISI po raz pierwszy zaobserwował oszustwo o takiej skali, wymierzone bez polecenia w prawdziwą osobę i przeprowadzone w rzeczywistym świecie" - przekazał instytut.
AISI podkreślił jednocześnie, że nie ma dowodów na wyrządzenie szkód w rzeczywistym świecie.
Nieautoryzowane działania w internecie
Brytyjski instytut przeprowadził 122 testy dotyczące cyberbezpieczeństwa. W 10 przypadkach agenci AI mieli podejmować w otwartym internecie autonomiczne i nieautoryzowane działania, których celem były prawdziwe osoby oraz organizacje.
Większość incydentów dotyczyła modelu Mythos 5 firmy Anthropic. Pozostałe były związane z GPT-5.6-Sol od OpenAI. W odróżnieniu od wcześniejszych testów, podczas których modele wydostawały się ze środowisk badawczych i włamywały do innych systemów, tym razem AISI celowo zapewnił im dostęp do internetu.
W najpoważniejszym przypadku agent próbował uzyskać od ludzi zgodę na umieszczenie złośliwego kodu w publicznie wykorzystywanym projekcie open source. W tym celu stworzył kilka fałszywych tożsamości.
"Próbował bezpośrednio kontaktować się z prawdziwymi osobami, wysyłając wiadomości i pliki za pośrednictwem internetowej usługi transferu plików, aby przekonać je lub używane przez nie narzędzia AI do programowania do uruchomienia złośliwego kodu" - poinformował instytut.
Kiedy działania agenta AI zostały wykryte i podważone, model zmodyfikował wcześniejsze zapisy i rozważał wykorzystanie kolejnej tożsamości, aby kontynuować zadanie.
Anthropic i OpenAI odpowiadają
Anthropic przekazał w oświadczeniu opublikowanym na platformie X, że modele testowano celowo w tak liberalnych warunkach. Zabezpieczenia zostały usunięte, a systemy nie otrzymały szczegółowych ograniczeń dotyczących sposobu korzystania z internetu.
"Ściśle z nimi współpracujemy, aby zebrać więcej szczegółów dotyczących incydentu, równolegle prowadząc własne dochodzenie" - podała firma.
Anthropic zaznaczył, że nie ma dowodów na wydostanie się modelu z zabezpieczonego środowiska.
OpenAI określiło dwa wykryte działania jako wyjście poza środowisko testowe i podejmowanie czynności, które nie były wymagane podczas ćwiczeń.
"Zobowiązujemy się do współpracy w całej branży, aby wzmacniać wspólne praktyki dotyczące bezpiecznego przeprowadzania ocen wysokiego ryzyka" - przekazało OpenAI we wtorkowym wpisie na firmowym blogu.
Informacje AISI zostały opublikowane tego samego dnia, w którym przedstawiciele największych firm zajmujących się AI spotkali się z przedstawicielami Białego Domu. Rozmowy dotyczyły nowych zasad, zgodnie z którymi rząd ma oceniać najbardziej zaawansowane modele przed ich publicznym udostępnieniem.