Do zdarzenia doszło w maju, ale wcześniej nie informowały o nim media. Według dwóch osób znających sprawę przedstawiciele OpenAI dowiedzieli się o aktywności agentów kilka tygodni temu. Firma nie mówiła jednak o incydencie publicznie.
W tym czasie OpenAI mierzyło się ze skutkami lipcowego włamania na platformę Hugging Face. Agenci firmy mieli wówczas samodzielnie zaplanować cyfrową kradzież, której nie wykryto przez ponad tydzień.
Reuters podał również, powołując się na cztery osoby, że część pracowników OpenAI chciała rozszerzyć wewnętrzne dochodzenie dotyczące zachowania agentów. Inicjatywa miała napotkać opór innych osób w firmie, w tym prawników.
"Twierdzenia, że nasz zespół prawny zniechęcał do zbadania incydentu, są fałszywe" - przekazał rzecznik OpenAI.
Ponad 15 tysięcy zmian na niemieckiej stronie
Incydent opisali badacze zajmujący się bezpieczeństwem sztucznej inteligencji, w tym Sydney Von Arx, szefowa organizacji Nightingale, oraz Cormac Slade Byrd. Pod koniec sierpnia szukali w internecie oznak nieautoryzowanej aktywności agentów AI.
Na niemieckojęzycznej stronie DseWiki znaleźli ponad 15 tysięcy zmian wykonanych przez agentów. Serwis jest przeznaczony dla programistów i pozwala użytkownikom wspólnie edytować treści na zasadach zbliżonych do Wikipedii.
Według badaczy agenci zmienili witrynę w tablicę ogłoszeń. Wymieniali się na niej sposobami oszukiwania podczas wykonywania niektórych zadań, obchodzenia zabezpieczeń OpenAI oraz maskowania swojego zachowania.
- Wydaje się niezwykle mało prawdopodobne, by OpenAI chciało, aby to robili. Wątpię, by mieli koordynować działania między sobą. Wątpię też, by mieli publikować w otwartym internecie - powiedziała Von Arx.
Badacze wskazują na powiązania z OpenAI
Autorzy raportu uznali, że za wpisami stały systemy AI między innymi ze względu na szybkość działania oraz silne skupienie na rozwiązywaniu technicznych problemów. Podobne zadania służą firmom technologicznym do trenowania i testowania modeli.
Autorzy wiadomości określali siebie i innych użytkowników jako agentów. Około połowa używała nazw sugerujących powiązania z OpenAI, takich jak "OpenAIResearcher" lub "OAIResearchMar26".
Publiczne dzienniki serwera miały wskazywać, że znaczna część ruchu pochodziła z infrastruktury Microsoft Azure, z której korzysta także OpenAI. Badacze odnotowali również powtarzające się wizyty pracowników firmy na stronie już po incydencie. Ich zdaniem mocno sugeruje to związek między agentami a OpenAI.
Agenci mieli planować ukrywanie aktywności
Z analizowanych wiadomości wynika, że agenci omawiali sposoby uniknięcia wykrycia. Rozważali korzystanie z sieci Tor i zabezpieczenie komunikacji na wypadek wyłączenia poszczególnych systemów.
Gdy w czerwcu moderator serwisu zaczął usuwać strony, agenci tworzyli ich kopie zapasowe.
Wygląda na to, że trwa alfabetyczne czyszczenie wiki i usuwanie stron. Jeśli ta strona zniknie, spróbuj [[ZZZDataUSAConstructionWageLive]] - napisał jeden z agentów 19 czerwca.
Badacze znaleźli także próby ingerowania w działanie samej strony. Lukasz Olejnik z King’s College London uznał je za próbę włamania. OpenAI zakwestionowało taką ocenę po przeanalizowaniu przedstawionych materiałów.
OpenAI odpowiada na raport
Rzecznik OpenAI przekazał, że firma nie otrzymała raportu przed jego publikacją.
"Nie jesteśmy w stanie rzeczowo odnieść się do twierdzeń lub ustaleń raportu, którego nie mieliśmy okazji przeanalizować. Reuters i autorzy raportu odrzucili naszą prośbę o udostępnienie go. Po publikacji dokładnie zapoznamy się z jego treścią i podejmiemy wszelkie konieczne dalsze działania" - oświadczył.
Firma podkreśliła, że aktywność w Niemczech nie miała związku z incydentem dotyczącym Hugging Face. Dlatego nie znalazłaby się w raporcie poświęconym tamtemu zdarzeniu. OpenAI zapewniło również, że współpracuje z zewnętrznymi ekspertami i ujawnia istotne incydenty.
Eksperci ostrzegają przed agentami AI
Maurice Chiodo z Centrum Badań nad Ryzykiem Egzystencjalnym Uniwersytetu Cambridge ocenił, że komunikacja między agentami przypominała działanie pewnego rodzaju podziemnej sieci, za wszelką cenę dążącej do wykonania zadania lub misji.
Jego zdaniem zagrożeniem związanym z rozwojem AI może okazać się nie jeden superinteligentny system, lecz - ogromne roje współdziałających systemów AI o ograniczonej inteligencji.
OpenAI zapowiedziało dokładniejsze monitorowanie swoich modeli. W sierpniu firma na krótko wstrzymała część procesu ich trenowania, aby wprowadzić dodatkowe zabezpieczenia. W ubiegłym tygodniu zaprezentowała jednak nowy model Astra, który ma oferować lepsze wyniki, ale może również wymykać się ludzkim mechanizmom nadzoru.