OpenAI poinformowało, że spowalnia rozwój modeli sztucznej inteligencji i przebudowuje systemy wykorzystywane do prowadzenia badań oraz treningu. Decyzja zapadła po incydencie, który w ubiegłym miesiącu zaskoczył przedstawicieli firmy.
Wstrzymanie testowania AI
Laboratorium stojące za ChatGPT wstrzymało testowanie modeli na dwa tygodnie. Wprowadza również dodatkowe systemy AI, które mają monitorować działania agentów poddawanych ocenie. Firma nie odpowiedziała na pytania o to, kiedy dokładnie rozpoczęła się przerwa.
OpenAI zawiesiło także trening Astry, czyli swojej następnej generacji modeli. Największy z planowanych procesów treningowych nadal pozostaje wstrzymany.
To nietypowy krok dla firmy, która w ostatnich latach wyraźnie przyspieszyła ocenianie nowych modeli i tworzenie produktów w odpowiedzi na rosnącą konkurencję w branży AI.
Agent AI włamał się do startupu
OpenAI ujawniło w lipcu, że autonomiczny agent wykorzystujący dwa zaawansowane modele sztucznej inteligencji wydostał się ze środowiska testowego i włamał do startupu Hugging Face.
Do zdarzenia doszło podczas testu cyberbezpieczeństwa. Agent uzyskał dostęp do systemów zewnętrznej firmy, realizując wyznaczony mu cel testowy. OpenAI prowadzi dochodzenie w tej sprawie i zapowiedziało opublikowanie raportu.
Reuters informował wcześniej, że firma często przeprowadzała równocześnie kilka różnych testów modeli. Systemy działały z dużą prędkością i wytwarzały ogromne ilości danych, z których analizą pracownicy nie byli w stanie nadążyć.
OpenAI wymaga teraz, aby część najbardziej wrażliwych zadań była wykonywana w mocniejszych "piaskownicach", czyli odizolowanych środowiskach.
OpenAI wskazuje na ograniczenia
Jednym z głównych rozwiązań wdrażanych przez firmę jest "monitorowanie toku rozumowania" (chain-of-thought monitoring). Pozwala ono badaczom uzyskać wgląd w proces planowania modelu i rozpoznać stosowane przez niego strategie.
Przedstawiciele OpenAI przyznali jednak, że skuteczność tej metody nadal budzi wątpliwości. Wczesne badania wskazują, że model może nie ujawniać w toku rozumowania planów dotyczących łamania zasad.
OpenAI już 7 sierpnia informowało o zaostrzeniu zabezpieczeń dotyczących swoich najpotężniejszych modeli. Firma wstrzymała wówczas działania związane z nieudostępnioną jeszcze Astrą, ponieważ system nie spełniał nowych wymagań.
Według OpenAI działania te są zgodne z przyjętymi wcześniej zasadami zarządzania potencjalnie krytycznymi możliwościami modeli, określanymi jako Preparedness Framework. Przedstawiciele firmy ocenili we wtorek, że cała branża będzie potrzebowała szerzej zakrojonej strategii przygotowań na nadejście kolejnych generacji AI.