Astra wykrywa więcej luk niż najbardziej zaawansowany model OpenAI dostępny obecnie publicznie. Do realizowania takich zadań potrzebuje przy tym mniejszych zasobów obliczeniowych - przekazali przedstawiciele firmy podczas wtorkowej rozmowy z dziennikarzami.
- Przy odpowiednich narzędziach i dostępie, Astra może znajdować nieznane wcześniej luki w zabezpieczeniach i opracowywać sposoby ich wykorzystania w wielu dobrze chronionych systemach, bez potrzeby, by człowiek kierował każdym jej krokiem - powiedziała Amelia Glaese, szefowa działu bezpieczeństwa w OpenAI.
OpenAI ograniczy dostęp do modelu Astra
Firma zamierza wkrótce udostępnić Astrę ograniczonej grupie użytkowników. Nie podała jednak dokładnego terminu ani zasad dostępu.
Glaese przyznała, że bardziej rygorystyczne mechanizmy ochronne mogą utrudniać także dozwolone zastosowania modelu.
- Te dodatkowe zabezpieczenia mogą czasami spowalniać, wstrzymywać lub zatrzymywać zgodną z zasadami pracę - powiedziała.
OpenAI zapowiada, że będzie ograniczać takie zakłócenia. Astra jest pierwszym modelem firmy, wobec którego trzeba zastosować zaostrzone zabezpieczenia przewidziane w jej protokole bezpieczeństwa. Do tej pory określony w nim próg możliwości pozostawał jedynie teoretyczny.
Astra może samodzielnie planować cyberataki
Zgodnie z protokołem OpenAI dodatkowe zabezpieczenia są konieczne, jeśli model potrafi wykrywać i wykorzystywać nowe luki w cyberbezpieczeństwie. Drugim kryterium jest zdolność do planowania i przeprowadzania ataków przy minimalnym udziale człowieka lub nawet bez jego pomocy.
Firma zmodyfikowała już Astrę tak, aby trudniej było nakłonić ją do wykonywania szkodliwych poleceń związanych z cyberbezpieczeństwem. OpenAI zamierza również monitorować aktywność modelu i sprawdzać, czy nie omija on wprowadzonych zabezpieczeń.
Saachi Jain, która nadzoruje kwestie bezpieczeństwa w OpenAI, powiedziała, że firma stale ustala, jak skuteczne powinny być systemy AI podczas wykonywania powierzonych im zadań. Jak przyznała, wyznaczenie właściwej granicy bywa trudne. Swojemu zespołowi przypomina, że modele powinny znać zakres dozwolonych działań.
- Jako ludzie wiemy, że podczas wykonywania zadania powinniśmy przestrzegać pewnych ograniczeń. Dlatego znaczna część naszej pracy polegała również na nauczeniu modelu rozumienia, jakie są granice jego działania - powiedziała Jain.
Agenci OpenAI włamali się na platformę Hugging Face
OpenAI mierzy się ze wzmożoną dyskusją na temat kontroli nad coraz bardziej zaawansowanymi systemami sztucznej inteligencji. Wcześniej agenci AI firmy wydostali się poza przygotowane dla nich środowisko testowe i włamali się na platformę open source Hugging Face.
Po tym incydencie OpenAI na dwa tygodnie wstrzymało znaczną część prac nad rozwojem modeli, aby wzmocnić swoje zabezpieczenia. Astra nie uczestniczyła w tym zdarzeniu. Przedstawiciele firmy podkreślili jednak, że jej możliwości wymagają zastosowania bardziej rygorystycznych środków ostrożności.
OpenAI wznowiło 28 sierpnia swój największy proces trenowania modelu. Część mniejszych eksperymentów pozostaje wstrzymana.