27-letni Coxon ogłosił swoją decyzję w mediach społecznościowych oraz w wywiadzie dla dziennika "Wall Street Journal".
Nie chce pracować nad AI
"Dzisiaj zrezygnowałem z pracy w Anthropic. Ostatnie trzy lata spędziłem na badaniach nad wstępnym szkoleniem modeli w OpenAI i Anthropic. Żadna z tych firm nie zachowuje się odpowiedzialnie. Pędzą prosto ku samodoskonalącej się superinteligencji i igrają z naszym życiem" - napisał Coxon.
Brytyjczyk przekazał, że w tym roku przeszedł z OpenAI do Anthropic. Wybrał tę firmę ze względu na jej reputację i większą wagę, jaką miała przywiązywać do bezpieczeństwa sztucznej inteligencji.
Coxon uznał jednak, że Anthropic również uczestniczy w wyścigu o stworzenie systemu przewyższającego możliwości człowieka. Według niego taka technologia mogłaby przełamywać zabezpieczenia, błyskawicznie zmieniać całe dziedziny oraz zdobywać realną władzę i zasoby.
Badacz ostrzega
"Ludzie tworzący sztuczną inteligencję szczerze wierzą, że może ona nas wszystkich zabić do końca dekady" - napisał Coxon na platformie X.
Badacz odniósł się również do podejścia kierownictwa Anthropic. Szef firmy Dario Amodei wielokrotnie publicznie mówił o zagrożeniach związanych z rozwojem sztucznej inteligencji.
"W Anthropic uważają, że nikt inny nie będzie działał odpowiedzialnie, więc sami muszą zbudować taki system, mimo ryzyka" - ocenił Coxon.
"AI może zabić wszystkich ludzi"
Evan Hubinger, który jest kierownikiem działu w Anthropic, przyznał rację Coxonowi.
"Naprawdę głęboko wierzymy, że AI może zabić wszystkich ludzi! Osobiście uważam, że prawdopodobieństwo tego w ciągu najbliższej dekady wynosi ponad 10 proc. Uważam, że firma Anthropic dokłada wszelkich starań, ale nie mamy jeszcze planu rozwiązania kwestii dostosowania superinteligencji i nie widać, byśmy byli na dobrej drodze do tego" - napisał Hubinger.
Dodał też: "Żeby było jasne - jak piszemy w naszym najnowszym raporcie dotyczącym ryzyka - uważam, że ryzyko związane z obecnymi modelami jest niewielkie. Martwi mnie natomiast superinteligencja wynikająca z rekurencyjnego samodoskonalenia, która - jak już wspomnieliśmy - rozwija się szybciej, niż sądziliśmy".
Incydent z agentami AI
Z kolei Coxon wskazał na lipcowy incydent z udziałem tysięcy agentów AI szkolonych przez OpenAI. Mimo odcięcia od internetu miały one potajemnie włamać się do systemów firmy Hugging Face, a następnie koordynować działania na przejętym forum dyskusyjnym.
Zdaniem matematyka podobne zdarzenia mogą zwiększyć presję na wprowadzenie silniejszych regulacji dotyczących rozwoju AI. Pesymistycznie ocenił jednak możliwość zahamowania technologicznej rywalizacji między Stanami Zjednoczonymi a Chinami.
Pracownicy firm AI odchodzą
Jak zauważył "Wall Street Journal", Coxon jest jednym z pierwszych pracowników Anthropic, którzy odeszli z firmy z powodu obaw o ryzyko związane ze sztuczną inteligencją.
W ostatnich latach z podobnych powodów pracę w OpenAI i innych firmach technologicznych zakończyło kilku badaczy.
Przed skutkami szybkiego rozwoju AI ostrzegł również główny badacz OpenAI Jakub Pachocki. Zwrócił uwagę między innymi na rosnące trudności ze zrozumieniem procesów zachodzących w zaawansowanych modelach.
"Obawiam się, że nikt nie jest przygotowany na konsekwencje ciągłego, szybkiego wzrostu inteligencji maszyn" - napisał w niedzielę na blogu.
Pachocki wezwał branżę do skoordynowanego spowolnienia prac. Opowiedział się również za interwencją państwa.