Naukowcy z uniwersytetów w San Francisco i Berkeley opracowali innowacyjną technologię umożliwiającą lepsze porozumiewanie się osobom, które w przeszłości utraciły zdolność mowy. Pierwszą użytkowniczką została 47-letnia Ann Johnson, która przed 18 laty przeszła udar pnia mózgu. Teraz jej głosem przemówił spersonalizowany awatar.
"W wieku 30 lat Ann przeszła udar pnia mózgu, który pozostawił ją dotkliwie sparaliżowaną. (...) Lata fizykoterapii pozwoliły jej na poruszanie mięśniami twarzy na tyle, by śmiać się lub płakać. Mięśnie, które pozwoliłyby kobiecie mówić, pozostały nieruchome" - podano na stronie internetowej Uniwersytetu Kalifornijskiego w San Francisco.
Po 18 latach od wypadku kobieta odzyskała swój głos. Opracowana przez amerykańskich naukowców technologia przetłumaczyła wysyłane przez mózg Ann Johnson sygnały na słowa, które następnie zostały wypowiedziane dawnym głosem 47-latki przez spersonalizowany awatar. Technologia umożliwiła również odtworzenie jej mimiki na awatarze.
- Naszym celem jest przywrócenie chorym (...) najbardziej naturalnego sposobu rozmawiania z innymi - podkreśla profesor Edward Chang, który kierował pracami na Uniwersytecie Kalifornijskim w San Francisco (UCSF).
Ann Johnson odzyskała swój głos dzięki technologii
Szczegóły technologii, która umożliwiła Ann Johnson porozumiewanie się za pomocą sygnałów mózgowych, zostały opisane w artykule naukowym opublikowanym w środę na łamach czasopisma "Nature". Podstawą jest składający się z 253 elektrod implant, który w ubiegłym roku został chirurgicznie umieszczony na powierzchni mózgu kobiety. Jego zadaniem jest wychwytywanie sygnałów mózgowych, które - gdyby nie udar - odpowiadałyby za kontrolę mięśni języka, szczęki, krtani i twarzy 47-latki. By umożliwić dalsze przetwarzanie tych sygnałów, na głowie kobiety dodatkowo zainstalowano port, który można połączyć z komputerem za pomocą kabla.
Po zakończeniu rekonwalescencji pooperacyjnej, Johnson zaangażowała się w prace nad wytrenowaniem algorytmu sztucznej inteligencji do prawidłowego przekształcania jej sygnałów mózgowych w dźwięki oraz mimikę. Jej zadanie polegało na podejmowaniu prób wypowiedzenia różnych fraz do momentu, aż algorytm był w stanie prawidłowo przypisać wysyłane przez nią sygnały do konkretnych dźwięków. Następnie akademicy z pomocą chatu GPT zaprogramowali algorytm do przekształcania pojedynczych dźwięków w zrozumiałe słowa, które w imieniu kobiety może "wypowiadać" jej awatar. Na koniec, w oparciu o archiwalne nagrania z wesela Ann Johnson, akademicy nadali awatarowi głos 47-latki.
Połączenie wszystkich powyższych rozwiązań w całość sprawiło, że po 18 latach od udaru Ann Johnson znów może porozumiewać się za pomocą swojego głosu. Co ważne, poprawie uległa nie tylko jakość, ale i szybkość. Do tej pory kobieta korzystała z urządzenia pozwalającego jej komunikować się z prędkością około 14 słów na minutę. Nowa technologia pozwala jej to robić z prędkością około 80 słów na minutę. Dla porównania, w naturalnej konwersacji ludzie rozmawiają z prędkością około 110-150 słów na minutę.
By ocenić zdolność technologii do skutecznej komunikacji, naukowcy przeprowadzili test obejmujący swoim zasięgiem pulę 500 fraz. Technologia przekształcała sygnały mózgowe Ann Johnson w odpowiednie słowa z 72-procentową skutecznością. W przyszłości naukowcy chcą skupić się na opracowaniu bezprzewodowej wersji stworzonej przez siebie technologii, która pozwoliłaby chorym na swobodne komunikowanie się przy jednoczesnym zachowaniu ich mobilności.
Źródło: Nature, ucsf.edu, The Guardian, NBC News
Źródło zdjęcia głównego: University of California, San Francisco