Proces oceny w Narodowym Centrum Badań i Rozwoju był nierzetelny, ta instytucja publiczna nas zawiodła - oceniają w rozmowie z TVN24 Biznes Marcin Woźniak i Jakub Zygucki, zarządzający firmą Swarmcheck. Spółka otrzymała dotację w pierwszej fazie programu "Infostrateg", w kolejnej nie znalazła się jednak w wykazie podmiotów z dofinansowaniem. Na czele listy znalazła się natomiast firma Matic, o której było głośno w kontekście programu do inwigilacji Pegasus. NCBR zapewnia, że wyłanianie firm, które otrzymują dotacje, odbyło się zgodnie z procedurami.
- W konsekwencji tego, co zrobił NCBR, nasza firma oraz misja, którą realizujemy od dziewięciu lat, jest zagrożona - stwierdził w rozmowie z TVN24 Biznes Marcin Woźniak, prezes firmy Swarmcheck. Jego przedsiębiorstwo brało udział w pierwszym naborze do programu "Infostrateg" i podpisało umowę na dofinansowanie projektu z Narodowym Centrum Badań i Rozwoju (NCBR) 19 października 2021 roku.
"Myśleliśmy, że złapaliśmy Pana Boga za nogi"
Według informacji przesłanych TVN24 Biznes przez NCBR celem programu "Infostrateg" jest rozwijanie polskiego potencjału badawczego w kwestii wybranych problemów uczenia maszynowego, które mają potencjał rozwoju na szerszą skalę.
Marcin Woźniak opowiada, że rok temu, po długich staraniach, uzyskali pozytywną decyzję NCBR w sprawie finansowania projektu w tym programie. - Nasze rozwiązanie rozpoznawania dezinformacji przez zbiorową argumentację wspieraną sztuczną inteligencją oceniono jako innowację na skalę krajową. Myśleliśmy wtedy, że złapaliśmy Pana Boga za nogi. Przyznano nam dofinansowanie w kwocie 4 576 587,12 złotych, które miało być wypłacone w trzech transzach, zgodnie z fazami projektu - wspomina.
W udostępnionej nam do wglądu decyzji NCBR z dnia 3 września 2021 r. napisano, że "projekt wpisuje się w aktualne wyzwania związane z dynamicznym rozwojem technologii informacyjnych oraz odpowiada na problem rozprzestrzeniania się nieprawdziwych informacji w obszarze internetu (tzw. fake news), zgodnie z tematem konkursu". Dodano, że "zakładane rezultaty projektu charakteryzują się nowością co najmniej w skali polskiego rynku".
Żeby wytłumaczyć misję Swarmcheck i potrzebę stworzenia aplikacji, Marcin Woźniak odnosi się do wydarzeń za wschodnią granicą, gdzie trwa wojna z krajem, który jest czołowym dezinformatorem na świecie i traktuje Polskę jako wroga.
- Do Polski nie sięga artyleria czy rakiety, ale wojna dezinformacyjna już tak. Ostatni raport Stowarzyszenia Demagog oraz Instytutu Monitorowania Mediów wskazuje, że w styczniu pojawiało się 77 antyukraińskich wpisów na godzinę. A to tylko jeden z tematów, którego dotyczy dezinformacja - zauważa.
Wyjaśnia, że jednocześnie najpopularniejsze systemy automatyczne, takie jak Chat GPT, "mają ten problem, że nawet ich twórcy nie wiedzą, jak te systemy działają, a nie działają rzetelnie. W konsekwencji obecna sztuczna inteligencja tylko zwiększa możliwości rozsiewania dezinformacji".
- Chcieliśmy się temu przeciwstawić. W takiej sytuacji jedna z czołowych instytucji krajowych - powołanych, żeby rozwijać strategiczne i innowacyjne projekty - uwala obiecujący projekt. Zresztą nie tylko nasz - stwierdził.
Czytaj także: NCBR kupił catering za ponad 2 mln zł. "W Brukseli standardem jest podawanie lampki wina"
"Nasz projekt nie przeszedł"
Firma Swarmcheck otrzymała pierwszą transzę w wysokości 984 113,00 zł, natomiast kolejnych już nie. - 28 lutego 2023 roku na stronie NCBR pojawiła się lista ocenionych projektów, w których nasz projekt nie przeszedł do kolejnej fazy - opowiada Jakub Zygucki z zarządu Swarmcheck.
Przedstawiciele firmy zdawali sobie sprawę, że projekt, który rozliczany jest w trzech fazach, to ryzyko. Pracują jednak w środowisku IT, gdzie projekty realizuje się etapami. Byli przekonani, że dzięki stosunkowo prostym kryteriom przejścia do kolejnych faz, zbudowanemu zespołowi, współpracy z czołowymi naukowcami i specjalistami dziedzinowymi w Polsce, wiedzy oraz rzetelności mają szansę zbudować całe rozwiązanie, na które składali wniosek. Mówią, że plan technologiczny opracowywali przez lata, od 2014 roku, i mieli pewność co do jego wykonalności. - Ostatecznie problem etycznego rozwoju sztucznej inteligencji, która pomaga ludziom lepiej ze sobą rozmawiać, jest na tyle ważny, że nie można nie podjąć próby jego rozwiązania - stwierdzają. Kto jest zatem na liście wniosków ocenionych pozytywnie? Na szczycie tej listy, z największą liczbą punktów, znalazła się spółka Matic, o której było głośno w kontekście programu do inwigilacji. Posłowie Koalicji Obywatelskiej Dariusz Joński i Michał Szczerba przekazali w poprzednim roku, że firma Matic, która miała pośredniczyć w zakupie Pegasusa dla Centralnego Biura Antykorupcyjnego, otrzymała kontrakty o wartości kilkudziesięciu milionów złotych od różnych instytucji państwowych. - Od Pegasusa zaczęła się dobra passa w państwie PiS dla tego podmiotu - podkreślał na początku poprzedniego roku Szczerba.
NCBR, pytany o firmę Matic, w wyjaśnieniach przesłanych TVN24 Biznes poinformował, że "najwyższą punktację otrzymały projekty, których rezultaty wypracowane w wyniku realizacji fazy I w największym stopniu odpowiadały oczekiwanym efektom". Według naszych obliczeń w sumie spółka Matic w pierwszej i drugiej fazie dostała dofinansowanie w łącznej wysokości 5 481 448,75 zł.
"Proces oceny w NCBR był nierzetelny"
Pomijając kwestię spółki Matic, zarządzający firmą Swarmcheck uważają, że "proces oceny w NCBR był nierzetelny".
- W naszym przypadku głównym problemem w ocenie okazało się zastosowanie kryteriów pozaumownych i pozaregulaminowych, które NCBR wrzucił sobie w FAQ (najczęściej zadawane pytania - red.) na stronie internetowej. Dodatkowo, po tym, jak zapytaliśmy o te informacje, bo były tam fundamentalne błędy na przykład co do formatu plików, to dostaliśmy odpowiedź mailową, że to są tylko wskazówki. W uzasadnieniu oceny te "wskazówki" podano nam jako jedyny zarzut, który spowodował, że nie dostaliśmy pozytywnej oceny - opowiada, pokazując decyzję NCBR z dnia 31 marca 2023 roku, która wygasza przyznanie środków finansowych na rzecz spółki.
Jednocześnie w korespondencji mailowej z dnia 28 listopada 2022, która została udostępniona TVN24 Biznes, NCBR przyznaje się, że w FAQ znalazły się pomyłki.
"Niestety w odpowiedzi na pytanie zamieszczone w sekcji FAQ znalazł się błąd – odpowiedź wskazuje 50 lub więcej stron html, co rzeczywiście jest sprzeczne z wytycznymi w załączniku 13. tj. maksymalnie 50 plików htlm. (...). Przepraszamy za powstałe trudności, wynikające z nieścisłości między dokumentacją konkursową a FAQ" (pisownia oryginalna - red.).
- Swoją drogą, to do tej pory w tym FAQ na stronie internetowej są błędy. Jest tam na przykład plik CVS, zamiast CSV. Przecież to są zupełnie różne rodzaje plików - zauważa Marcin Woźniak.
W odpowiedzi na pytanie TVN24 Biznes, dlaczego Swarmcheck nie otrzymał dofinansowania, NCBR odpowiedział:
"Beneficjent Swarmcheck spółka z ograniczoną odpowiedzialnością, realizujący projekt INFOSTRATEG-I/0052/2021, nie spełnił wymogu minimalnej liczby punktów pozwalającej na otrzymanie pozytywnej oceny umożliwiającej zakwalifikowanie projektu do Fazy II, ponieważ Komitet Sterujący po przeprowadzonej ocenie merytorycznej raportu przyznał mu 40 punktów. W związku z powyższym, zgodnie z zapisami umowy o dofinansowanie, następuje zakończenie realizacji Projektu po fazie, z której został złożony negatywnie oceniony raport z faz, czyli w tym wypadku projekt zostaje zakończony po fazie I".
- Dostaliśmy 40 punktów na 100 - relacjonuje Woźniak. Przy czym - jak dodaje - pierwsze 40 punktów można było otrzymać przy wypełnieniu warunków z listy weryfikacyjnej składającej się z 7 aspektów. Tłumaczy, że chodzi o podstawowe rzeczy: czy dostarczono system, czy dostarczono dane, czy opisana została praca. - I tutaj dostaliśmy 0 punktów. Nagle oceniający odwołał się do nieistniejących kryteriów, czyli do informacji zawartych w FAQ na stronie internetowej, co do których powiedziano nam, że nie musimy ich stosować - wyjaśnia prezes firmy Swarmcheck.
Jego zdaniem w pierwszym roku trwania projektu zrealizowali nie tylko kamienie milowe, które sobie postawili. - Dostosowaliśmy się do wszystkich kryteriów ocennych, które kwalifikowały nas do przejścia z jednej fazy na drugą. I dodatkowo uruchomiliśmy automatyczny system oceny stron internetowych, który dopiero był przewidywany na drugim etapie, a był zrobiony na pierwszym - wymienia.
Czytaj także: NCBR. Wszystko, co trzeba wiedzieć o konkursie, wielomilionowych dotacjach i ludziach, którzy za tym stoją
Czy system w ogóle był testowany?
Jakub Zygucki zapewnia, że w trakcie pierwszej fazy projektu mieli przekonanie, że wszystko idzie bardzo dobrze.
- Po naszej stronie pracowaliśmy ze świetnymi specjalistami. Kierownikiem merytorycznym projektu był profesor Mariusz Urbański, który jest dziekanem wydziału Psychologii i Kogniwistyki na Uniwersytecie imienia Adama Mickiewicza w Poznaniu. Z kolei ocena etyczna przeprowadzona była przez doktora etyki Uniwersytetu Warszawskiego Macieja Zająca - podkreśla.
Stwierdza, że tym bardziej nie rozumieją decyzji NCBR, zwłaszcza że nie mieli żadnych informacji, że projekt jest zagrożony.
- W trakcie testowania zapewniliśmy NCBR możliwość wsparcia technicznego, udzielania wyjaśnień i odpowiedzi, co jest normalne dla testowania oprogramowania na takim etapie rozwoju. Takie pytania powinny przechodzić przez koordynatorów, żeby zachować bezstronność. Jedyne zapytanie dotyczyło stworzenia konta dla testerów, które później nie było używane. Nie odnotowaliśmy żadnych dodanych argumentów (wpisanych wartości - red.) ze strony NCBR. To w jaki sposób sprawdzono, czy system działa? - zastanawia się Woźniak.
Podkreśla, że rozwiązanie, które stworzyli, jest aplikacją internetową. - Można wejść, poklikać, testować. Z konta założonego dla testerów zostało dodane zero argumentów. Jak w tym wypadku można powiedzieć, że ocena merytoryczna w ogóle miała miejsce? - stwierdza. pokazując raport z systemu.
Zaznacza, że to jeszcze nie jest dowód, że tester w ogóle nie sprawdził systemu, bo mógł poprzestać na automatycznej ocenie. - Ale unikatowość naszego systemu polega na tym, że te automatyczne oceny są dodatkowo możliwe do sprawdzania i poprawiania. Część automatyczna ponoć została sprawdzona, że działa na jakichś dziesięciu losowych stronach. Ale to jest tak, jakby wsiąść do samolotu, przejechać się nim po płycie lotniska i stwierdzić, że test jest zakończony bez wzbicia się w powietrze - tłumaczy.
Na pytanie o to, czy zostały przeprowadzone testy, NCBR odpowiedział nam, że "Komitet Sterujący Programu INFOSTRATEG dokonuje oceny merytorycznej raportów z realizacji fazy I w oparciu o zdefiniowane kryteria".
"W toku dokonywanej oceny merytorycznej raportów beneficjentów przeprowadzane były zatem testy wszystkich projektowanych w fazie I rozwiązań, w tym również przeprowadzono testy rozwiązania Swarmcheck" - dodano.
Czekanie i pomysły "na czarną godzinę"
Marcin Woźniak zwraca uwagę w rozmowie na sytuację innowacyjnych przedsiębiorstw. Mówi, że w oczekiwaniu na decyzje NCBR dotyczące drugiej rundy finansowania mają one bardzo trudny czas.
Jakub Zygucki wyjaśnia, że po oddaniu raportu do NCBR w dniu 1 grudnia 2022 podjęli decyzję, aby zespół utrzymać w całości. Trzymiesięczny czas testowania rozwiązania nie był finansowany w ramach projektu.
- Spowodowało to, że czekając na decyzję NCBR wydaną dopiero 28 lutego 2023 roku wykorzystaliśmy sporą część wygenerowanych zapasów. Decyzja była na tyle niespodziewana, że musieliśmy też zmienić wszystko: strukturę zatrudnienia, strategię firmy, wejść w zarządzanie kryzysowe - zaznacza.
Podkreśla, że omawiali na bieżąco analizę ryzyka i tworzyli pomysły na "czarną godzinę". - Jednak na rok 2023 specjalnie nie braliśmy za wiele projektów, aby móc skupić się na realizacji projektu z "Infostratega". Zaskoczył nas wynikami, jakie osiągnęliśmy na koniec pierwszej fazy, a wiedzieliśmy, że zrealizowaliśmy wytyczne przejścia do kolejnej fazy - wyjaśnia.
- Jeszcze w grudniu zatrudnialiśmy 50 osób: świetnych specjalistów i specjalistki. Teraz bez ich żadnej winy musieliśmy zredukować zespół o więcej niż połowę, bo grozi nam upadek, a stworzona technologia może nigdy nie trafić w ręce Polaków - ocenia.
Woźniak dodaje, że wydatkowanie pieniędzy publicznych to nie jest indywidualna ocena, czy komuś się projekt podoba, czy nie. - NCBR jako instytucja publiczna nas zawiodła. Zamierzamy więc zwrócić się wprost do obywateli, którym zależy na tym, żeby było mniej dezinformacji, a więcej dobrego dialogu. Osoby, które wpłacą na naszą publiczną zbiórkę, dadzą nam szansę na niezależne wypuszczenie naszej technologii argumentacyjnej i jako pierwsi otrzymają do niej dostęp - mówi Marcin Woźniak. Zbiórka przeprowadzana jest na stronie Fundacji Optimum Pareto, która jest właścicielem firmy Swarmcheck.
Równocześnie spółka złożyła 14 kwietnia odwołanie od decyzji NCBR, w której zarzuca tej instytucji "rażące naruszenie prawa".
- Sprawa jest na tyle oczywista, że nie powinna budzić żadnych wątpliwości. Jednak obawy pozostają. Komisja będzie mieć trzy miesiące na odwołanie. Jeśli proces będzie się wydłużać, nasza sytuacja stanie się trudniejsza. Jesteśmy w stanie nawet dziś kontynuować nasze prace badawczo-rozwojowe i wywiązać się z terminów, ale utrzymywanie tej możliwości wiąże się z dużymi kosztami dla nas - ocenia. Wyraża nadzieję, że komisja odwoławcza "będzie się wstydzić wydać decyzję inną niż ta, na jaką logika pozwala i przywróci nasz projekt".
Czytaj też o sytuacji firm z programu "Szybka ścieżka - Innowacje cyfrowe" opisaną przez TVN24 Biznes >> "Jesteśmy sfrustrowani i rozgoryczeni", "zaufaliśmy, że pieniądze będą lada dzień"
Źródło: TVN24 Biznes
Źródło zdjęcia głównego: Grand Warszawski / Shutterstock