Mimo ogromnych postępów w nauce i technice sztuczna inteligencja nadal potrafi popełniać proste z ludzkiego punktu widzenia błędy.
W ostatnich latach w mediach często mówi o „renesansie” sztucznej inteligencji. Ma to związek nie tyle z rewolucją w nauce, w której badania nad samouczącymi się algorytmami (w dyscyplinach takich jak matematyka, fizyka, informatyka czy logika formalna) trwają od dekad, co z nowymi, ekscytującymi zastosowaniami nowatorskich technologii w postaci opartych na #SI produktów i usług.
Postępy techniczne niekoniecznie wiążą się z lepszym rozumieniem tego, w jaki sposób sztuczna inteligencja faktycznie działa. Korzystanie z autonomicznych pojazdów, precyzyjnych robotów przemysłowych czy wirtualnych asystentów łudząco przypominających ludzi nie wymaga przecież od użytkowników poznania szczegółów tego, w jaki sposób podejmują one decyzje. Dla klientów prostota, przejrzystość i wygoda ze zrozumiałych względów są ważniejsze, niż dogłębne zrozumienie jak działa dane urządzenie czy program.
Między innymi z tego powodu osoby niezajmujące się zawodowo algorytmiką mogą nie wiedzieć, że historia badań nad #SI obok przykładów udanych realizacji pełna jest ślepych zaułków, błędów czy porażek. Poniżej prezentujemy 7 przykładów, w których rozwiązania oparte na #SI nie przyniosły rezultatów, na które liczyli ich twórcy.
W 2018 roku okazało się, że SI nadal słabo radzi sobie z prostymi przekształceniami geometrycznymi na obiektach. Weźmy pod lupę autobus szkolny. SI rozpozna go na zdjęciu, kiedy stoi na czterech kołach, jednak w momencie, w którym autobus będzie odwrócony, na przykład w wyniku kolizji przewróci się na bok, SI może niesłusznie uznać go za kompletnie inny obiekt. Okazuje się, że na tym etapie rozwoju SI, przeciętny 3-latek posiada większe umiejętności w zakresie wyobraźni przestrzennej, a dokładniej rotowania obiektów w myślach, niż rozbudowane systemy sztucznej inteligencji dysponujące teraflopami mocy obliczeniowej i terabajtami danych. Wynika to z faktu, że sztuczna inteligencja rozpozna obraz, który już widziała, ale łatwo może się pomylić skonfrontowana z nowym przykładem. Algorytmom udało się również wielokrotnie sklasyfikować konia jako żabę, na podstawie jednego zmienionego na zdjęciu piksela. Jeśli przeniesiemy ten przykład na używane w diagnostyce medycznej klasyfikowanie przez SI zmian nowotworowych, to zobaczymy, z jak poważnym wyzwaniem mamy do czynienia. Ostatnimi czasy, naukowcy podejmują próby katologowania tak zwanych antagonistycznych („adversarial”) danych – małych zmian czy szumów, które potrafią kompletnie zmylić wytrenowane algorytmy. Jedno z badań pokazało, że odpowiednie umieszczenie małych naklejek na znakach stopu, pozwalało zmylić popularny program computer vision i sprawić, że rozpoznawał je jako ograniczenia prędkości. W innym badaniu drobna zmiana we wzorze skorupy figurki żółwia wydrukowanej na drukarce 3D, sprawiła że był on klasyfikowany przez program jako broń palna. No cóż, jak się okazuje nie można wymagać od algorytmu, aby samodzielnie wywnioskował, że karabiny nie posiadają czterech kończyn i skorup.
Prostota dedukcji algorytmów SI charakteryzuje się przywiązaniem do utartych schematów wynikających z danych, którymi “karmione” są algorytmy. Dla porównania, ludzie cechują się elastycznością rozumowania i potrafią myśleć krytycznie, co pozwala im uniknąć niektórych błędów lub odpowiednio zareagować w odpowiedzi na dostrzeżoną nieprawidłowość. Sztuczna inteligencja pod względem mechanizmów poznawczych bardzo się od nas różni. Wynika to na ogół z tego, że rezultaty działania SI zależą przede wszystkim od zbiorów danych, na których jest trenowana. Z tego powodu mogliśmy się spotkać m.in. z opartym na SI systemowym rasizmem dotyczącym systemów określających zdolność kredytową i wysokość składek zdrowotnych w USA. Problem wyeliminowania uprzedzeń algorytmów nie jest jeszcze w pełni rozwiązany i być może nigdy nie będą one w 100% bezstronne. W konsekwencji, firmy z sektora mediów i komunikacji używające algorytmów SI, które zmagają się z tym problemem na masową skalę (np. platformy społecznościowe) muszą korzystać z dużej liczby tzw. „czyścicieli” („cleaners”) internetu czyli osób, które ręcznie przeglądają, akceptują i moderują publikowane w sieci treści.
Ciekawym przykładem wyzwania, przed którym wciąż stoi uczenie maszynowe jest kwestia uczenia się na błędach. Obecnie, ze względu na ograniczone moce obliczeniowe procesorów sztuczna inteligencja ma tendencję do zapominania tego, czego już się nauczyła. Gdy kilka lat temu w internecie popularne stały się fałszywe profile osób publicznych, naukowcy postanowili stworzyć rozwiązanie, które umożliwi sprawdzenie czy postać uwieczniona na danym obrazie (np. zdjęciu profilowym) jest prawdziwa czy sfałszowana. W rezultacie udało się wytrenować modele rozpoznające wspomniane falsyfikaty. Niestety, gdy deepfake’i zaczęły powstawać w oparciu o nowe, nieznane wcześniej algorytmy, dotrenowanie modeli służących ich rozpoznawaniu sprawiło, że „zapomniały” one jak rozpoznawać te uprzednio stosowane. Oznacza to, że w przypadku autonomicznie generowanych wizerunków skazani jesteśmy póki co na “wyścig zbrojeń” między twórcami programów oraz osobami, które tworzą systemy detekcji sfałszowanych obrazów.
Korzystanie z autonomicznych pojazdów, precyzyjnych robotów przemysłowych czy wirtualnych asystentów nie wymaga od użytkowników poznania tego, jak podejmują one decyzje. Między innymi z tego powodu osoby niezajmujące się zawodowo algorytmiką mogą nie wiedzieć, że historia badań nad #SI obok przykładów udanych realizacji pełna jest ślepych zaułków, błędów czy porażek.
Innym tematem jest kwestia tego czy i jak tłumaczyć logikę działania programów i urządzeń wykorzystujących SI. Chyba każdy z nas czasami kwestionuje rekomendacje proponowane przez algorytmy. Dlaczego nawigacja w samochodzie wskazuje taką, a nie inną drogę dotarcia do celu lub tę, a nie inną restaurację? Często jest to spowodowane tym, że nie rozumiemy w jaki sposób SI doszła do np. wytyczenia konkretnej trasy czy oferowanego produktu. Problem jest jeszcze większy, gdy badacze chcą szczegółowo poznać całą ścieżkę ”rozumowania” algorytmów w celu ich poprawy czy korekty. To sprawia, że bardzo dynamicznie rozwija się obecnie dziedzina tzw. wyjaśnialnej SI (explainable #SI),. Istniejące rozwiązania określane jako tzw. state-of-art potrafią dać różne wyjaśnienia przy każdej jednakowej predykcji. Na dodatek ta sama metoda wyjaśniania potrafi dawać świetne rezultaty na jednej sieci neuronowej, natomiast na innej kompletnie sobie nie radzić. Rozwiązanie problemu „czarnej skrzynki” i modelu heurystyk algorytmów to jeden z problemów badawczych, którymi zajmują się badacze IDEAS NCBR.
Gdy w 2016 roku autonomiczny samochód Tesla Motors źle skręcił i spowodował śmierć pasażera światowa opinia publiczna zareagowała bardzo emocjonalnie. W trakcie inspekcji tragicznej kolizji okazało się, że wypadek spowodowany był niewłaściwym odczytem systemu i w konsekwencji zignorowaniem przeszkody. Problemem nie był sam błąd jako taki, ale to że autonomiczny samochód był w 100% pewny decyzji opartej na wadliwym odczycie. Sytuacja wymagała błyskawicznej reakcji, a w rzeczonej sytuacji nie było czasu na skorygowanie decyzji podjętej przez SI.
Automatyzacja wymagająca oceny poprawności decyzji sztucznej inteligencji w czasie rzeczywistym to wciąż ogromne wyzwanie dla teoretyków i praktyków SI. 6 lat po feralnym wypadku Tesli wciąż nie mamy modeli ani sprzętu, który pozwalałby na wprowadzenie do masowej produkcji autonomicznych pojazdów drogowych poziomu 4 i 5 (czyli takich, które nie wymagają kierowania pojazdem przez pasażerów lub kontrolerów). Stawia to przyszłość rozwoju pojazdów w pełni autonomicznych pod dużym znakiem zapytaniaMimo ogromnych postępów i faktu, że w wielu wypadkach autonomiczne pojazdy są bezbłędne, to w określonych sytuacjach wciąż to człowiek, a nie autopilot podejmuje lepsze decyzje. I właśnie dlatego naukowcy szczególną uwagę powinni poświęcić uwzględnieniu czynnika, jakim jest maszynowa „pewność siebie” czyli algorytmiczne protokoły potwierdzania poprawności podejmowanych przez SI.
Logiczne rozumowanie na podstawie jasnych przesłanek nie jest mocną stroną SI. Trudna do zdefiniowania i często niedoceniana ludzka intuicja oparta na różnorodnych doświadczeniach życiowych jest czymś radykalnie innym, niż wykorzystywana przez SI „intuicja maszynowa” składająca się tylko z tego co, co zostanie do niej uprzednio wprowadzone. Kontekst i znajomość zwyczajów społeczności ma szczególne znaczenie na przykład przy tworzeniu i testowaniu algorytmów mających rozpoznawać mowę, w tym mowę nienawiści. W tym ostatnim przypadku człowiek czytający całe zdania natychmiast jest w stanie nadać im szerszy kontekst. Z kolei SI traktuje takie zdania po prostu jako zlepki słów. Widać to na np. przykładzie polityki Meta (Facebooka), która potrafi banować osoby używające np. polskiego słowa „pedał”, powszechnie stosowanego w homofobicznych wypowiedziach, nawet, było ono używane w kontekście części rowerowych. Wiele zagwozdek ma swoje źródło w lingwistycznych zawiłościach naszego języka – powstały 10 lat temu Winograd Schema Challenge, test na znajdowanie podmiotów w skomplikowanych zdaniach („But nie zmieścił się do worka bo jest za mały – co jest za małe?”) pokazuje jednak, że na tym polu zachodzi spory postęp. W 2019 roku najlepsze algorytmy były niewiele skuteczniejsze od rzutu monetą, dziś zaś są już w stanie osiągać skuteczność na poziomie 90%.
Zaskakująca jest nieefektywność SI także w obszarze obliczeń matematycznych. Mimo, że tradycyjne podejście, na którym są oparte klasyczne komputery, sprawdza się w tym aspekcie wyjątkowo dobrze, to SI nie jest póki co w stanie, podejść efektywnie do rozwiązywania problemów matematycznych krok po kroku. Badanie z listopada 2021 r., w którym wykorzystano ponad dwanaście tysięcy zadań do wytrenowania modelu poskutkowało maksymalnie pięcioprocentową skutecznością rozwiązywania nowych zadań. Porównanie z uzdolnionym matematycznie człowiekiem było miażdżącą porażką. Ta nieefektywność i jej powody obecnie jest identyfikowana jako rezultat niejako równoległego podejścia do rozwiązywania problemów. To ostatnie jest dla ludzi naturalne i zgodne z naszymi predyspozycjami, natomiast problemy stricte matematyczne wymagają rozbijania ich na pojedyncze problemy, które należy rozwiązywać w odpowiedniej kolejności. To, co dla ludzi jest stosunkowo proste, dla algorytmów może stanowić przeszkodę uniemożliwiającą poprawne działanie. Tak więc, przynajmniej na razie, w świecie SI obecność ludzi jest obowiązkowa.
Konsultacja merytoryczna: Jarosław Socha, badacz IDEAS NCBR.
Szkoła Doktorska AGH podejmuje współpracę z IDEAS NCBR, ośrodkiem badawczo-rozwojowym powołanym przez Narodowe Centrum Badań i Rozwoju. Obszarem współpracy będzie działalność badawczo-rozwojowa w dziedzinie sztucznej inteligencji oraz rozwiązań informatycznych dla ekonomii cyfrowej.
Michał Pawłowski, pracownik IDEAS NCBR, otrzymał prestiżowe wyróżnienie Polskiego Towarzystwa Matematycznego w ramach 54. Edycji Konkursu na najlepszą pracę studencką z teorii prawdopodobieństwa i zastosowań matematyki.
Już 7 kwietnia odbędzie się spotkanie online dla absolwentów studiów II stopnia Wojskowej Akademii Technicznej, którzy są zainteresowani studiami doktoranckimi w ramach programu IDEAS NCBR.
IDEAS NCBR Sp. z o.o.
NIP: 7011017605
REGON: 388065786
KRS: 0000880113
Projekt: maskva.pl. Kodowanie: Mati Projektuje
