Nasz zespół zajmuje się opracowywaniem zrównoważonych metod widzenia komputerowego dla maszyn autonomicznych, które zakładają ograniczone zasoby i różnorodność sensorów. Badamy takie kwestie jak dostosowanie modeli uczenia maszynowego do nowych typów danych uzyskiwanych np. za pomocą kamer zdarzeniowych oraz wprowadzamy nowe architektury odpowiednie dla ograniczonych zasobów obliczeniowych tj. GPU, CPU i RAM. Skupiamy się na teorii uczenia maszynowego, a nie na aspekcie sprzętowym, biorąc pod uwagę dbałość o zachowanie zasobów naturalnych. Dlatego priorytetem są metody, które nie tylko poprawiają wydajność i skuteczność modeli, ale także ograniczają ślad węglowy. Takie podejście przekłada się na potencjalnie większą liczbę zastosowań opisywanych maszyn, przy ograniczeniu negatywnego wpływu technologii na środowisko.
Ochrona zwierząt, wykrywanie pożarów lub wsparcie służb bezpieczeństwa
Nasze rozwiązania potencjalnie mogłyby być wykorzystywane w dronach jako narzędzie wspierające ochronę parków narodowych przed kłusownictwem. Pozwalają one na szybkie i skuteczne monitorowanie dużych obszarów lądowych w odległych miejscach dzięki panoramicznemu widzeniu i specjalistycznym danym pochodzącym np. ze skanowania laserowego lub termalnego. W rezultacie możliwe jest np. monitorowanie wędrówek zwierząt albo wczesne wykrycie pożaru w lesie. Obecnie istnieją drony, które mogą pełnić takie funkcje, ale ich obsługa wymaga specjalnie przeszkolonego personelu. Pojawiają się również ograniczenia związane ze sprzętem. Aby mogły działać autonomicznie, z minimalnym wsparciem człowieka, muszą być w stanie wykrywać i identyfikować zwierzęta lub pożary lasów bez pomocy z zewnątrz, a następnie podejmować odpowiednie działania. Zastosowanie to doskonale wpisuje się w cele naszego zespołu, wśród których wymienić należy wprowadzanie nowatorskich metod aktywnej eksploracji wizualnej.
Roboty widzące jak ludzie
Jednym z interesujących nas zagadnień jest aktywna eksploracja wizualna. Maszyny nie obserwują otoczenia jak ludzie. Wynika to chociażby z faktu, że możliwości sensorów czy ograniczony rozmiar baterii nie pozwalają maszynie analizować całego otoczenia jednocześnie. Dlatego wyzwaniem dla pojazdu autonomicznego jest analiza otoczenia, a także podejmowanie decyzji, na czym skupić uwagę i jakie kolejne kroki podjąć. Innymi słowy, aktywna eksploracja adresuje problem ograniczonych możliwości sensorów w scenariuszach rzeczywistych, gdzie kolejne obserwacje są aktywnie wybierane na podstawie otoczenia. Np. sensory robotów mają ograniczone pole widzenia, otoczenie ciągle się zmienia, a koszty obliczeniowe są wysokie, co komplikuje zdobycie kompletnych informacji o otoczeniu. Dlatego, aby wnioskować o całym otoczeniu, agent musi najbardziej efektywnie próbkować nowe obserwacje. Rozwiązujemy ten problem, wprowadzając nowe techniki oparte np. na dobrze generalizujących się transformerach.
Szybka adaptacja kluczem do sukcesu
Ważnym elementem naszych badań jest wprowadzenie modeli zdolnych do generalizacji, tak aby model wytrenowany dla jednego środowiska (takiego jak preria) mógł być szybko dostosowany do nowego (takiego jak dżungla). W tym celu wprowadzamy nowatorskie podejścia do uczenia samonadzorowanego, które trenuje model bez wykorzystania etykiet, co jest z kolei korzystne dla zastosowań w różnorodnych dziedzinach. W rezultacie niejako recyklingujemy modele, znacząco zmniejszając wymaganą w treningu ilość energii.
Google Scholar
Marcin Moskalewicz