Generatywna Sztuczna Inteligencja w Fizycznym Świecie
Tytuł Konkursu: PRELUDIUM 23
Kierownik Projektu: Longlai Qiu
Opis projektu: Nadejście robotyki obiecuje zmienić codzienne życie poprzez automatyzację rutynowych zadań, pozwalając tym samym ludziom na większe zaangażowanie się w swoje twórcze i intelektualne przedsięwzięcia. Systemy te znajduj ˛a zastosowanie w takich obszarach jak roboty domowe, pojazdy autonomiczne i inteligentna infrastruktura. W miarę rozwoju komputerów i produkcji, rośnie zapotrzebowanie na narzędzia projektowe, które będą w stanie sprostać złożonym wyzwaniom tych systemów. Obecne podejścia inżynieryjne są czasochłonne i w dużym stopniu polegają na ludzkim wkładzie w prototypowanie i iteracje. Trudność tę dodatkowo potęguje rozległa przestrzeń projektowa robotów, którą trzeba eksplorować.
Nasza propozycja badawcza odnosi się do niektórych z tych wyzwań i koncentruje się na opracowaniu narzędzi projektowych dla robotów, które integrują fizyczną formę i wirtualną percepcję. W tej pracy proponujemy podejście oparte na danych, generatywne i modułowe. Nie tylko usprawnia to proces projektowania, ale tak że zwiększa jego efektywność, co może potencjalnie zmniejszyć złożoność i koszty produkcji robotów.
Narzędzia do projektowania wspomagane przez AI. Poprzez zagwarantowanie dostępności dla użytkowników o różnym poziomie zaawansowania, narzędzia projektowe oparte na sztucznej inteligencji zwiększą kreatywność człowieka i poprawią wydajność projektowania. Wykorzystując narzędzia takie jak modele LLM, możemy zautomatyzować generowanie projektów robotów na podstawie poleceń w języku naturalnym. Spowoduje to znaczne przyspieszenie eksploracji przestrzeni projektowej. Aby zagwarantować praktyczne i możliwe do zrealizowania projekty, zastosujemy techniki inżynierii zapytań, w tym dostarczanie opisów zadań i ograniczeń przedstawionych w strukturach grafowych. Takie podejście zwiększy różnorodność i wykonalność generowanych projektów, co będzie stanowić znaczącą zmianę w możliwościach względem tradycyjnych metod projektowania.
Cyfrowy bliźniak modelu robota. Projektowanie jest najczęściej iteracyjne, a najpoważniejszymi problemami są liczba i czas trwania iteracji. Cyfrowe bliźniaki, które są szybkie, dokładne i bogate w informacje, mogą znacznie przyspieszyć ten proces. Aby zlikwidować lukę między symulacją a rzeczywistością, proponujemy dostosowanie symulatorów do nowych dziedzin z wykorzystaniem rzadkich danych eksperymentalnych. Ogólne symulatory będą ˛dostarczać fizycznych przesłanek, udoskonalanych przez modele oparte na danych, a w połączeniu z różniczkowalnymi symulatorami zastosują korekcje przesłanek w celu uchwycenia rozbieżności.
Współoptymalizacja mózgu i ciała. Opracowanie robotów, które odzwierciedlają współewolucję mózgu i ciała, inspirowane systemami naturalnymi, jest kluczowe dla efektywnej interakcji ze złożonymi środowiskami. Takie podejście doprowadzi do powstania robotów o ludzkiej zdolności adaptacji, gotowych do wykonywania wielu zadań w dynamicznych warunkach.
Roboty współpracujące z robotami. Opracowanie robotów, które współpracując mogą autonomicznie konstruować inne roboty w warunkach rzeczywistych, doprowadzi do powstania systemów wielorobotycznych, zdolnych do wykonywania złożonych zadań, które przekraczają możliwości pojedynczych urządzeń. Wymaga to zastosowania systemu manipulacji dwuręcznej z dwoma ramionami robotycznymi, wyposażonymi w czujniki do precyzyjnego manipulowania i unikania kolizji. System wykorzystuje naukę polegającą na naśladowaniu, podczas której roboty uczą się procesu montażu poprzez obserwację demonstracji ekspertów
Biomimetyka i inteligencja biologiczna. Uwzględnienie strategii inspirowanych naturą będzie kierować projektowaniem systemów robotycznych zdolnych do autonomicznego uczenia się i adaptacji w dynamicznych środowiskach. Poprzez włączenie biomimetycznych i biologicznie inspirowanych metod, dążymy do opracowania inteligentnych robotów, które potrafią nawigować i funkcjonować w różnorodnych, nieprzewidywalnych warunkach. Nauka z procesów ewolucyjnych i zasad biologicznych przyczyni się do rozwoju inteligentnych zachowań u robotów, co doprowadzi do powstania bardziej zaawansowanych i wytrzymałych systemów.
Uczenie ciągłe w sieciach neuronowych z wykorzystaniem obliczeń warunkowych
Tytuł Konkursu: PRELUDIUM 23
Kierownik Projektu: Filip Szatkowski
Opis projektu: W ciągu ostatniej dekady głębokie sieci neuronowe osiągają imponujące wyniki, głównie dzięki zwiększeniu rozmiaru modeli i ilości danych treningowych. Badania nad skalowaniem wskazują, że dalszy rozwój wymaga jeszcze większych modeli i większej liczby danych treningowych. Uczenie i inferencja w takich się ciach wymagają jednak znaczących zasobów obliczeniowych, co czyni je kosztownymi i ogranicza dostęp do najnowszych modeli głównie do najlepiej finansowanych firm. Rośnie również wpływ modeli uczenia maszynowego na środowisko. Obecnie emisje CO2 i zużycie energii związane z uczeniem maszynowym odpowiadają około 1% globalnych wartości tych metryk, co jest porównywalne ze średniej wielkości krajami. Dzienna konsumpcja wody potrzebnej do chłodzenia serwerów, na przykład tych obsługujących systemy typu ChatGPT, wynosi od 0,5 do 2,5 megalitrów. Techniki oszczędzania zasobów w uczeniu maszynowym oraz efektywne wykorzystanie dostępnych danych są kluczowe dla zapewnienia zrównoważonego wzrostu tego obszaru.
Koszty obliczeń w modelach uczenia maszynowego można zredukować wykorzystując obecną w nich redundancję i ich nadmierną parametryzację. Najpopularniejsze metody redukcji kosztu infrencji to między innymi kwantyzacja, pruning, destylacja wiedzy oraz metody obliczeń warunkowych. Metody obliczeń warunkowych adaptują obliczenia wykonywane przez model w zależności od danych wejściowych, co umożliwia oszczędność obliczeń przy łatwiejszych próbkach danych poprzez wykorzystanie mniejszej liczby operacji. Rozwiązania w zakresie obliczeń warunkowych obejmują między innymi Mixture-of-Experts, które zwiększa pojemność modelu poprzez podział na moduły ekspertów, oraz architektury typu early-exits, które dodają do różnych warstw sieci dodatkowe klasyfikatory pozwalające na dynamiczne pomijanie zbędnych obliczeń.
Poza wydajnością infrencji, istotna jest również efektywność trenowania modelu. Jedną z dziedzin zajmujących się efektywnym wykorzystaniem danych uczących jest uczenie ciągłe, która bada proces uczenia się na przyrostowych danych. Metody uczenia ciągłego pozwalają na inkorporację nowych danych do modeli bez utraty wcześniej zdobytej wiedzy. Jest to szczególnie istotne, gdy ponowny trening od zera jest kosztowny lub niemożliwy ze względu na brak dostępu do oryginalnych danych. Choć większość prac nad uczeniem ciągłym wspomina o efektywności jako o pożądanej cesze tych metod, w praktyce priorytetem tych jest osiągnięcie jak najlepszych wyników, często z pominięciem kosztów obliczeniowych. Uważamy, że efektywność obliczeniowa jest kluczowa dla uczenia ciągłego w praktycznych warunkach, dlatego proponujemy wykorzystanie zdolności do adaptacji oraz efektywności metod obliczeń warunkowych w uczeniu ciągłym. W naszym projekcie wy korzystamy architektury typu early-exit w celu uzyskania innowacyjnych, skutecznych i lekkich obliczeniowo rozwiązań dla uczenia ciągłego.
Aby lepiej zrozumieć działanie sieci early-exit w kontekście uczenia ciągłego, przeprowadzimy analizę reprezentacji w tych sieciach oraz zbadamy specjalizację poszczególnych klasyfikatorów. Dostosujemy sieci early-exit do scenariuszy uczenia ciągłego poprzez mitygację efektu task-recency bias oraz opracowanie nowych metod destylacji wiedzy. Ponadto, przeprowadzimy badania nad modyfikacjami architektury oraz alter natywnymi mechanizmami wyjścia dla scenariuszy uczenia ciągłego. Nasze wyniki połączymy, aby opracować skuteczną i wydajną obliczeniowo metodę uczenia ciągłego
Zapobieganie zapominaniu w uczeniu ciągłym z wykorzystaniem metod zespołowych
Tytuł Konkursu: PRELUDIUM 23
Kierownik Projektu: Grzegorz Rypeść
Opis projektu: Celem tego projektu jest przeciwdziałanie katastrofalnemu zapominaniu w EFCIL poprzez opracowanie zaawansowanej metody zespołowej, która wykorzystuje zespół wielu sieci neuronowych, zwanych ekspertami. Podobnie jak ludzie, eksperci mogą specjalizować się w różnych zadaniach i współpracować, aby lepiej je rozwiązywać. Ponadto mogą sobie nawzajem pomagać w redukcji zapominania lub wyjaśnianiu skomplikowanych zadań, co poprawia proces uczenia się. Tradycyjne podejścia jednego modelu do EFCIL często cierpią na tzw. dryf semantyczny, gdzie wewnętrzna reprezentacja wyuczonych klas zmienia się podczas nauki nowych zadań, prowadząc do zapominania. W tym projekcie chcemy wykorzystać wiedzę innych ekspertów, aby pomóc aktualnie trenowanemu ekspertowi złagodzić jego dryf semantyczny i zapominanie.
Wykraczając poza analizę najgorszego przypadku: problemy online z opóźnieniami i stochastycznymi czasami przyjścia
Tytuł Konkursu: PRELUDIUM 23
Kierownik Projektu: Michał Pawłowski
Opis Projektu: W naszym projekcie planujemy spojrzeć na wydajność algorytmów online z innej perspektywy. Tradycyjne metody koncentrują się na analizie najgorszego przypadku i często ignorują wzorce da nych obserwowanych w rzeczywistości. Z tego powodu naszą uwagę zamierzamy skupić na modelach, które lepiej odpowiadają rzeczywistym warunkom. W tym celu zakładamy, że dane, z którymi pracu jemy, podlegają pewnemu stochastycznemu rozkładowi (innymi słowy, są generowane losowo). Nasze badania koncentrują się na decydowaniu, w jakich momentach obsługiwać zapytania, które musimy obsługiwać w rozważanych problemach online. Chcemy to zrobić w zbalansowany sposób, analizując różnice między kosztem natychmiastowej obsługi, a odłożeniem jej na później. W tym projekcie rozważamy zagadnienia takie jak skojarzenia online, facility location i online service, dla których analiza najgorszego przypadku nie zapewnia kompetytywnych gwarancji wydajności.
Skojarzenia Online Aby lepiej zrozumieć ten problem, wyobraźmy sobie platformę online do gry w szachy. Chce ona zmaksymalizować ogólne zadowolenie użytkowników z gry. Przyczyniają się do tego dwa główne czynniki — dla każdej pary graczy musimy przyjrzeć się różnicy doświadczenia (im mniejsza, tym lepiej) oraz czasowi oczekiwania na rozpoczęcie gry. Problem polega na tym, że każdy z tych parametrów jest minimalizowany kosztem drugiego — znalezienie przeciwnika o podobnym poziomie doświadczenia skutkuje dłuższym czasem oczekiwania. Stąd pojawia się pytanie: w jaki sposób powinniśmy zrównoważyć te koszty podczas dopasowywania graczy?
Facility Location Problem „lokalizacji placówek” online z opóźnieniami można zinterpretować jako zadanie dynamicznego określenia rozmieszczenia wielu tymczasowych jednostek usługowych, ta kich food trucki, w danym mieście. W miarę napływu zgłoszeń z różnych lokalizacji w mieście, te jednostki mogą być tymczasowo ustanawiane w dowolnie wybranym punkcie, aby zaspokoić potrzeby klientów. Każde zgłoszenie niesie ze sobą unikalną funkcję kosztu opóźnienia, która określa, jak pilnie potrzebna jest obsługa danego zgłoszenia. Celem jest strategiczne decydowanie, które lokalizacje powinny być aktywowane, aby efektywnie obsługiwać zmieniające się natężenia i czasy przyjścia zgłoszeń. Otwarcie placówki wiąże się z ustalonym kosztem, a połączenie zgłoszenia z placówką kosztuje kwotę proporcjonalną do odległości między lokalizacją zgłoszenia a tą placówką. Placówki te są chwilowe — otwierają się, aby sprostać zapotrzebowaniu w określonej lokalizacji i, gdy potrzeby zostaną zaspokojone, znikają. Podejście to odpowiada food truckowi, który opuszcza swoją obecną lokalizację po obsłużeniu tam wszystkich klientów.
Online Service Ten problem w wersji z opóźnieniami można postrzegać jako zarządzanie mobilnym serwisantem, który przemierza miasto, aby odpowiadać na napływające zgłoszenia napraw w różnych lokalizacjach. Każde zgłoszenie napływa z przypisaną funkcją opóźnienia, która reprezentuje pilność naprawy na podstawie czynników takich jak powaga problemu. Naszym celem jest strategiczne określenie najbardziej efektywnych lokalizacji, które serwisant powinien odwiedzić w czasie rzeczywistym. Musimy przy tym zapewnić, że pilne zgłoszenia będą traktowane priorytetowo, a koszty przemieszczania są minimalizowane. Strategia ta wymaga dynamicznego podejmowania decyzji na podstawie zmieniającego się krajobrazu zgłoszeń.
Chociaż powyższe opisy dają uproszczony przegląd wyzwań, którym zamierzamy sprostać, rzeczywiste problemy, nad którymi będziemy pracować, są znacznie bardziej złożone. Naszym celem jest opracowanie spostrzeżeń i innowacyjnych rozwiązań, które wniosą znaczący wkład w obszar algorytmów online z opóźnieniami. Mamy nadzieję, że nasze badania zapewnią solidne podstawy do poprawy działania tych algorytmów w rzeczywistych zastosowaniach.
Niezawodna i wydajna adaptacja w czasie testu w rzeczywistych warunkach
Tytuł Konkursu: PRELUDIUM 23
Kierownik Projektu: Damian Sójka
Opis Projektu: Ograniczenia Głębokich Sieci Neuronowych. W ciągu ostatniej dekady głębokie sieci neuronowe zrewolucjonizowały różne dziedziny techniczne, znajdując zastosowanie w takich obszarach jak szacowanie głębokości czy generowanie tekstu. Mimo tych postępów mają one wady. Jednym z największych problemów jest ich słaba dokładność na danych które różnią się od zbioru treningowego– na danych spoza dystrybucji treningowej. Jest to szczególnie widoczne w wizji komputerowej, gdzie sieci trenowane na zdjęciach wykonanych w świetle dziennym słabo radzą sobie z nocnymi obrazami. W kontrolowanych środowiskach, jak aplikacje robotyczne w magazynach, staranne dobranie danych treningowych rozwiązuje ten problem. Jednak w aplikacjach w świecie otwartym, takich jak autonomiczne samochody, przewidzenie i przygotowanie każdego możliwego rodzaju danych do treningu jest niemal niemożliwe lub zbyt kosztowne, biorąc pod uwagę ciągle zmieniające się i nieprzewidywalne środowiska.
Adaptacja W Czasie Testu. W ostatnim czasie paradygmat adaptacji w czasie testu (ang. test-time adaptation, TTA) stał się szybko rozwijającym się obszarem badań. TTA ma na celu dostosowanie wstępnie wytrenowanej sieci neuronowej do nieoznakowanych danych na bieżąco w czasie testu, zapobiegając pogorszeniu dokładności poprzez adaptację do zmieniających się rozkładów danych bez wcześniejszych założeń. Obecne metody TTA mają istotne wady. Po pierwsze, żadna z istniejących metod TTA nie radzi sobie ze wszystkimi rodzajami zmian rozkładu danych, co czyni je nieprzydatnymi do rzeczywistych zastosowań. Po drugie, wiele z tych metod nie uwzględnia wydajności obliczeniowej, kluczowej dla aplikacji wymagających szybkiego działania i platform z ograniczonymi zasobami. Niniejszy projekt ma na celu opracowanie nowych metod TTA, koncentrujących się zarówno na niezawodności, jak i wydajności, oraz ich zastosowanie do realistycznych zadań widzenia komputerowego.
Skupienie Na Niezawodności. Rzeczywiste zastosowania wymagają niezawodności systemów uczenia maszynowego. Wciąż jednak może być trudno zaufać stałej „czarnej skrzynce” w aplikacjach o krytycznym znaczeniu dla bezpieczeństwa, nie mówiąc już o sieci neuronowej modyfikowanej na bieżąco. Podążając za naszym prze konaniem, że adaptacja w czasie testów jest lekarstwem na problem zmiany dystrybucji danych, zamierzamy opracować podejścia TTA kładące nacisk na ich niezawodność w różnych scenariuszach wdrożeniowych. Nasze badania obejmą szerokie spektrum warunków testowych w celu zidentyfikowania technik, które konsekwentnie dobrze sobie radzą. Zainspirujemy się dziedzinami samonadzorowanego i ciągłego uczenia maszynowego.
Poprawa Wydajności. W rzeczywistych aplikacjach, np. związanych z robotyką mobilną, modele są wdra żane na urządzeniach brzegowych o ograniczonych zasobach obliczeniowych. Ograniczenia te obejmują moc obliczeniową, pojemność pamięci i zużycie energii. Samo wnioskowanie modelu dla urządzenia brzegowego może być wymagające obliczeniowo. Oprócz wnioskowania, TTA adaptuje model, dodając znaczne obciążenie obliczeniowe. Przeanalizujemy wydajność obecnych metod TTA, co pozwoli nam zrozumieć kompromis między ich wydajnością a jakością adaptacji. Biorąc pod uwagę wnioski z eskperymentów, będziemy rozwijać nasze techniki, przesuwając granicę wydajności TTA.
Zastosowanie Wyników Do Realistycznych Zadań. Metody TTA są często opracowywane przy użyciu zadania klasyfikacji obrazu, ponieważ jest to proste zadanie umożliwiające łatwiejszy rozwój i testowanie. Jednak skupie nie się wyłącznie na jednym zadaniu ogranicza możliwości zastosowania TTA. Rzeczywiste problemy, przed którymi stoją ucieleśnieni agenci AI podczas operacji w otwartym świecie, są znacznie bardziej skomplikowane. Dodatkowo, nie pracują oni z losowymi obrazami, ale sekwencjami danych percepcyjnych, które zawierają potencjalnie przydatne informacje do adaptacji, biorąc pod uwagę wymiar czasu i ograniczenia geometryczne otoczenia. Planujemy zastosować nasze odkrycia dotyczące niezawodnego i wydajnego TTA do zadań związanych z ucieleśnionymi agentami AI, takich jak szacowanie głębokości, i wykorzystać wszystkie dostępne wskazówki do adaptacji.
Oczekiwane Wyniki i Ich Implikacje. Rezultaty tego projektu przyczynią się do lepszego zrozumienia TTA, co może przyczynić się do znacznego postępu w różnych aplikacjach wykorzystujących sieci neuronowe w otwartym świecie. Umożliwienie sieci neuronowej niezawodnej i wydajnej adaptacji pozwoli na stworzenie bardziej niezawodnych systemów głębokiego uczenia w wielu branżach, od robotyki po asystentów głosowych.
R-GRID: Sztuczna inteligencja dla bezpieczeństwa sieci
Co-director Projektu: Łukasz Polak
Linki
Papers and publications
