Uczenie maszynowe zero-waste w wizji komputerowej

Rosnący apetyt na energię

Zarówno nauka, jak i przemysł chętnie sięgają po rozwiązania wykorzystujące modele uczenia maszynowego, głównie głębokie sieci neuronowe. Z uwagi na fakt, że dysponujemy coraz większą ilością danych, możliwe jest tworzenie modeli o coraz większej liczbie parametrów (w przypadku niektórych sieci, takich jak GPT-3, nawet bilionów), a to oznacza, że modele te są złożone i ich działanie wymaga dużej mocy obliczeniowej.

Mamy zatem złożone sieci, które spełniają rosnące oczekiwania użytkowników, jednocześnie wymagając skomplikowanej infrastruktury, której utrzymanie jest kosztowne. Na dodatek, aby modele te działały, potrzebne są ogromne ilości energii, która również staje się coraz droższa.

Z uwagi na swoją specyfikę, badania w obszarze zrównoważonego rozwoju AI są szczególnie istotne dla widzenia maszynowego (ang. computer vision), ponieważ np. w branży medycznej, gdzie algorytmy wspierają personel medyczny w trakcie operacji z użyciem robotów, wydajność obliczeniowa algorytmów przekłada się bezpośrednio na czas reakcji w trakcie zabiegu, a co za tym idzie zmniejszone ryzyko powikłań czy skrócony czas rekonwalescencji. Kwestia wydajności uczenia maszynowego jest niezwykle istotna, ponieważ modele je wykorzystujące są powszechnie stosowane i są nieodłącznym elementem wielu rozwiązań gospodarki cyfrowej. Warto jednak mieć świadomość, że ich dalszy rozwój w niezmienionej formie może wkrótce zostać spowolniony przez ograniczone zasoby.

Recykling zasobów kluczem do wydajności

Obecnie rozwiązania tego problemu upatruje się w ograniczeniu obliczeń poprzez zawężenie dostępnych zasobów lub kompresję modeli. Jednak niewielu badaczy zwraca uwagę na to, aby modele wykorzystywały dostępne zasoby poprzez tzw. recycling.

Zrównoważona gospodarka stała się więc inspiracją do badań – zamiast ograniczać modele uczenia maszynowego, spróbujemy zwiększyć ich efektywność poprzez wykorzystanie informacji, zasobów i obliczeń, do których mamy już dostęp. Skupimy się na ponownym wykorzystaniu tego, co jest dostępne: obliczeniach wykonanych w poprzednich etapach przetwarzania danych, informacji cząstkowej dostępnej w czasie wykorzystania modeli lub wiedzy zdobytej przez model podczas wcześniejszych epizodów uczenia w przypadku modeli uczonych w trybie ciągłym. Spojrzymy na problem efektywnego uczenia maszynowego z perspektywy recyklingu obliczeniowego.

Nasz projekt koncentruje się na tworzeniu modeli, które uczą się być wydajne, a nie tylko rozwiązują dane zadanie. Stawiamy hipotezę, że recykling zasobów wykorzystywanych przez modele uczenia maszynowego może znacznie zwiększyć ich wydajność. Eksplorujemy nową ścieżkę badawczą, którą jest uczenie maszynowe zgodne z koncepcją zero waste, koncentrującą się na redukcji wykorzystanych zasobów poprzez ich recykling.

Akcja – reakcja. Co się dzieje, kiedy modele nie są wystarczająco szybkie?

Aby modele uczenia maszynowego mogły być powszechnie wykorzystywane, muszą być wydajne. Te, które mają usprawnić np. proces produkcji, muszą na bieżąco analizować dane i reagować. Modele odpowiadające za działanie samochodów autonomicznych również muszą działać błyskawicznie, inaczej stają się po prostu niebezpieczne. Wiele robotów ma ograniczone możliwości, ponieważ czas konieczny na analizę danych oraz reakcję jest zbyt długi.

Nasze badania będą miały wpływ na skrócenie tego czasu, a co za tym idzie otworzą możliwości do szerszego wykorzystania modeli, stwarzając możliwość komercjalizacji prac badawczo-rozwojowych w różnych sektorach gospodarki.  Będziemy koncentrowali nasze badania na trzech filarach wydajnego AI: wykorzystaniu wykonanych obliczeń (computation recycling), wykorzystaniu dostępnej informacji cząstkowej oraz akumulacji wiedzy w modelach uczonych w sposób ciągły.

Recykling wykonanych obliczeń

Metody obliczeń warunkowych przyspieszają podejmowanie decyzji poprzez dostosowanie wewnętrznej ścieżki przetwarzania sieci w oparciu o sygnał wejściowy. Najnowsze podejścia, które skracają czas wnioskowania modeli uczenia maszynowego, koncentrują się na skróceniu ścieżek decyzyjnych w aplikacjach o krytycznym czasie działania. Odrzucają informacje przetwarzane na wcześniejszych etapach, podczas gdy ich recykling może prowadzić do zmniejszenia marnotrawstwa zasobów obliczeniowych, czym zajmiemy się w trakcie naszych badań.

Wykorzystanie dostępnych informacji cząstkowych

Metody oparte na informacji cząstkowej (partial information) wykorzystują dodatkowe informacje dostępne dla sieci w czasie inferencji, aby zwiększyć trafność predykcji bez przetrenowywania całego modelu. Mogą realizować obliczenia, gdy dostępne są częściowe informacje na temat danych wejściowych. Na przykład, klasyfikując zdjęcia obiektów, mając pewność, że zdjęcia zostały zrobione na plaży, możemy istotnie zmniejszyć ilość zasobów wykorzystywanych np. do klasyfikacji widocznych na nim obiektów.

Akumulacja wiedzy w modelach uczonych w sposób ciągły

Metody ciągłego uczenia się gromadzą wiedzę uzyskaną w oparciu o dane przychodzące jako strumień, opierając się na wcześniej zdobytych umiejętnościach, bez ich zapominania. Sprawnie gromadzą wiedzę o wcześniej widzianych danych i ponownie ją wykorzystują, gdy nowe dane są wprowadzane podczas treningu. Ten wydajny mechanizm akumulacji wiedzy zachęca nas do spojrzenia na złożoność obliczeniową modeli z perspektywy modeli uczących się w trybie ciągłym i zbadania wzrostu wydajności uzyskanego w tym podejściu. Ponadto, paradygmat uczenia maszynowego „zero waste” wyznacza nie tylko ramy dla wydajnego trenowania modeli, lecz również obejmuje istniejące mechanizmy, np. metody akumulacji wiedzy w modelach uczonych w sposób ciągły, które zapobiegają katastroficznemu zapominaniu.

Uczenie maszynowe może być eko

Nowością w naszych badaniach jest skupienie się na tworzeniu „zielonych” modeli uczenia maszynowego. Doskonalsze modele będą potrzebowały mniejszej ilości zasobów do prowadzenia obliczeń, a co za tym idzie będą przyjazne środowisku. Takie założenie jest punktem wyjścia dla naszych prac badawczych. Pozwoli nam pracować nad modelami, które nie tylko rozwiązują konkretne zadania, ale również uczą się jak działać wydajniej. To rozwiązania, które pozwolą tworzyć zrównoważoną gospodarkę i będą miały wysoki potencjał wdrożeniowy.

Linki

Google Scholar

ELLIS Member

E-mail

Papers and publications