04

Nasze Badania

Zero-Waste machine learning in computer vision

TOMASZ TRZCIŃSKI

LIDER GRUPY BADAWCZEJ

Polski informatyk, doktor habilitowany inżynier widzenia maszynowego, profesor Politechniki Warszawskiej i Uniwersytetu Jagiellońskiego. Członek ELLIS Society.

Uczenie maszynowe staje się coraz bardziej energochłonne/ Rosnący apetyt na energię

Zarówno nauka, jak i przemysł chętnie sięgają po rozwiązania wykorzystujące modele uczenia maszynowego, głównie głębokie sieci neuronowe. Z uwagi na fakt, że dysponujemy coraz większą ilością danych, możliwe jest tworzenie modeli o coraz większej liczbie parametrów (w przypadku niektórych sieci, takich jak GPT-3, nawet bilionów), a to oznacza, że modele te są złożone i ich działanie wymaga dużej mocy obliczeniowej. Mamy zatem złożone sieci, które spełniają rosnące oczekiwania użytkowników, jednocześnie wymagając skomplikowanej infrastruktury, której utrzymanie jest kosztowne. Na dodatek, aby modele te działały potrzebne są ogromne ilości energii, która również staje się coraz droższa. Z uwagi na swoją specyfikę, badania w obszarze zrównoważonego rozwoju AI, są szczególnie istotne dla widzenia maszynowego (ang. computer vision), ponieważ np. w branży medycznej, gdzie algorytmy wspierają personel medyczny w trakcie operacji z użyciem robotów, wydajność obliczeniowa algorytmów przekłada się bezpośrednio na czas reakcji w trakcie zabiegu, a co za tym idzie zmniejszone ryzyko powikłań czy skrócony czas rekonwalescencji. Kwestia wydajności uczenia maszynowego jest niezwykle istotna, ponieważ modele je wykorzystujące są powszechnie stosowane i są nieodłącznym elementem wielu rozwiązań gospodarki cyfrowej. Warto jednak mieć świadomość, że ich dalszy rozwój w niezmienionej formie może wkrótce zostać spowolniony przez ograniczone zasoby.

Recykling zasobów kluczem do wydajności

Obecnie, rozwiązania tego problemu upatruje się w ograniczeniu obliczeń poprzez zawężenie dostępnych zasobów lub kompresję modeli. Jednak niewielu badaczy zwraca uwagę na to, aby modele wykorzystywały dostępne zasoby poprzez tzw. recycling. Zrównoważona gospodarka stała się więc inspiracją do badań – zamiast ograniczać modele uczenia maszynowego spróbujemy zwiększyć ich efektywność poprzez wykorzystanie informacji, zasobów i obliczeń, do których mamy już dostęp. Skupimy się na ponownym wykorzystaniu tego, co jest dostępne: obliczeniach wykonanych w poprzednich etapach przetwarzania danych, informacji cząstkowej dostępnej w czasie wykorzystania modeli lub wiedzy zdobytej przez model podczas wcześniejszych epizodów uczenia w przypadku modeli uczonych w trybie ciągłym. Spojrzymy na problem efektywnego uczenia maszynowego z perspektywy recyklingu obliczeniowego. Nasz projekt koncentruje się na tworzeniu modeli, które uczą się być wydajne, a nie tylko rozwiązują dane zadanie. Stawiamy hipotezę, że recykling zasobów wykorzystywanych przez modele uczenia maszynowego może znacznie zwiększyć ich wydajność. Eksplorujemy nową ścieżkę badawczą, którą jest uczenie maszynowe zgodne z koncepcją zero waste, koncentrującą się na redukcji wykorzystanych zasobów poprzez ich recykling.

Akcja-reakcja. Co się dzieje, kiedy modele nie są wystarczająco szybkie?

Aby modele uczenia maszynowego mogły być powszechnie wykorzystywane, muszą być wydajne. Te, które mają usprawnić np. proces produkcji, muszą na bieżąco analizować dane i reagować. Modele odpowiadające za działanie samochodów autonomicznych również muszą działać błyskawicznie, inaczej stają się po prostu niebezpieczne. Wiele robotów ma ograniczone możliwości ponieważ czas konieczny na analizę danych oraz reakcję jest zbyt długi. Nasze badania będą miały wpływ na skrócenie tego czasu, a co za tym idzie otworzą możliwości do szerszego wykorzystania modeli, stwarzając możliwość komercjalizacji prac badawczo-rozwojowych w różnych sektorach gospodarki.  Będziemy koncentrowali nasze badania na trzech filarach wydajnego AI: wykorzystaniu wykonanych obliczeń (computation recycling), wykorzystaniu dostępnej informacji cząstkowej oraz akumulacji wiedzy w modelach uczonych w sposób ciągły.

Recykling wykonanych obliczeń

Metody obliczeń warunkowych przyspieszają podejmowanie decyzji poprzez dostosowanie wewnętrznej ścieżki przetwarzania sieci w oparciu o sygnał wejściowy. Najnowsze podejścia, które skracają czas wnioskowania modeli uczenia maszynowego, koncentrują się na skróceniu ścieżek decyzyjnych w aplikacjach o krytycznym czasie działania. Odrzucają informacje przetwarzane na wcześniejszych etapach, podczas gdy ich recykling może prowadzić do zmniejszenia marnotrawstwo zasobów obliczeniowych, czym zajmiemy się w trakcie naszych badań.

Skupimy się na ponownym wykorzystaniu tego, co jest dostępne: obliczeniach wykonanych w poprzednich etapach przetwarzania danych, informacji cząstkowej dostępnej w czasie wykorzystania modeli lub wiedzy zdobytej przez model podczas wcześniejszych epizodów uczenia w przypadku modeli uczonych w trybie ciągłym. Spojrzymy na problem efektywnego uczenia maszynowego z perspektywy recyklingu obliczeniowego.

Wykorzystanie dostępnych informacji cząstkowych

Metody oparte na informacji cząstkowej (partial information) wykorzystują dodatkowe informacje dostępne dla sieci w czasie inferencji, aby zwiększyć trafność predykcji bez przetrenowywania całego modelu. Mogą realizować obliczenia, gdy dostępne są częściowe informacje na temat danych wejściowych. Na przykład, klasyfikując zdjęcia obiektów, mając pewność, że zdjęcia zostały zrobione na plaży, możemy istotnie zmniejszyć ilość zasobów wykorzystywanych np. do klasyfikacji widocznych na nim obiektów.

Akumulacja wiedzy w modelach uczonych w sposób ciągły

Metody ciągłego uczenia się gromadzą wiedzę uzyskaną w oparciu o dane przychodzące jako strumień, opierając się na wcześniej zdobytych umiejętnościach, bez ich zapominania. Sprawnie gromadzą wiedzę o wcześniej widzianych danych i ponownie ją wykorzystują, gdy nowe dane są wprowadzane podczas treningu. Ten wydajny mechanizm akumulacji wiedzy zachęca nas do spojrzenia na złożoność obliczeniową modeli z perspektywy modeli uczących się w trybie ciągłym i zbadania wzrostu wydajności uzyskanego w tym podejściu. Ponadto paradygmat uczenia maszynowego „zero waste” wyznacza nie tylko ramy dla wydajnego trenowania modeli, ale obejmuje również istniejące mechanizmy, np. metody akumulacji wiedzy w modelach uczonych w sposób ciągły, które zapobiegają katastroficznemu zapominaniu.

Uczenie maszynowe może być eko

Nowością w naszych badaniach jest skupienie się na tworzeniu „zielonych” modeli uczenia maszynowego. Doskonalsze modele będą potrzebowały mniejszej ilości zasobów do prowadzenia obliczeń, a co za tym idzie będą przyjazne środowisku. Takie założenie jest punktem wyjścia dla naszych prac badawczych. Pozwoli nam pracować nad modelami, które nie tylko rozwiązują konkretne zadania, ale również uczą się jak działać wydajniej. To rozwiązania, które pozwolą tworzyć zrównoważoną gospodarkę i będą miały wysoki potencjał wdrożeniowy.

TOMASZ TRZCIŃSKI

Lider Grupy Badawczej

Doświadczenie zawodowe

Dr hab. inż. Tomasz Trzciński, prof. PW i UJ kieruje pracami zespołu zajmującego się widzeniem maszynowym CVLab. Jest również członkiem zespołu uczenia maszynowego GMUM na Uniwersytecie Jagiellońskim, a także liderem grupy badawczej  zajmującej się widzeniem maszynowym w IDEAS NCBR. Stopień doktora habilitowanego uzyskał na Politechnice Warszawskiej w 2020 r., doktora w zakresie wizji maszynowej na École Polytechnique Fédérale de Lausanne w 2014 r., a podwójny dyplom magisterski na Universitat Politècnica de Catalunya oraz Politecnico di Torino. Odbył staże naukowe na Uniwersytecie Stanforda w 2017 r. oraz na Nanyang Technological University w 2019 r. Pełni funkcję Associate Editor w IEEE Access oraz MDPI Electronics, jest także recenzentem prac publikowanych w czasopismach TPAMI, IJCV, CVIU, TIP i TMM, oraz członkiem komitetów organizacyjnych konferencji, m.in. CVPR, ICCV i ICML. Pracował w Google w 2013 r., Qualcomm w 2012 r. oraz w Telefónice w 2010 r. Pełni funkcję Senior Member w IEEE, jest członkiem ELLIS Society oraz ALICE Collaboration w CERN, jest ekspertem Narodowego Centrum NaukiFundacji na rzecz Nauki Polskiej. Jest współwłaścicielem firmy Tooploox, gdzie jako Chief Scientist kieruje zespołem zajmującym się uczeniem maszynowym, a także współzałożycielem startupu technologicznego Comixify, wykorzystującego metody sztucznej inteligencji do edycji wideo.

Jego zainteresowania naukowe skupiają się wokół takich tematów jak: widzenie maszynowe (symultaniczna lokalizacja i mapowanie, wyszukiwanie wizualne), uczenie maszynowe (głębokie sieci neuronowe, modele generatywne, uczenie ciągłe), uczenie reprezentacji (deskryptory binarne).

Nagrody i osiągnięcia

  • Stypendium dla wybitnych młodych naukowców Ministra Edukacji Narodowej (2021)
  • Nagroda naukowa Rektora Politechniki Warszawskiej I stopnia (2020)
  • Laureat konkursu New Europe 100 Challenger 2016 organizowanego przez Google oraz Financial Times

Granty

  • Narodowe Centrum Nauki: grant OPUS 2021-2024 projekt: Głębokie generatywne spojrzenie na uczenie ciągłe
  • Narodowe Centrum Nauki: grant PRELUDIUM BIS 2022 projekt: Ciągłe samonadzorowane uczenie reprezentacji
  • Narodowe Centrum Nauki: grant SONATA 2016 projekt: Opracowanie metod uczenia maszynowego do monitorowania jakości danych o dużej objętości oraz interaktywnych metod ich wizualizacji na przykładzie eksperymentu ALICE na Wielkim Zderzaczu Hadronów w CERN
  • Grant Microsoft Research Cambridge na finansowanie doktoranta (EMEA PhD Fellowship) 2020 projekt: Realistyczne renderowanie postaci ludzi na podstawie niepełnej informacji
  • Team lider w grancie Fundacji na rzecz Nauki Polskiej TEAM-NET: Bioinspirowalne sztuczne sieci neuronowe i rozwoju.

NASZE BADANIA

Algorytmy, szczególnie te wykorzystywane w uczeniu maszynowym, dają szanse na podejmowanie lepszych decyzji niż ludzkie.

Technologia Blockchain została wprowadzona w 2008 roku. Pod tą nazwą rozumie się zwykle protokoły kryptograficzne służące do osiągania konsensusu na dużą skalę w sieciach rozproszonych.

Skip to content