Menu
Polski informatyk, doktor habilitowany inżynier widzenia maszynowego, profesor Politechniki Warszawskiej i Uniwersytetu Jagiellońskiego. Członek ELLIS Society.
Zarówno nauka, jak i przemysł chętnie sięgają po rozwiązania wykorzystujące modele uczenia maszynowego, głównie głębokie sieci neuronowe. Z uwagi na fakt, że dysponujemy coraz większą ilością danych, możliwe jest tworzenie modeli o coraz większej liczbie parametrów (w przypadku niektórych sieci, takich jak GPT-3, nawet bilionów), a to oznacza, że modele te są złożone i ich działanie wymaga dużej mocy obliczeniowej. Mamy zatem złożone sieci, które spełniają rosnące oczekiwania użytkowników, jednocześnie wymagając skomplikowanej infrastruktury, której utrzymanie jest kosztowne. Na dodatek, aby modele te działały potrzebne są ogromne ilości energii, która również staje się coraz droższa. Z uwagi na swoją specyfikę, badania w obszarze zrównoważonego rozwoju AI, są szczególnie istotne dla widzenia maszynowego (ang. computer vision), ponieważ np. w branży medycznej, gdzie algorytmy wspierają personel medyczny w trakcie operacji z użyciem robotów, wydajność obliczeniowa algorytmów przekłada się bezpośrednio na czas reakcji w trakcie zabiegu, a co za tym idzie zmniejszone ryzyko powikłań czy skrócony czas rekonwalescencji. Kwestia wydajności uczenia maszynowego jest niezwykle istotna, ponieważ modele je wykorzystujące są powszechnie stosowane i są nieodłącznym elementem wielu rozwiązań gospodarki cyfrowej. Warto jednak mieć świadomość, że ich dalszy rozwój w niezmienionej formie może wkrótce zostać spowolniony przez ograniczone zasoby.
Obecnie, rozwiązania tego problemu upatruje się w ograniczeniu obliczeń poprzez zawężenie dostępnych zasobów lub kompresję modeli. Jednak niewielu badaczy zwraca uwagę na to, aby modele wykorzystywały dostępne zasoby poprzez tzw. recycling. Zrównoważona gospodarka stała się więc inspiracją do badań – zamiast ograniczać modele uczenia maszynowego spróbujemy zwiększyć ich efektywność poprzez wykorzystanie informacji, zasobów i obliczeń, do których mamy już dostęp. Skupimy się na ponownym wykorzystaniu tego, co jest dostępne: obliczeniach wykonanych w poprzednich etapach przetwarzania danych, informacji cząstkowej dostępnej w czasie wykorzystania modeli lub wiedzy zdobytej przez model podczas wcześniejszych epizodów uczenia w przypadku modeli uczonych w trybie ciągłym. Spojrzymy na problem efektywnego uczenia maszynowego z perspektywy recyklingu obliczeniowego. Nasz projekt koncentruje się na tworzeniu modeli, które uczą się być wydajne, a nie tylko rozwiązują dane zadanie. Stawiamy hipotezę, że recykling zasobów wykorzystywanych przez modele uczenia maszynowego może znacznie zwiększyć ich wydajność. Eksplorujemy nową ścieżkę badawczą, którą jest uczenie maszynowe zgodne z koncepcją zero waste, koncentrującą się na redukcji wykorzystanych zasobów poprzez ich recykling.
Aby modele uczenia maszynowego mogły być powszechnie wykorzystywane, muszą być wydajne. Te, które mają usprawnić np. proces produkcji, muszą na bieżąco analizować dane i reagować. Modele odpowiadające za działanie samochodów autonomicznych również muszą działać błyskawicznie, inaczej stają się po prostu niebezpieczne. Wiele robotów ma ograniczone możliwości ponieważ czas konieczny na analizę danych oraz reakcję jest zbyt długi. Nasze badania będą miały wpływ na skrócenie tego czasu, a co za tym idzie otworzą możliwości do szerszego wykorzystania modeli, stwarzając możliwość komercjalizacji prac badawczo-rozwojowych w różnych sektorach gospodarki. Będziemy koncentrowali nasze badania na trzech filarach wydajnego AI: wykorzystaniu wykonanych obliczeń (computation recycling), wykorzystaniu dostępnej informacji cząstkowej oraz akumulacji wiedzy w modelach uczonych w sposób ciągły.
Metody obliczeń warunkowych przyspieszają podejmowanie decyzji poprzez dostosowanie wewnętrznej ścieżki przetwarzania sieci w oparciu o sygnał wejściowy. Najnowsze podejścia, które skracają czas wnioskowania modeli uczenia maszynowego, koncentrują się na skróceniu ścieżek decyzyjnych w aplikacjach o krytycznym czasie działania. Odrzucają informacje przetwarzane na wcześniejszych etapach, podczas gdy ich recykling może prowadzić do zmniejszenia marnotrawstwo zasobów obliczeniowych, czym zajmiemy się w trakcie naszych badań.
Skupimy się na ponownym wykorzystaniu tego, co jest dostępne: obliczeniach wykonanych w poprzednich etapach przetwarzania danych, informacji cząstkowej dostępnej w czasie wykorzystania modeli lub wiedzy zdobytej przez model podczas wcześniejszych epizodów uczenia w przypadku modeli uczonych w trybie ciągłym. Spojrzymy na problem efektywnego uczenia maszynowego z perspektywy recyklingu obliczeniowego.
Metody oparte na informacji cząstkowej (partial information) wykorzystują dodatkowe informacje dostępne dla sieci w czasie inferencji, aby zwiększyć trafność predykcji bez przetrenowywania całego modelu. Mogą realizować obliczenia, gdy dostępne są częściowe informacje na temat danych wejściowych. Na przykład, klasyfikując zdjęcia obiektów, mając pewność, że zdjęcia zostały zrobione na plaży, możemy istotnie zmniejszyć ilość zasobów wykorzystywanych np. do klasyfikacji widocznych na nim obiektów.
Metody ciągłego uczenia się gromadzą wiedzę uzyskaną w oparciu o dane przychodzące jako strumień, opierając się na wcześniej zdobytych umiejętnościach, bez ich zapominania. Sprawnie gromadzą wiedzę o wcześniej widzianych danych i ponownie ją wykorzystują, gdy nowe dane są wprowadzane podczas treningu. Ten wydajny mechanizm akumulacji wiedzy zachęca nas do spojrzenia na złożoność obliczeniową modeli z perspektywy modeli uczących się w trybie ciągłym i zbadania wzrostu wydajności uzyskanego w tym podejściu. Ponadto paradygmat uczenia maszynowego „zero waste” wyznacza nie tylko ramy dla wydajnego trenowania modeli, ale obejmuje również istniejące mechanizmy, np. metody akumulacji wiedzy w modelach uczonych w sposób ciągły, które zapobiegają katastroficznemu zapominaniu.
Nowością w naszych badaniach jest skupienie się na tworzeniu „zielonych” modeli uczenia maszynowego. Doskonalsze modele będą potrzebowały mniejszej ilości zasobów do prowadzenia obliczeń, a co za tym idzie będą przyjazne środowisku. Takie założenie jest punktem wyjścia dla naszych prac badawczych. Pozwoli nam pracować nad modelami, które nie tylko rozwiązują konkretne zadania, ale również uczą się jak działać wydajniej. To rozwiązania, które pozwolą tworzyć zrównoważoną gospodarkę i będą miały wysoki potencjał wdrożeniowy.
Dr hab. inż. Tomasz Trzciński, prof. PW i UJ kieruje pracami zespołu zajmującego się widzeniem maszynowym CVLab. Jest również członkiem zespołu uczenia maszynowego GMUM na Uniwersytecie Jagiellońskim, a także liderem grupy badawczej zajmującej się widzeniem maszynowym w IDEAS NCBR. Stopień doktora habilitowanego uzyskał na Politechnice Warszawskiej w 2020 r., doktora w zakresie wizji maszynowej na École Polytechnique Fédérale de Lausanne w 2014 r., a podwójny dyplom magisterski na Universitat Politècnica de Catalunya oraz Politecnico di Torino. Odbył staże naukowe na Uniwersytecie Stanforda w 2017 r. oraz na Nanyang Technological University w 2019 r. Pełni funkcję Associate Editor w IEEE Access oraz MDPI Electronics, jest także recenzentem prac publikowanych w czasopismach TPAMI, IJCV, CVIU, TIP i TMM, oraz członkiem komitetów organizacyjnych konferencji, m.in. CVPR, ICCV i ICML. Pracował w Google w 2013 r., Qualcomm w 2012 r. oraz w Telefónice w 2010 r. Pełni funkcję Senior Member w IEEE, jest członkiem ELLIS Society oraz ALICE Collaboration w CERN, jest ekspertem Narodowego Centrum Nauki i Fundacji na rzecz Nauki Polskiej. Jest współwłaścicielem firmy Tooploox, gdzie jako Chief Scientist kieruje zespołem zajmującym się uczeniem maszynowym, a także współzałożycielem startupu technologicznego Comixify, wykorzystującego metody sztucznej inteligencji do edycji wideo.
Jego zainteresowania naukowe skupiają się wokół takich tematów jak: widzenie maszynowe (symultaniczna lokalizacja i mapowanie, wyszukiwanie wizualne), uczenie maszynowe (głębokie sieci neuronowe, modele generatywne, uczenie ciągłe), uczenie reprezentacji (deskryptory binarne).
Algorytmy, szczególnie te wykorzystywane w uczeniu maszynowym, dają szanse na podejmowanie lepszych decyzji niż ludzkie.
Technologia Blockchain została wprowadzona w 2008 roku. Pod tą nazwą rozumie się zwykle protokoły kryptograficzne służące do osiągania konsensusu na dużą skalę w sieciach rozproszonych.
IDEAS NCBR Sp. z o.o.
NIP: 7011017605
REGON: 388065786
KRS: 0000880113
Projekt: maskva.pl. Kodowanie: Mati Projektuje
