Nomagic Warsaw MIMotaurs, zespół tworzony przez studentów i pracowników Uniwersytetu Warszawskiego, znalazł się wśród pięciu finalistów prestiżowego konkursu The Mohamed Bin Zayed International Robotics Challenge (MBZIRC). Finał odbędzie się w 2024 r. w Abu Dhabi, stolicy Zjednoczonych Emiratów Arabskich. W eliminacjach konkursu wzięło udział 50 zespołów robotycznych z najlepszych uniwersytetów i międzynarodowych ośrodków badawczych całego świata.
Zawody MBZIRC odbywają się co dwa lata. Uczestnicy mają zbudować autonomiczne roboty latające oraz pojazdy naziemne, które mają wykonywać skomplikowane zadania. W finale zespół MIMotaurs zmierzy się z drużynami Fly Eagle (Chiny/ZEA), ROC (Dania/Szwecja), Team KAIST (Korea Płd.), UNIZG-FER (Chorwacja). Główna nagroda w konkursie to 2 mln USD.
IDEAS NCBR: Przed jakim zadaniem stoicie w konkursie The Mohamed Bin Zayed International Robotics Challenge (MBZIRC)?
Karol Pieniący: Podczas konkursu musimy najpierw wystartować dronami z brzegu morza i przy ich pomocy patrolować wybrany akwen. Drony mają znaleźć łódkę, która pasuje do intelligence report, specyfikacji celu. Scenariusz jest taki, że podejrzewamy, że ktoś nielegalnie łowi ryby. To pierwsza punktowana część zadania. Dron nie może się pomylić, bo wtedy zespół traci punkty. Operator tylko zatwierdza „tak”/„nie” czy zgadza się na posunięcia drona, ale nie może np. wydać systemowi polecenia „bardziej w lewo”. Nie może się obejść bez sztucznej inteligencji.
Po zidentyfikowaniu łódki mamy podpłynąć do niej własną łódką, USV – Unmanned Surface Vehicle – sterowanym komputerowo, całkowicie autonomicznym katamaranem. Kolejny krok to interwencja na małym przedmiocie, ważącym około 1 kg – powiedzmy, że będzie to niebieska walizka. Dron ma ją podnieść, przetransportować w powietrzu i położyć na swoim statku. To druga punktowana część zadania.
Następnie musimy przeprowadzić interwencję na dużym, ciężkim przedmiocie, ważącym około 5 kg – powiedzmy, że będzie to skrzynia. Do statku docelowego podpływa burta w burtę nasz autonomiczny katamaran, a drony mają przesunąć przedmiot na bok, do burty statku. Ważne jest ich współdziałanie – koniecznie trzeba użyć więcej niż jednego drona. Następnie robotyczne ramię zainstalowane na USV ma podnieść duży przedmiot i położyć go na pokładzie katamaranu. To trzecia punktowana część zadania.
Czy projektujecie drony, katamaran, a także software?
Używamy różnych rodzajów i klas dronów. Niektóre drony budujemy w zasadzie od podstaw, a w innych przypadkach adaptujemy istniejące konstrukcje. Na rynku nie ma dronów, które moglibyśmy po prostu kupić i byłyby idealne do zadań konkursu. Możemy w mniejszym lub większym stopniu zbudować je samodzielnie lub z gotowych platform i wyposażyć w odpowiednie kamery, czujniki i chwytaki.
Wszystkie zespoły otrzymały od organizatorów takie same katamarany o długości 7 metrów, szerokie na 4 metry, z dużym płaskim pokładem, z którego drony mają startować i na którym mają lądować. Katamaran musimy doposażyć m.in. w komputery, czujniki i przede wszystkim robotyczne ramię, służące do wykonania trzeciego zadania. Kupujemy gotowe ramię UR10e, bardzo często stosowane w środowisku naukowym i chwytak, nie będziemy ich budować sami.
Software piszemy całkowicie samodzielnie: od nawigacji i komunikacji po sztuczną inteligencję w zakresie percepcji czy zarządzania rojem dronów.
Warto podkreślić, że potocznie mianem drona określa się tylko wielowirnikowce (koptery), ale to tak naprawdę szersza kategoria, w zasadzie wszystko co lata i jest bezzałogowe nazywamy dronem, w tym też np. samoloty bezzałogowe.
Jak przebiega konkurs? Jakie etapy już się odbyły i na czym polegają finały?
Pierwszy etap konkursu, whitepaper phase, trwał od listopada 2021 do lutego 2022 roku. Musieliśmy napisać dokument (proposal) przedstawiający, jak zespół planuje rozwiązać zadanie rozbite na małe części – jakich dronów użyjemy, jak każde kolejne zadanie (np. określenie, który statek mamy zbadać) będzie rozwiązane, jak ma działać oprogramowanie, jaki zespół weźmie udział w konkursie i jakie będzie posiadał umiejętności, kto udzieli nam wsparcia finansowego, sprzętowego, merytorycznego. Ten etap jest mało widowiskowy, ale potrzebny, by przekonać organizatorów, że mamy ludzi, pomysł, zaplecze techniczne, organizacyjne i finansowe.
Podczas drugiego etapu, od marca do listopada 2022 roku, czyli simulation phase, z naszym oprogramowaniem wykonywaliśmy zadanie konkursowe w środowisku symulacyjnym zapewnionym przez organizatora. To środowisko jest open-source, każdy może je obejrzeć na GitHubie. Był to duży wysiłek, wiele zespołów zostało odsianych, bo dzięki takiemu zadaniu łatwo zobaczyć, kto się na pewno nie nadaje.
Niestety, robotyka jako cała dziedzina ma duży problem sim-to-real, czyli nie ma bezpośredniego przełożenia rozwiązań z symulatora na prawdziwe życie. Rozwiązania, z których uczestnicy korzystają, żeby w drugim etapie wypaść jak najlepiej, niekoniecznie sprawdzą się najlepiej w rzeczywistości. Dlatego oprócz czysto wirtualnej pracy w symulacji, dostarczyliśmy materiały oraz demonstracje dowodzące, że niektóre nasze podsystemy działają już w rzeczywistych testach, czym wyróżniliśmy się wśród innych zespołów.
Trzeci etap zaczął się w grudniu 2022 i potrwa aż do lutego 2024 roku. To demonstration phase – jedziemy do Abu Dhabi z naszym gotowym, idealnie przetestowanym i stabilnie działającym rozwiązaniem. Ostateczna rywalizacja polega na kilkukrotnym podejściu do scenariusza konkursowego: dostajemy informacje o statku, którego szukamy i czas rozpoczęcia działania. Wpisujemy te dane do naszego programu, przygotowujemy i uruchamiamy system na brzegu morza. Od tego momentu nie może już być interakcji z dronami i autonomiczną łódką, które wykonują zadanie. Zespoły otrzymują noty za jak najdokładniejsze i najszybsze rozwiązanie wszystkich zadań.
W jaki sposób macie rozwiązać zadania konkursowe?
Podczas konkursu drony mają działać autonomicznie, bez interakcji z człowiekiem (poza ewentualnym przerwaniem rywalizacji ze względów bezpieczeństwa). Nie można używać GPS-a ani żadnych systemów nawigacji satelitarnej. Drony muszą określać położenie własne i położenie statku bez zewnętrznych sygnałów. Kolejnym wyzwaniem jest wielodomenowość: drony, statki na wodzie, przedmioty na pokładzie muszą komunikować się ze sobą w różnych modalnościach. Wiele zależy od tempa – im szybciej zostaną wykonane zadania, tym lepiej, ale jeszcze ważniejsze jest wykonanie wszystkich zadań w jak najpełniejszy sposób.
Jakie cele stawiacie sobie podczas MBZIRC?
Chcemy wygrać. Chcemy przesunąć granice tego, co możliwe w autonomicznej robotyce. Konkursy rangi międzynarodowej takie jak MBZIRC pozwalają przyciągnąć najlepszych specjalistów i rozwijać zainteresowanie robotyką jako techniczną i sprzętową dziedziną w nietechnicznym środowisku, jakim jest uniwersytet.
Z jakimi wyzwaniami technologicznymi się mierzycie?
Nawigacja bez GPS-a jest trudna. Możemy rozwiązać ten problem na wiele różnych sposobów. Bardzo mnie ciekawi, jak zrobią to inni. Koordynowanie roju dronów to kolejne wyzwanie, bo drony nie mogą się zderzyć. System jako całość powinien tworzyć piękną choreografię, wydajnie wykonującą postawione zadania. Poprawna identyfikacja statku i leżących na nim przedmiotów wymaga wykorzystania najnowszych osiągnięć w dziedzinach uczenia maszynowego i przetwarzania obrazów. Bardzo trudne jest także autonomiczne przesuwanie obiektu po pokładzie przy użyciu wielu dronów. Wreszcie pozyskanie, zbudowanie i utrzymywanie floty dronów wiąże się z wieloma wymaganiami. Trzeba zbudować sprzęt, a to wymaga doświadczenia. Przy tych kosztach i czasie realizacji projektu nie możemy posługiwać się metodą prób i błędów.
Nie tylko technologia jest wyzwaniem. Musimy poradzić sobie z finansowaniem w środowisku akademickim i zebrać doskonały zespół, a każdy chce pracować z mądrymi, zdolnymi ludźmi.
Jakie są kryteria oceny kolejnego etapu konkursu w lutym 2024 roku?
Liczy się zajście jak najdalej w scenariuszu, czyli jak najpełniejsze wykonanie scenariusza konkursowego. W przypadku, gdy kilka zespołów ukończy zadania na tym samym kroku, liczy się najlepszy czas wykonania całości. Zespół może otrzymać kary punktowe, np. za naruszenie wirtualnych granic obszaru działań, gdy dron odleci za daleko od miejsca startu. Jakakolwiek interwencja człowieka na tym etapie oznacza zero punktów.
Kto należy do waszego zespołu?
W Warsaw MIMotaurs pracujemy trochę jak w startupie, dużo i ciężko z nadzieją na sukces. Każdy element zaplecza technologicznego jest ważny: od działających silników i czystych śmigieł, przez rozplanowanie elektryczne i odpowiednio oprogramowaną elektronikę, po działające na górze tej piramidy najnowsze rozwiązania AI.
W zespole pracują różne talenty: programiści, architekci projektowi, specjaliści AI, fizycy, mechanicy, elektronicy. Niezbędne są też osoby, które mają mniej techniczne umiejętności, ale potrafią organizować pracę i zapewnić biegłość operacyjną, zadbać o wizerunek zespołu, pozyskiwanie partnerów i finansowania.
Mamy w zespole ludzi z najróżniejszym doświadczeniem: akademickim; doświadczeniem w branży B+R zdobytym u największych graczy na świecie: Google, Meta, Amazon, NVIDIA; ludzi, którzy pracowali ze wszystkimi potrzebnymi w konkursie typami dronów, uczestniczyli w akademickich zawodach łazików marsjańskich URC, CIRC, IRC, ETC, UK URC, wyścigach dronów AlphaPilot, hackatonach programistycznych Facebook Hacker Cup, Google CodeJam, Google HashCode, Google CTF, EDC Hackathon.
Członkowie naszego zespołu należą do komitetów organizacyjnych i jury olimpiady informatycznej i fizycznej. To również wkład w rozwój nauki w Polsce.
Jak wygląda proces pracy nad tak złożonym projektem?
Zaczynasz od szukania ludzi, to odpowiedni ludzie są najważniejsi. Starasz się zaprojektować i wyobrazić sobie wszystko. Potem przystępujesz do modularyzacji rozwiązania, rozbijasz task na subtaski, subsubtaski, subsubsubtaski. Dostrzegasz, co będzie trudne i myślisz nad tym, kto i jak powinien to rozwiązywać. Myślisz, jak za to zapłacić. Często eksperymentujesz, niektóre rzeczy robisz kompletnie od zera. Czasami odkrywasz nowe możliwości po drodze, czasami do zespołu dołącza ktoś, kto ma dużo doświadczenia w konkretnym temacie, z którego można skorzystać. Ciągle napotykasz nowe problemy i pozostaje ci liczyć na to, że w jak najmniejszym stopniu będą przeszkodami. Łączysz podsystemy ze sobą, stopniowo integrujesz rozwiązania. Na koniec przeprowadzasz mnóstwo testów optymalizacyjnych i wytrzymałościowych.
Czy zwycięski projekt będzie ogólnodostępny?
Przyjęcie nagrody od organizatorów jest równoznaczne z udzieleniem im niewyłącznej licencji. Nie oddajemy tej własności intelektualnej. Naturalnie, jeśli w wyniku prac konkursowych stworzymy technologię, którą można skomercjalizować, to będziemy myśleć o rozwoju tej ścieżki.
Zależy nam na tym, żeby to nie było jedynie sportowo-konkursowe czy komercyjne przedsięwzięcie. Wierzymy, że efekt naszej pracy będzie również prezentował wartość naukową. Planujemy przygotować publikacje naukowe poświęcone niektórym elementom naszego rozwiązania. Staramy się dobierać jak najlepsze narzędzia do danego zadania, uwzględniając dostępną technologię i umiejętności członków zespołu, a równolegle tworzymy autorskie rozwiązania na miarę naszych konkretnych potrzeb.
Nad czym pracuje twój zespół badawczy w IDEAS NCBR?
W zespole Algorytmy w autonomicznych UAV w IDEAS NCBR chcemy integrować dane z różnych czujników zamontowanych na dronach tak, by optymalizować lot drona i zbliżać się do zbudowania w pełni autonomicznych UAV (bezzałogowych statków powietrznych). Pozwoli to dronom latać w bardziej efektywny i bezpieczny sposób, tak żeby bez udziału człowieka mogły omijać przeszkody, wybierać najlepszą drogę do celu, wykonywać zadania, odbierać informację zwrotną w czasie rzeczywistym. Chcemy, by dzięki zastosowaniu rozwiązań uczenia maszynowego i sztucznej inteligencji analiza danych z czujników przebiegała na bieżąco na pokładzie drona i by dzięki tym informacjom robot samodzielnie korygował swój lot.
W naszym zespole badawczym w IDEAS NCBR pracujemy także nad metodami śledzenia ruchu obiektów za pomocą autonomicznych UAV. Zależy nam na tym, żeby drony potrafiły prowadzić obserwację w warunkach okresowo przesłoniętej linii wzroku i ciągle zmieniającego się kąta widzenia. Rozwiązania, które chcemy stworzyć, mogą w przyszłości znaleźć zastosowanie w ratownictwie morskim czy górskim, a także podczas klęsk żywiołowych – drony będą w stanie odnaleźć zaginione osoby i przekazywać ratownikom obraz i informacje w czasie rzeczywistym. Autonomiczne drony będą mogły wesprzeć straż graniczną w walce z przemytnikami, a hodowców i leśników w śledzeniu przemieszczania się trzody i dzikich zwierząt. Przydadzą się także w sektorze obronnym – chodzi o prowadzenie misji zwiadowczych na polu walki.
Co motywuje was do pracy i rywalizacji?
Nomagic Warsaw MIMotaurs to głównie informatycy i fizycy. Część osób pracuje w informatyce, część w nauce. Faktycznie robimy to dla nauki. Kilka osób pasjonuje się inżynierią materiałową, robotyką, dronami i tym zajmowało się w przeszłości. To ludzie tworzą technologię i w pewnym sensie mają przez to większą rolę w rozwiązaniu konkursowym niż sama technologia.
Rywalizacja w Zjednoczonych Emiratach Arabskich to dla nas emocje, adrenalina, walka o zwycięstwo. Robotyka pasjonuje nas, bo widzimy efekty działań naszych programów w prawdziwym świecie, a roboty latające, czyli drony są zwieńczeniem tej satysfakcji.
Karol Pieniący – doktorant na wydziale Matematyki Informatyki i Mechaniki Uniwersytetu Warszawskiego, lider zespołu badawczego „Algorytmy w autonomicznych UAV” w IDEAS NCBR. Ekspert od bezzałogowych systemów powietrznych, pracował jako konstruktor i konsultant przy każdym typie robotów: jeżdżących, kroczących, pływających na powierzchni wody i podwodnych, taśmach produkcyjnych, manipulatorach, samolotach i wielowirnikowcach z napędami elektrycznymi, spalinowymi i hybrydowymi. Założyciel zespołu Nomagic Warsaw MIMotaurs, którego kapitanem jest do dziś.
Zespół Nomagic Warsaw MIMotaurs powstał w 2019 r. na Wydziale Matematyki, Informatyki i Mechaniki UW. Bierze udział w międzynarodowych konkursach robotycznych, ukierunkowanych na podejmowanie innowacyjnych wyzwań w obszarach inteligentnych dronów oraz Artificial Intelligence. Należą do niego studenci, doktoranci, pracownicy i absolwenci UW. Drużyną kierują Karol Pieniący i Michał Niedziółka, a opiekunem naukowym jest dr hab. Marek Cygan, prof. UW. W 2019 r. w prestiżowym konkursie AlphaPilot organizowanym przez Lockheed Martin zespół stworzył czwartego najszybszego drona na świecie i drugie najlepsze rozwiązanie z zakresu uczenia maszynowego. IDEAS NCBR jest jednym z partnerów drużyny.
Dowiedz się więcej o konkursie MBZIRC