Jak było na ICML 2024?

– Na konferencji pojawiła się nowa ścieżka, position track, przeznaczona dla artykułów, które mówią o punktach widzenia lub trendach w obszarze uczenia maszynowego, a nie prezentują nowych wyników badań. W ramach ICML 2024 odbyło się wiele wydarzeń, które umożliwiły nawiązanie kontaktów. W tym roku na ICML wpłynęły 9 473 zgłoszenia (nie licząc prac odrzuconych przed recenzją), co stanowi wzrost o 44% w porównaniu z rokiem ubiegłym. Spośród nich do prezentacji na konferencji przyjęto 2609 zgłoszeń, co dało współczynnik akceptacji na poziomie 27,5% – mówi Kamil Adamczewski.

Kamil Adamczewski / Michał Krutul, Sebastian Jaszczur, Jakub Krajewski, Jan Ludziejewski, Kamil Adamczewski (wszyscy z IDEAS NCBR)

– Biorąc pod uwagę prace prezentowane na ICML, możemy wyróżnić kilka trendów. LLM-y są najpopularniejszym kierunkiem badań. O ile budowanie większych modeli daje lepsze wyniki (jak przedstawiliśmy w naszym artykule „Scaling Laws for Fine-Grained Mixture of Experts”), coraz większy nacisk kładzie się na budowanie małych, dobrze działających i wydajnych modeli – dodaje Kamil Adamczewski.

– To był mój drugi pobyt na jednej z najważniejszych konferencji ML i po raz kolejny nie zawiodłem się. Chociaż większość zaprezentowanych badań dotyczyła kształcenia LLM-ów i uczenia się przez wzmacnianie, co nieco wykracza poza moją specjalizację, to i tak znalazłem wiele nowych interesujących artykułów z mojego własnego obszaru badań i miałem okazję nawiązać kontakt z ich autorami – mówi Marcin Przewięźlikowski.

– Mogliśmy wysłuchać wykładów ekspertów takich jak Chelsea Finn, która w ekscytujący sposób zarysowała kierunki rozwoju wydajnego i ucieleśnionego [czyli zastosowanego np. w robotach – red.] uczenia maszynowego, czegoś, co jest bardzo bliskie moim zainteresowaniom badawczym. Z kolei Lucilla Sioli, dyrektor Komisji Europejskiej ds. sztucznej inteligencji i przemysłu cyfrowego, przedstawiła w swoim wykładzie wizję rozwoju sztucznej inteligencji w Europie – dodaje Marcin.

Bartłomiej Cupiał (IDEAS NCBR) / Aleksandra Nowak (dawniej w IDEAS NCBR), Łukasz Gniecki, Filip Szatkowski (IDEAS NCBR)