Адрес e-mail:

Молодые ученые новой лаборатории ФПМИ на переднем крае науки

В начале декабря в Новом Орлеане прошло одно из самых значимых событий в сфере машинного обучения и искусственного интеллекта — Конференция NeurIPS (Conference and Workshop on Neural Information Processing Systems).

Сотрудники ведущих компаний и исследовательских центров в области искусственного интеллекта собрались, чтобы обсудить возможные решения актуальных проблем академического мира и определить тренды будущего развития технологии искусственного интеллекта. В этом году на конференцию принято всего 2672 доклада. Из них 11 — авторства команды талантливых ученых новой лаборатории Математических методов оптимизации.

Один из самых активных сотрудников лаборатории — Александр Безносиков, младший научный сотрудник лаборатории продвинутой комбинаторики и сетевых приложений ФПМИ. Александр окончил магистратуру «Интеллектуальный анализ данных» и поступил в аспирантуру (h index 17, h-10 index 21). Он автор 4 статей. И он не просто написал большую часть этих статей, но и был автором самой идеи для каждой статьи. На момент написания материала Александр обучался на 6 курсе Физтех-школы прикладной математики и информатики. Кажется, это рекорд, и до сих пор ни один студент ни одного Российского вуза не может похвастаться такой производительностью!

Методы оптимизации имеют довольно большую историю исследований, но в последние годы к ним появился большой интерес. И связано это, прежде всего, с развитием машинного обучения. Особую роль стали играть распределенные алгоритмы, где вместо одного вычислительного устройства используется несколько. С помощью такого подхода можно значительно ускорить процесс обучения популярных и самых новых моделей на огромных датасетах. Ключевым отличием от нераспределённых алгоритмов является процесс организации эффективных коммуникаций. Это связано с тем, что часто в распределенных алгоритмах большая часть времени работы уходит именно на общение устройств между собой, а не на полезные для решения задачи вычисления.

Все работы Александра и всей команды лаборатории ММО посвящены как раз распределенным алгоритмам, различным подходам к вопросу эффективности их работы. Расскажем о последних научных достижениях немного подробнее: 

Optimal Gradient Sliding and its Application to Distributed Optimization Under Similarity

Авторы: Dmitry Kovalev, Aleksandr Beznosikov, Ekaterina Borodich, Alexander Gasnikov, Gesualdo Scutari

В данной работе рассматривается популярная постановка задачи распределенного обучения, когда данные на локальных вычислительных устройствах являются похожим. Оказывается, что в таком случае процесс работы алгоритма может быть значительно ускорен за счет уменьшения числа коммуникаций. Почти 10 лет назад были доказаны оценки сходимости распределенных алгоритмов — ориентир, к которому нужно стремиться. Различные авторы, в том числе и очень именитые, подступались к этой задаче, но оптимального алгоритма так и не получили. В докладе представлен алгоритм, который является оптимальным как с точки зрения коммуникационной сложности, так и с точки зрения локальных вычислений.

Optimal Algorithms for Decentralized Stochastic Variational Inequalities

Авторы: Dmitry Kovalev, Aleksandr Beznosikov, Abdurakhmon Sadiev, Michael Persiianov, Peter Richtárik, Alexander Gasnikov

Здесь рассматривается более широкий класс задач — вариационные неравенства, с помощью которых можно описать и седловые задачи, и задачи поиска стационарной точки. Для такого класса задач разрабатываются распределенные алгоритмы решения на децентрализованной архитектуре связи между вычислительными устройствами. В этом случае устройства соединены между собой в некоторый граф и могут общаться только с соседями. При этом учитывается случай, когда граф может значительно меняться в ходе работы алгоритма. Например, из-за сбоев сети.

В последние несколько лет появились модные направления распределенного обучения, такие как коллаборативное и федеративное. Суть этих направлений заключается в том, что вычислительными устройствами являются пользовательские девайсы: ноутбуки, планшеты, телефоны. А данными, на которых обучается модель, — локальные данные пользователей. Отсюда возникает еще больше дополнительных важных аспектов распределенных алгоритмов: приватность данных, персонализация результата под каждого пользователя, эффективные коммуникации в условиях плохого соединения локальных вычислителей.

Distributed Methods with Compressed Communication for Solving Variational Inequalities, with Theoretical Guarantees

Авторы: Aleksandr Beznosikov, Peter Richtárik, Michael Diskin, Max Ryabinin, Alexander Gasnikov

В этой работе продолжают рассматриваться задачи вариационного неравенства. Только теперь суть подхода в сжатии передаваемой информации для более эффективного процесса общения между устройствами. Рассматриваются как так называемые «несмещённые/случайные», так и «смещенные/жадные» операторы сжатия информации. Полученные алгоритмы превосходят все методы-конкуренты.

Decentralized Local Stochastic Extra-Gradient for Variational Inequalities

Авторы: Aleksandr Beznosikov, Pavel Dvurechensky, Anastasia Koloskova, Valentin Samokhin, Sebastian U Stich, Alexander Gasnikov

Последняя статья тоже про вариационные неравенства и децентрализованные алгоритмы для них, но рассматривает метод, который способен работать в критических ситуациях, в духе полного разрыва всех коммуникационных соединений между устройствами. Оказывается, и в таком случае можно дать некоторые гарантии работы алгоритмов и получения приемлемого результата.

NeurIPS — это в первую очередь возможность для людей из области data science следить за последними научными достижениями и результатами исследований. А команда нашей новой лаборатории — это гордость Школы! Коллектив, который занимается действительно важными и актуальными научными проблемами, которые уже востребованы в реальном мире.

У студентов ФПМИ всегда есть возможность присоединиться к научным исследованиями лаборатории. Наука — это невероятно интересно!

ID
CODE
NAME
PREVIEW_TEXT
PREVIEW_PICTURE
DETAIL_TEXT
DETAIL_PICTURE
DATE_ACTIVE_FROM
ACTIVE_FROM
IBLOCK_ID
IS_STANDOUT
/Список спецкурсов и семинаров Научно-образовательного центра при МИАН на осенний семестр 2022/2023
/Спецкурсы и факультативы для студентов ФПМИ на осенний семестр 2022 г.
/В образовательном центре «Сириус» прошла международная конференция QIPA-2022
/Курсы искусственного интеллекта от Школы глубокого обучения: новые возможности
/В Костромской области прошла летняя школа Комбалг-2022
/ФПМИ открывает новые возможности для научных исследований в решении задач оптимизации
/Сотрудники Центра когнитивного моделирования ФПМИ МФТИ выступили на международной конференции ACAI-2022
/Студенты ФПМИ встретились с участниками Южного математического турнира
/В Президентском физико-математическом лицее № 239 г. Санкт-Петербурга прошла презентация вузов с участием ФПМИ
/С 17 по 21 октября 2022 г. пройдет международная научно-техническая конференция «Нейроинформатика-2022» при поддержке ФПМИ
/Призовое место на хакатоне «Цифровой Прорыв: Сезон ИИ»
/Физтех-школа прикладной математики и информатики стала соорганизатором всероссийской контрольной «Выходи решать!»
/Новой базовой организацией кафедры Теоретической и прикладной информатики стала компания «Киберпротект»
/Талантливые ребята получили возможность учиться на ФПМИ благодаря выпускникам и друзьям Физтеха
/Студентка первого курса ФПМИ заняла первое место в Европейской олимпиаде для девушек по информатике
/ФПМИ и Физтех-лицей им. П.Л. Капицы расширяют горизонты сотрудничества
/Студенты ФПМИ и руководство РЭШ обсудили детали образовательного процесса на новом треке «Анализ данных в экономике»
/Студент магистратуры ФПМИ стал лауреатом конкурса «Студенческий стартап»
/Эксперты Школы глубокого обучения ФПМИ совместно с Академией искусственного интеллекта разработали онлайн-курс по машинному обучению для школьников
/ФПМИ будет развивать направление искусственного интеллекта совместно с правительством Москвы
/Молодые ученые новой лаборатории ФПМИ на переднем крае науки
/Молодые ученые ФПМИ создают отечественный пакет оптимизации городских транспортных потоков
/ФПМИ укрепляет сотрудничество со школами Ярославской области
/Спецкурсы и факультативы для студентов ФПМИ на весенний семестр 2023 г.
/Список спецкурсов и семинаров Научно-образовательного центра при МИАН на весенний семестр 2022/2023
Если вы заметили в тексте ошибку, выделите её и нажмите Ctrl+Enter.

© 2001-2023 Московский физико-технический институт (национальный исследовательский университет)

Противодействие коррупции | Сведения о доходах

Антитеррористическая безопасность

Политика обработки персональных данных МФТИ

Техподдержка сайта | API

Использование новостных материалов сайта возможно только при наличии активной ссылки на https://mipt.ru

МФТИ в социальных сетях