Адрес e-mail:

Статьи Эдуарда Горбунова приняты на NeurIPS

NeurIPS — это одна из самых крупных и престижных конференций по машинному обучению и связанной с ним математике. В этом году было подано 12115 работ: примерно 3000 из них были сразу же отклонены, 9467 дошли до стадии ревью. В итоге на конференцию прошло 1900 статей — это чуть больше 20%.

В этом году студент 1 курса аспирантуры Эдуард Горбунов подал на NeurIPS 2 работы: обе статьи были приняты! Темы работ:

Об Эдуарде:

Эдуард Горбунов —выдающийся молодой ученый, студент первого курса аспирантуры ФПМИ МФТИ. Закончил бакалавриат и магистратуру ФУПМ МФТИ. С 2017 года работает под руководством Александра Владимировича Гасникова.

Деятельность в настоящее время:

  • Младший научный сотрудник лаборатории продвинутой комбинаторики и сетевых приложений и лаборатории численных методов прикладной структурной оптимизации ФПМИ.
  • Исследователь в лаборатории фундаментальных исследований МФТИ-Яндекс, а также в международной лаборатории стохастических алгоритмов и анализа данных ВШЭ.

Эдуард занимается преподавательской деятельностью и читает лекции по курсу «Оптимизация в машинном обучении» вместе с Александром Владимировичем Гасниковым, Мариной Даниловой, Александром Масловским и Александром Рогозиным на кафедре вычислительной физики МФТИ и кафедре математических основ управления.

До этого читал похожий курс в Академии больших данных MADE Mail.ru и вёл семинары по теории вероятностей и алгоритмам и моделям вычислений в МФТИ. Является одним из организаторов Общероссийского семинара по оптимизации, который проходит онлайн.

Основные достижения:

  • В 2019-м году выиграл премию имени Ильи Сегаловича от Яндекса.
  • Соавтор 17 работ, среди которых есть опубликованные на конференциях NeurIPS, ICLR, AISTATS, а также в журналах SIOPT и EJOR.
  • Согласно Google.Scholar на данный момент:
    Количество цитирований: 211
    Индекс Хирша: 10

Больше информации можно найти на вебсайте Эдуарда.

Научные интересы и планы на будущее:

В научном плане меня в данный момент интересует распределённая, стохастическая и безградиентная оптимизация. Планирую защитить кандидатскую диссертацию в декабре 2021 года, а затем хотел бы поработать пару лет постдоком за рубежом для получения международного опыта. После этого хочу вернуться в Россию, получить здесь профессорскую позицию и создать свою исследовательскую группу/лабораторию, которая будет заниматься современными проблемами оптимизации.

Начинающим ученым Эдуард советует выбрать интересную для себя тему исследований, стараться следить за новыми статьями на arXiv.org, за исследованиями крупных учёных в этой области. Также очень важно учить английский.

Статьи на NeurIPS 2020

Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping

Авторы: Эдуард ГорбуновМарина Данилова и Александр Гасников.
Текст доступен на arXiv.

Один из главных результатов этой работы — первый в мире ускоренный стохастический метод, у которого оценки на скорость сходимости с большой вероятностью совпадают (с точностью до логарифмических множителей) с нижними оценками. При этом не требуется предполагать субгауссовости шума в стохастических градиентах. Данная задача долго оставалась нерешённой, причём не существовало нетривиальных результатов даже без так называемого ускорения. Предложенный нами метод может быть полезен в задачах, в которых возникает шум «с тяжёлыми хвостами», например при обучении BERT или ResNet (подробности см. в недавней работе).

Linearly Converging Error Compensated SGD

Авторы: Эдуард ГорбуновДмитрий Ковалёв, Дмитрий Макаренко (аспирант МФТИ), и Питер Рихтарик.
Текст доступен на arXiv.

В последнее время задачи распределённой оптимизации крайне популярны, в том числе в приложениях федеративного обучения. Одна из главных проблем в таких задачах — это суммарная стоимость коммуникаций между устройствами. Чтобы эту проблему решить, при коммуникациях часто передают сжатые сообщения. Соответственно, в нашей работе мы предложили общий подход для анализа стохастических методов оптимизации для задач распределённого обучения, в которых при коммуникациях передаются только сжатые сообщения и используется специальный приём, называемый компенсацией ошибки. На основе этого подхода мы предложили 16 новых методов, которые работают даже когда устройства передают информацию в сжатом виде, либо передают её с задержками. Кроме того, предложенный подход оказался достаточно общим, чтобы использовать его для анализа даже не распределённых стохастических методов оптимизации. Несмотря на такую общность анализа, для всех известных методов, которые покрывает наш подход, наша теория даёт точные оценки на скорость сходимости, которые в некоторых случаях даже улучшают существующие.

Недавно авторы выступили с докладом на Federated Learning One World Seminar по этой статье, предлагаем посмотреть запись.

ID
CODE
NAME
PREVIEW_TEXT
PREVIEW_PICTURE
DETAIL_TEXT
DETAIL_PICTURE
DATE_ACTIVE_FROM
ACTIVE_FROM
IBLOCK_ID
IS_STANDOUT
/Дистанционные дни открытых дверей в 2020 году
/ICPC 2020 World Finals Moscow: Day Zero состоялся в онлайн-формате
/Молодые ученые Физтеха — лауреаты научной премии имени Ильи Сегаловича от Яндекса
/ФПМИ открыт для всех и продолжает набор в магистратуру
/Летняя онлайн-школа «Комбинаторика и алгоритмы»
/Acronis и ФПМИ создают уникальные возможности для студентов младших курсов
/Набор на новые курсы ДПО в сфере анализа данных
/Собеседования для поступающих в бакалавриат ФПМИ
/Магистратура ФПМИ онлайн: индивидуальный подход к обучению студентов
/Списки рекомендованных к поступлению в бакалавриат ФПМИ
/Открыт набор на курс Школы глубокого обучения 2020
/Видео с концференции "Probabilistic Combinatorics Online 2020"
/ABBYY учредила научную стипендию
/Открыт набор исследователей VK Lab
/Российская сборная заняла второе место на ММО 2020
/Выступление А.М. Райгородского на дне открытых дверей лицея №239 в Санкт-Петербурге
/ФПМИ и УрФУ запускают новую ИТ-программу
/Открыт прием заявок на стажировку в Центр когнитивного моделирования
/31 октября - 2 ноября прошел осенний День Открытых Дверей МФТИ
/Московский отборочный этап чемпионата ICPC пройдет онлайн 15 ноября
/Статьи Эдуарда Горбунова приняты на NeurIPS
/Онлайн-курс по комбинаторике от лаборатории комбинаторных и геометрических структур начнется 17 ноября
/6 команд МФТИ квалифицировались в полуфинал чемпионата ICPC 2021
/Онлайн-конференция «IT-образование в современном мире»
/Олимпиада студентов "Я - профессионал"
/Выступление А.М. Райгородского в Лицее "Вторая школа"
/В этом году ФПМИ предоставила рекордное количество персональных грантов на обучение
Если вы заметили в тексте ошибку, выделите её и нажмите Ctrl+Enter.

© 2001-2020 Московский физико-технический институт (национальный исследовательский университет)

Противодействие коррупции | Сведения о доходах

Политика обработки персональных данных МФТИ

Техподдержка сайта | API

Использование новостных материалов сайта возможно только при наличии активной ссылки на https://mipt.ru

МФТИ в социальных сетях