Адрес e-mail:
Прошедшие события
Как поступить в магистратуру и аспирантуру кафедры Российского квантового центра: вебинар
Дни комбинаторики и геометрии II. Онлайн-конференция
Онлайн-лекция о профессиях будущего в сфере ИТ
Центр когнитивного моделирования МФТИ: все о поступлении
Онлайн-презентация кафедр ABBYY в МФТИ
Вебинар для студентов в рамках акции #Решаем2020
Алексей Савватеев: «Ферма, Эйлер, Гаусс: арифметическое наследие»
Мастер-класс «Project management в разработке и выводе лекарственных препаратов на рынок»
В МФТИ стартует курс по объектно-ориентированному программированию
Phystech.Talks с Михаилом Кучментом
Курс «Дискретные интегрируемые системы и уравнения Пенлеве»
Церемония открытия образовательного проекта «Инженер 4.0»
Студентов и сотрудников МФТИ приглашают принять участие во Всероссийском конкурсе молодежных проектов Росмолодежи
На Физтехе пройдет лекция Дмитрия Казакова о загадках физики микромира
Семинар «Топологическая рекурсия: сегодня и завтра»
Деловой клуб МФТИ проводит встречу «Интернет вещей — безопасность и интероперабельность»
Открытые лекции по обработке естественного языка
Онлайн-курс для погружения в спортивное программирование
МФТИ на выставке «Международное образование»
VK Lab Talks: искусственный интеллект и машинное обучение при поддержке ВКонтакте

Бисваруп Дас: «Какой ширины сети достаточно для нахождения глобального минимума методом градиентного спуска?»

опубликовано: 09.12.2019
Бисваруп Дас: «Какой ширины сети достаточно для нахождения глобального минимума методом градиентного спуска?»

17 декабря в 13:00 5.22 Физтех.Цифры Бисваруп Дас и Евгений Голиков расскажут, можно ли обучить нейронную сеть, используя метод градиентного спуска. 

Бисваруп Дас — сотрудник лаборатории продвинутой комбинаторики и сетевых приложений МФТИ. Занимает должность постдока в отделении математических исследований Университета Оулу (Финляндия). Евгений Голиков — младший разработчик-исследователь лаборатории нейронных систем и глубокого обучения МФТИ. Ведет исследования в области байесовских методов в машинном обучении и теории глубокого обучения. 

Тема лекции: «Quadratic number of nodes is sufficient to learn a dataset via gradient descent»

Аннотация: 

Modern neural networks are typically trained with gradient descent. Gradient descent is a local search method that attempts to find a local minima of a loss function. However, as we observe in practice, gradient descent succeeds to find not only local, but also global minima, for problems typically solved by modern neural nets.

We make a step towards understanding this phenomenon. We consider training a two-layer neural network with gradient descent for l_2 regression problem. We consider the case when only the input layer is trained and activation function is analytic. We prove that if the number of hidden nodes exceeds some threshold that grows quadratically with number of training points, gradient descent converges to a global minima in linear time. Our result is an improvement over previous ones.

Лекция пройдет на английском языке. Приглашаем всех желающих на мероприятие. Вход для студентов и сотрудников Физтеха свободный. При отсутствии пропуска МФТИ просим направить до 16 декабря на почту shelekhina@ipavlov.ai ФИО для регистрации, а также взять с собой паспорт в день мероприятия. 


Если вы заметили в тексте ошибку, выделите её и нажмите Ctrl+Enter.

© 2001-2020 Московский физико-технический институт (национальный исследовательский университет)

Противодействие коррупции | Сведения о доходах

Политика обработки персональных данных МФТИ

Техподдержка сайта | API

Использование новостных материалов сайта возможно только при наличии активной ссылки на https://mipt.ru

МФТИ в социальных сетях