Адрес e-mail:
Прошедшие события
Семинар по проектированию нового технологического продукта
Введение в научное программирование на языке Kotlin
На общефизическом научном семинаре расскажут о регистрации гравитационных волн
#росмолгрант: реализуй задуманное! В МФТИ пройдет лекция от представителей и экспертов Росмолодежи
Открыт набор на курс по основам бизнес-деятельности от кафедры инновационной фармацевтики
В Московском корпусе МФТИ пройдет «Зимняя школа — 2020»
Курс «Введение в финансовый анализ»
Лаборатория нейронных систем и глубокого обучения МФТИ запускает курс «Продвинутые темы в обучении с подкреплением»
Деловой клуб МФТИ приглашает на встречи, посвященные проектному управлению и эффективности риск-менеджмента
Курс Deep Learning in NLP от лаборатории нейронных систем и глубокого обучения МФТИ
Собрание научно-педагогических работников МФТИ
Факультативный курс «Практические методы возрастной психологии» для студентов Физтеха
Международная научная конференция «Численное моделирование в механике сплошных сред» в МФТИ
Международная конференция по графам, сетям и их приложениям пройдет в МФТИ
Как продавать бизнес-идеи и собрать успешную команду: в Москве пройдет Студенческий фестиваль предпринимательства
День СИБИНТЕК в МФТИ
Новый научный семинар AI будет посвящен нейронным сетям
На Физтехе пройдет курс лекций по теоретической физике от профессора Максима Забзина
В московском офисе Яндекса обсудят работы, представленные на NeurIPS-2019
Онлайн-занятия для школьников от «Фоксфорда»

Бисваруп Дас: «Какой ширины сети достаточно для нахождения глобального минимума методом градиентного спуска?»

опубликовано: 09.12.2019
Бисваруп Дас: «Какой ширины сети достаточно для нахождения глобального минимума методом градиентного спуска?»

17 декабря в 13:00 5.22 Физтех.Цифры Бисваруп Дас и Евгений Голиков расскажут, можно ли обучить нейронную сеть, используя метод градиентного спуска. 

Бисваруп Дас — сотрудник лаборатории продвинутой комбинаторики и сетевых приложений МФТИ. Занимает должность постдока в отделении математических исследований Университета Оулу (Финляндия). Евгений Голиков — младший разработчик-исследователь лаборатории нейронных систем и глубокого обучения МФТИ. Ведет исследования в области байесовских методов в машинном обучении и теории глубокого обучения. 

Тема лекции: «Quadratic number of nodes is sufficient to learn a dataset via gradient descent»

Аннотация: 

Modern neural networks are typically trained with gradient descent. Gradient descent is a local search method that attempts to find a local minima of a loss function. However, as we observe in practice, gradient descent succeeds to find not only local, but also global minima, for problems typically solved by modern neural nets.

We make a step towards understanding this phenomenon. We consider training a two-layer neural network with gradient descent for l_2 regression problem. We consider the case when only the input layer is trained and activation function is analytic. We prove that if the number of hidden nodes exceeds some threshold that grows quadratically with number of training points, gradient descent converges to a global minima in linear time. Our result is an improvement over previous ones.

Лекция пройдет на английском языке. Приглашаем всех желающих на мероприятие. Вход для студентов и сотрудников Физтеха свободный. При отсутствии пропуска МФТИ просим направить до 16 декабря на почту shelekhina@ipavlov.ai ФИО для регистрации, а также взять с собой паспорт в день мероприятия. 


Если вы заметили в тексте ошибку, выделите её и нажмите Ctrl+Enter.

© 2001-2020 Московский физико-технический институт (национальный исследовательский университет)

Противодействие коррупции | Сведения о доходах

Политика обработки персональных данных МФТИ

Техподдержка сайта | API

Использование новостных материалов сайта возможно только при наличии активной ссылки на https://mipt.ru

МФТИ в социальных сетях