Адрес e-mail:
Прошедшие события
На Физтехе пройдет курс лекций по теоретической физике от профессора Максима Забзина
В московском офисе Яндекса обсудят работы, представленные на NeurIPS-2019
Онлайн-занятия для школьников от «Фоксфорда»
Новогодняя акция «Сотрудничество без границ»
Анатолий Нейштадт: «О КАМ-теории»
Открытый научный семинар AI: «Актуальные постановки задач Computer Vision»
Хакатон для участников научно-исследовательских каникул ЦТПО МФТИ
Деловой клуб МФТИ приглашает на встречу: «Особенности национального Интернета вещей»
Demo Day бизнес-акселератора Физтех.Старт
Студенческая математическая олимпиада МФТИ
Бисваруп Дас: «Какой ширины сети достаточно для нахождения глобального минимума методом градиентного спуска?»
Конференция по клеточным технологиям CTERP 2020
Вадим Смелянский: «Достижение квантового превосходства при помощи программируемого сверхпроводникового процессора»
Презентация федерального проекта «Дни Дальнего Востока в Москве»
Лекция Галины Базилевской о высыпаниях энергичных электронов из внешнего радиационного пояса Земли
На семинаре по AI обсудят тематическое моделирование
Конференция по математике «Алгебра, геометрия и квантование»
Алла Карпова проведет семинар по нейробиологии
5-я Международная конференция «Квазилинейные уравнения, обратные задачи и их приложения» пройдет в МФТИ
Андрей Лобанов: «Черные дыры: погоня за тенью»

Бисваруп Дас: «Какой ширины сети достаточно для нахождения глобального минимума методом градиентного спуска?»

опубликовано: 09.12.2019
Бисваруп Дас: «Какой ширины сети достаточно для нахождения глобального минимума методом градиентного спуска?»

17 декабря в 13:00 5.22 Физтех.Цифры Бисваруп Дас и Евгений Голиков расскажут, можно ли обучить нейронную сеть, используя метод градиентного спуска. 

Бисваруп Дас — сотрудник лаборатории продвинутой комбинаторики и сетевых приложений МФТИ. Занимает должность постдока в отделении математических исследований Университета Оулу (Финляндия). Евгений Голиков — младший разработчик-исследователь лаборатории нейронных систем и глубокого обучения МФТИ. Ведет исследования в области байесовских методов в машинном обучении и теории глубокого обучения. 

Тема лекции: «Quadratic number of nodes is sufficient to learn a dataset via gradient descent»

Аннотация: 

Modern neural networks are typically trained with gradient descent. Gradient descent is a local search method that attempts to find a local minima of a loss function. However, as we observe in practice, gradient descent succeeds to find not only local, but also global minima, for problems typically solved by modern neural nets.

We make a step towards understanding this phenomenon. We consider training a two-layer neural network with gradient descent for l_2 regression problem. We consider the case when only the input layer is trained and activation function is analytic. We prove that if the number of hidden nodes exceeds some threshold that grows quadratically with number of training points, gradient descent converges to a global minima in linear time. Our result is an improvement over previous ones.

Лекция пройдет на английском языке. Приглашаем всех желающих на мероприятие. Вход для студентов и сотрудников Физтеха свободный. При отсутствии пропуска МФТИ просим направить до 16 декабря на почту shelekhina@ipavlov.ai ФИО для регистрации, а также взять с собой паспорт в день мероприятия. 


Если вы заметили в тексте ошибку, выделите её и нажмите Ctrl+Enter.

МФТИ в социальных сетях