Адрес e-mail:
Прошедшие события
Семинар: «Выбор обратной связи в системах управления как задача оптимизации»
Константин Виноградов: «Как работают венчурные фонды и почему стоит строить глобальный бизнес с первого дня»
Интеллектуальная игра Genium Challenge с Максимом Поташёвым
Цифровая ярмарка вакансий МФТИ
Михаил Бурцев: «Разговорный искусственный интеллект»
Всероссийская конференция «Преподавание ИТ в России»: обучение студентов в «новой реальности»
Презентация магистерской программы МФТИ и МБИ имени Анатолия Собчака «Технологическое лидерство»
Перспективы российской и мировой экономики: Сергей Гуриев отвечает на вопросы физтехов
Презентация кафедры теоретической и прикладной информатики
Вебинар «Использование библиотеки TopicNet для тематического моделирования»
Онлайн-конференция «Технологии поствирусного мира»
Онлайн-конференция «Нас слышат, видят, реагируют: куда движутся технологии?»
Huawei и МФТИ открывают набор на магистерскую программу в области сетей 5G
Открыта регистрация на финальный онлайн-чемпионат по спортивному программированию RuCode
Вебинар: Что делают в Computer Vision и как этому научиться
Дистанционный день открытых дверей МФТИ: Физтех-школы и ИНБИКСТ будут представлены онлайн
Час в невесомости с космонавтом Александром Калери
Вебинар «Искусственный интеллект в вопросах и ответах»
Как поступить в магистратуру и аспирантуру кафедры Российского квантового центра: вебинар
Дни комбинаторики и геометрии II. Онлайн-конференция

Бисваруп Дас: «Какой ширины сети достаточно для нахождения глобального минимума методом градиентного спуска?»

опубликовано: 09.12.2019
Бисваруп Дас: «Какой ширины сети достаточно для нахождения глобального минимума методом градиентного спуска?»

17 декабря в 13:00 5.22 Физтех.Цифры Бисваруп Дас и Евгений Голиков расскажут, можно ли обучить нейронную сеть, используя метод градиентного спуска. 

Бисваруп Дас — сотрудник лаборатории продвинутой комбинаторики и сетевых приложений МФТИ. Занимает должность постдока в отделении математических исследований Университета Оулу (Финляндия). Евгений Голиков — младший разработчик-исследователь лаборатории нейронных систем и глубокого обучения МФТИ. Ведет исследования в области байесовских методов в машинном обучении и теории глубокого обучения. 

Тема лекции: «Quadratic number of nodes is sufficient to learn a dataset via gradient descent»

Аннотация: 

Modern neural networks are typically trained with gradient descent. Gradient descent is a local search method that attempts to find a local minima of a loss function. However, as we observe in practice, gradient descent succeeds to find not only local, but also global minima, for problems typically solved by modern neural nets.

We make a step towards understanding this phenomenon. We consider training a two-layer neural network with gradient descent for l_2 regression problem. We consider the case when only the input layer is trained and activation function is analytic. We prove that if the number of hidden nodes exceeds some threshold that grows quadratically with number of training points, gradient descent converges to a global minima in linear time. Our result is an improvement over previous ones.

Лекция пройдет на английском языке. Приглашаем всех желающих на мероприятие. Вход для студентов и сотрудников Физтеха свободный. При отсутствии пропуска МФТИ просим направить до 16 декабря на почту shelekhina@ipavlov.ai ФИО для регистрации, а также взять с собой паспорт в день мероприятия. 


Если вы заметили в тексте ошибку, выделите её и нажмите Ctrl+Enter.

© 2001-2020 Московский физико-технический институт (национальный исследовательский университет)

Противодействие коррупции | Сведения о доходах

Политика обработки персональных данных МФТИ

Техподдержка сайта | API

Использование новостных материалов сайта возможно только при наличии активной ссылки на https://mipt.ru

МФТИ в социальных сетях