Адрес e-mail:
Прошедшие события
Общефизический научный семинар состоится 23 сентября
Лекция о моделировании заболеваний ЦНС на рыбках данио-рерио
Панельная онлайн-дискуссия на тему «Новая волна. Акселерация будущего»
Онлайн-собрание ректората и студенческого актива института
AI 2020: технологии, рынок и управление продуктами
Родительское собрание в МФТИ
Летняя онлайн-школа «Всероссийский навигатор абитуриентов МФТИ»
Фазли Атауллаханов: «Физика свертывания крови и COVID-19»
Юрий Яровиков: «Какая математика нужна в анализе данных?»
Михаил Бурцев — об экспериментах с Memory Transformer
Даниил Поляков: «Мощь Python на все случаи жизни»
Презентация магистерской программы «Биоинформатика» ФБМФ и Napoleon IT
Александр Львовский: «Квантовая революция как мировой технологический тренд»
Выпускной МФТИ 2020: онлайн-формат не отменяет праздник
Директор ФИАН Николай Колачевский: «Наука и технологии: путь в лидерство»
Онлайн-презентация кафедры космической физики ЛФИ
Сессия вопросов-ответов с биоинформатиком Антоном Буздиным
Презентация магистерской программы «Физика сверхпроводимости и квантовых материалов»
Презентация магистерской программы «Двумерные материалы: физика и технология наноструктур»
Презентация магистерской программы «Цифровые технологии в бизнесе»

Михаил Бурцев — об экспериментах с Memory Transformer

опубликовано: 21.07.2020
Михаил Бурцев — об экспериментах с Memory Transformer

23 июля в 18:00 руководитель лаборатории нейронных сетей и глубокого обучения МФТИ Михаил Бурцев проведет семинар, на котором расскажет про эксперименты с Memory Transformer. Ссылка на трансляцию в zoom будет доступна в группе лаборатории на fb.

Transformer — архитектура, которая использует механизм внимания для повышения скорости обучения. Она может достигать state-of-art результатов во многих задачах обработки естественного языка. Архитектура позволяет объединять информацию всех элементов последовательности в контекстно-зависимые представления. Однако механизм внимания серьезно мешает масштабированию модели для больших последовательностей. Улучшать Transformer-модели можно за счет добавления обучаемой памяти для выборочного хранения как локальных, так и глобальных представлений последовательности. 

На семинаре Михаил расскажет про два расширения модели Transformer: с добавлением токенов памяти для хранения нелокальных представлений и с созданием узкого места в памяти для хранения глобальной информации.

Полный текст работы — по ссылке. Семинар пройдет на английском языке. 


Если вы заметили в тексте ошибку, выделите её и нажмите Ctrl+Enter.

© 2001-2020 Московский физико-технический институт (национальный исследовательский университет)

Противодействие коррупции | Сведения о доходах

Политика обработки персональных данных МФТИ

Техподдержка сайта | API

Использование новостных материалов сайта возможно только при наличии активной ссылки на https://mipt.ru

МФТИ в социальных сетях