Адрес e-mail:

Команда МФТИ заняла первое место в соревновании чат-ботов на конференции NIPS

4–9 декабря в городе Лонг-Бич (Калифорния) состоялась крупнейшая конференция по машинному обучению NIPS, в которой приняли участие сотрудники лаборатории нейронных сетей и глубокого обучения МФТИ: Михаил Бурцев, Валентин Малых, Максим Кретов, Марат Зайнутдинов, Варвара Логачева и Ольга Кайрова.


Помимо двух выступлений на постерных сессиях, сотрудники лаборатории стали организаторами Conversational Intelligence Challenge (ConvAI.io) — одного из пяти соревнований, отобранных для проведения в рамках конференции. МФТИ на соревновании был представлен аспирантами Юрием Куратовым и Идрисом Юсуповым. Эта команда стала победителем, разделив первое место и приз в $10.000 с командой из университета Вроцлава (Польша). Всего в состязании приняли участие 10 команд, из них 6 были допущены к финальному этапу.


Как отмечают сотрудники лаборатории, соревнования как ещё один формат обмена опытом в последнее время широко распространились в научном сообществе наряду с традиционными конференциями и публикациями в научных журналах. «Такие состязания служат для того, чтобы в контролируемых условиях выяснить, какой подход эффективнее всего применять к той или иной проблеме. Участники решают задачу в рамках заранее поставленных ограничений (например, на количество данных и прочих ресурсов, которыми можно пользоваться), а затем подводят итоги, сравнивая использованные стратегии», — рассказывает заведующий лабораторией и глава оргкомитета соревнования Михаил Бурцев.


Соревнование ConvAI.io связано с основной темой исследований лаборатории — созданием диалоговых систем. Фокус соревнования был направлен на одну из разновидностей диалоговых систем — чатботов, чья цель — поддерживать осмысленную беседу с пользователем. Соревнование The Conversational Intelligence Challenge, помимо определения лучшего чат-бота, преследовало несколько целей: выяснить, какие методы лучше использовать для сравнения ботов, а также собрать данные (диалоги пользователей с ботами) для обучения новых диалоговых систем.


В рамках состязания чат-боты команд-участниц должны были беседовать с пользователями, которые затем оценивали качество этих бесед. Соревнование проводилось в два этапа. Летом с системами разговаривали участники хакатона, организованного лабораторией. Финальный этап был проведён на конференции NIPS, где чат-боты были протестированы научным сообществом. Всего боты провели около 3500 диалогов, из них примерно 400 были оценены пользователями как осмысленные.


Михаил Бурцев рассказал, что в целом доволен результатом: «Это очень важное событие для нашей лаборатории и для исследований в области диалоговых систем. Сейчас ещё не очень понятно, как и по каким параметрам вообще оценивать ботов. Соревнование немного приблизило нас к пониманию. Конечно, у нас получилось не все, что мы задумали, но мы сможем применить извлеченные уроки на следующем соревновании чатботов. Кроме того, мы смогли привлечь внимание коллег по всему миру к нашему соревнованию».


В другом соревновании, также проводившемся в рамках конференции, призёром стала команда, в составе которой выступал студент шестого курса Факультета инноваций и высоких технологий МФТИ Сергей Колесников. Совместно со своим напарником Михаилом Павловым ему удалось занять третье место в состязании под названием Learning to Run. Целью соревнования было разработать контроллер, позволяющий костно-мышечной модели человека максимально точно и быстро преодолеть путь в среде моделирования.


Международная конференция по машинному обучению NIPS проводится с 1989 года. Конференции присвоен высший рейтинг A* по международному классификатору CORE (ассоциация департаментов информатики Австралии и Новой Зеландии, которая проводит оценку крупных конференций в области Computer Science). Именно на NIPS последние годы публикуются прорывные работы в области машинного обучения.


Если вы заметили в тексте ошибку, выделите её и нажмите Ctrl+Enter.

МФТИ в социальных сетях

soc-vk soc-ig soc-fb soc-tw soc-li soc-li soc-yt
Яндекс.Метрика