Одним из главных принципов уникальной «системы Физтеха», заложенной в основу образования в МФТИ, является тщательный отбор одаренных и склонных к творческой работе представителей молодежи. Абитуриентами Физтеха становятся самые талантливые и высокообразованные выпускники школ всей России и десятков стран мира.

Студенческая жизнь в МФТИ насыщенна и разнообразна. Студенты активно совмещают учебную деятельность с занятиями спортом, участием в культурно-массовых мероприятиях, а также их организации. Администрация института всячески поддерживает инициативу и заботится о благополучии студентов. Так, ведется непрерывная работа по расширению студенческого городка и улучшению быта студентов.

Адрес e-mail:

Теория информации: программа курса

Комбинаторный подход к понятию информации. Определение количества информации в конечном объекте.
Задачи оптимального поиска.
Задача об идеальном разделении секрета.
Вероятностный подход к понятию информации. Энтропия Шеннона: определение и основные свойства. Неравенство Крафта. Использование стохастических закономерностей для сжатия данных: код Шеннона–Фано, код Хаффмана, арифметический код. Теоремы кодирования для каналов без шума. Сети с несколькими источниками и получателями информации. Коды, исправляющие ошибки. Комбинаторные модели канала с шумом. Простейшие верхние и нижние оценки на избыточность кода. Классические коды, исправляющие ошибки: коды Хэмминга, Адамара, Рида–Соломона. Каскадные коды. Вероятностные модели канала с шумом, теорема Шеннона о кодировании для канала с шумом. Алгоритмический подход к понятию информации. Колмогоровская сложность слов. Теорема Колмогорова–Левина о симметрии взаимной информации. Монотонная сложность, префиксная сложность. Случайность по Мартин-Лёфу. Связь алгоритмической меры информации с комбинаторным и вероятностным подходами. Коммуникационная сложность. Основные модели теории коммуникационной сложности. Примеры верхних и нижних оценок для детерминированной коммуникационной сложности. Вероятностная коммуникационная модель, протокол Яо. Протоколы с общим и индивидуальными источниками случайности. Коммуникационная сложность с ограниченным числом раундов. Некоторые применения теории информации. Сжатие данных без потерь: алгоритмы Зива–Лемпеля; сжатие потока данных с помощью статистического предсказания. Сжатие с потерями и принцип кратчайшего описания (MDL). Коды Галлагера.

Литература

Р. Галлагер. Теория информации и надежная связь, 1974. T.M. Cover, J.A. Thomas. Elements of information Theory, 2006. И. Чисар, Я. Кернер. Теория информации, 1985. R.W. Yeung. A First Course in Information Theory, 2002. Ф.Дж.А. Мак-Вильямс, Н.Дж.А. Слоэн. Теория кодов, исправляющих ошибки, 1979. E. Nisan, N. Kushilevitz. Communication complexity, 1997. M. Li, P. Vitanyi. Kolmogorov complexity and applications, 2008.
Если вы заметили в тексте ошибку, выделите её и нажмите Ctrl+Enter.

© 2001-2016 Московский физико-технический институт
(государственный университет)

Техподдержка сайта

МФТИ в социальных сетях

soc-vk soc-fb soc-tw soc-li soc-li
Яндекс.Метрика