Одним из главных принципов уникальной «системы Физтеха», заложенной в основу образования в МФТИ, является тщательный отбор одаренных и склонных к творческой работе представителей молодежи. Абитуриентами Физтеха становятся самые талантливые и высокообразованные выпускники школ всей России и десятков стран мира.

Студенческая жизнь в МФТИ насыщенна и разнообразна. Студенты активно совмещают учебную деятельность с занятиями спортом, участием в культурно-массовых мероприятиях, а также их организации. Администрация института всячески поддерживает инициативу и заботится о благополучии студентов. Так, ведется непрерывная работа по расширению студенческого городка и улучшению быта студентов.

Адрес e-mail:

Борьба со спамом: история и методы

Что такое спам?

Спам – это незаконно распространяемая путем массовых рассылок информация рекламного характера, получение которой не согласованно с пользователем. Про юридический аспект спама как явления можно прочитать на сайте apolog.ru

История спама

 

Дата рождения спама – 1 мая 1978 года. Автором, инициатором или зачинщиком, первооткрывателем (это уж как кому по душе) первой незаконной рассылки был отнюдь не какой-то самообучившийся в глухой американской деревне хакер, как можно было подумать, а самый что ни на есть рядовой, к сожалению так и не идентифицированный, сотрудник отдела маркетинга компании DEC, скрывший свою личность под псевдонимом Thuerk. Этот сотрудник в один прекрасный момент взял и разослал всем тогдашним пользователям Arpanet`а приглашение на презентацию DEC 2020 – так ничего не подозревавшие пользователи зачатков сети получили на свои головы первый спам . (При написании истории была использована статья « Незаконные рекламные рассылки старше Интернета»)

Борьба со спамом: часть № 1 – профилактика

Если у спамера нет адреса Вашей электронной почты – то и спама Вы не получите.

Компания FrontBridge сформулировала 10 советов о том, как сделать, чтобы на электронный почтовый ящик стала часто приходить нежелательная корреспонденция. "Вредные советы" расположены в порядке убывания их вредоносного эффекта. Чем больший номер у совета, тем меньше шансов, что его использование приведет к началу спам-атаки.

Поместить адрес электронной почты на хорошо посещаемый сайт. Написать письмо (или ответить на письмо) на сайт Usenet.com (на этом сайте можно скачать бесплатную музыку, фильмы и т.д.). Поместить пост или ответить на пост на популярном интернет-форуме. Зарегистрироваться или иным образом оставить свой адрес электронной почты на сайте фирмы, которая выходит из бизнеса и продает свою базу данных. Зарегистрироваться или иным образом оставить свой адрес электронной почты на сайте, который продает свои базы данных. Подписаться на порнорассылку. Ответить на несанкционированный e-mail. Дать простое имя своему адресу электронной почты. Например, director@сompania.com Зарегистрировать доменное имя. Указать свой адрес электронной почты в интернет-чате.

Впрочем, профессиональные спаммеры обычно используют более продвинутые способы получения адресов. Существуют особые "словарные" программы, которые генерируют десятки тысяч всевозможных комбинаций букв и цифр, содержащихся в почтовых адресах (например, director@kompania.com, director1@kompania.com, director2@kompania.com и т.д.). Активно используются также программы-роботы, которые "скачивают" адреса электронной почты с серверов. Однако, вероятно, самый дешевый и быстрый способ - покупка готовых адресов. В США можно купить 100 млн электронных адресов за 100 долларов. В России пакет из 100 тысяч электронных адресов стоит от 50 до 100 долларов.

Никогда не отвечайте на письма спамеров - тем самым вы даете им знать, что ваш адрес существует и поступающая туда почта просматривается. Если в их письме сказано, что вы можете исключить себя из листа, послав по определенному адресу команду "remove" – в большинстве случаев это ложь. Последовав такому совету, вы только подтвердите возможность использования вашего адреса для дальнейших рассылок.

При написании этого раздела были использованы статьи « Как стать жертвой спама. 10 лучших способов » и « Что такое "спам"? »

 

Борьба со спамом: часть № 2 – фильтры «черного списка»

Люди, которые недавно обзавелись новеньким адресом электронной почты, могут недоумевать: «А что здесь сложного? Удалил непрошеное письмо – и все!».  Не все так просто: в настоящее время количество несанкционированных рекламных рассылок (спама) составляет примерно 30% от общего объема писем, пересылаемых по электронной почте. Более того, уже в течение нескольких ближайших месяцев этот показатель может достигнуть 50%. Если объем корреспонденции составляет несколько десятков и более писем в день, ручное удаление становится проблематичным, поскольку даже на просмотр темы письма приходится затратить некоторое время. Итак, Вы тратите время, внимание, а иногда и деньги.

Становится понятной необходимость автоматизации данного процесса. Одним из самых простых и интуитивных методов борьбы со спамом является настройка фильтра приема почты, который бы распознавал нежелательную корреспонденцию и не помещал ее в почтовый ящик пользователя. Таким фильтром, например, является «черный список» на большинстве почтовых серверов, который позволяет запоминать адреса, с которых приходит спам, и блокирует их. Подобный метод не очень эффективен, поскольку завести новый адрес для рассылки спама очень просто, поэтому в последнее время фильтр «черного списка» усовершенствовался: теперь можно вводить целые группы доменных имен (например, *@spam.com). В свою очередь, это заставляет почтовые сервисы серьезней отнестись к проблеме рассылки спама с их сервиса – в «черный список» попадают и почтовые ящики обычных пользователей, что приводит к потере писем, а следовательно, посетителей и дохода от показа рекламы.

Более эффективным оказывается фильтр по теме письма. Достаточно проанализировать 20-30 писем, чтобы составить «словарь спамера», который успешно отфильтрует до 70% спама. О том, как настроить фильтры против спама в Outlook Express, можно прочитать в журнале « Компьютерра».

Для еще более качественной фильтрации целесообразно воспользоваться антиспамерскими программами , например, программой Kaspersky Anti-Spam  и  ее составляющей – бесплатным онлайновым интернет-сервисом СпамТест, который позволяет отсеять до 95% спама.

Фильтрация входящей почты производится с помощью четырехуровневого алгоритма, позволяющего анализировать корреспонденцию на пяти языках: русском, английском, испанском, французском и немецком. В первую очередь, письмо проверяется интеллектуальным модулем распознавания содержания письма SpamTest, которое, по заявлению разработчиков, способно отличить отличать различные типы спама от нормальных писем. Во-вторых, программой используется сигнатурный метод, когда каждое письмо сравнивается с существующими шаблонами в ежедневно обновляемой базе данных, содержащей образцы спама (это напоминает метод работы антивируса). Далее производится анализ по формальным признакам письма (способу рассылки, отправителю, адресу, пути следования и другим признакам). Наконец, Kaspersky Anti-Spam использует традиционный метод "чёрных списков" (blacklist), осуществляя фильтрацию писем по адресам, признанным источниками спама и занесенными в постоянно обновляемые общедоступные списки. В результате проверки каждое письмо получает специальную метку, соответствующую уровню его принадлежности к спаму. Обнаруженный спам, в соответствии с правилами обработки и настройками системы, может быть пропущен, удален, отложен, изменен или перенаправлен на другой адрес.

 

Борьба со спамом: часть № 3 – «белый список»

Задумывался ли кто над тем, почему пользователям ICQ практически не приходит спам? Все дело в том, что пользователи, которые для добавления своего номера в контакт-лист требуют авторизации, в будущем получают сообщения только от известных им пользователей. Подобный режим можно организовать и при работе с электронной почтой – так называемый «белый список».

Способ первый. Предположим, у нас есть ящик на бесплатном сервисе Mail.ru. Заходим в наш ящик и первым делом создаем папку «Личное». Теперь нам прямая дорога в «Настройки». В «Настройках» выбираем режим «Фильтры», нажимаем «Добавить фильтр». Первый, очень важный, фильтр отсеет у нас те письма, в которых в качестве адресата не указан явным образом наш ящик user@mail.ru, то есть, письмо явно адресовано «Всем», но только не нам. Настройка первого фильтра: если в полученном письме поле «Кому» НЕ СОДЕРЖИТ user@mail.ru, то сделать следующее «Ответить нет такого адреса», а исходное сообщение «Не помещать в папку входящие». Второй фильтр: если в полученном письме поле «Кому» СОДЕРЖИТ user@mail.ru и ТЕМУ «фильтр_от_спама», то переместить копию сообщения в папку «Личное», а исходное сообщение не помещать в папку «Входящие».Этим фильтром мы отсеиваем и укладываем письма, предназначенные только Вам, в папку «Личное». Третий фильтр: Если поле «Тема» не содержит «фильтр_от_спама» и поле «Кому» содержит user@mail.ru, то ОТВЕТИТЬ АВТОМАТИЧЕСКИ «Письмо адресату user@mail.ru было задержано фильтром почтового ящика. Для того, чтобы адресат получил Ваше письмо, укажите в теме словосочетание «фильтр_от_спама» или нажмите эту ссылку: mailto:user@mail.ru?subject=фильтр_от_спама для отправки нового письма. Приносим свои извинения за причиненные неудобства», а исходное сообщение НЕ ПОМЕЩАТЬ В ПАПКУ «ВХОДЯЩИЕ». Этим фильтром мы уведомляем наших отправителей о том, что они должны обязательно указывать в теме письма словосочетание «фильтр_от_спама». Последним фильтром мы должны указать, что все сообщения об адресатах, до которых не дошли письма, либо так же должны укладываться в специальную папку (вдруг вы и правда ошиблись при отправке), либо удалятся автоматически.

Представим себе, как будет эта система работать: Вам посылают письмо личного характера на ваш почтовый адрес. Отправитель получает автоматический ответ, что его письмо было задержано фильтром почтовой системы и отправителю необходимо указать в теме письма заветное словосочетание «фильтр_от_спама», тогда адресат получит это письмо. Недостаток подобного способа в том, что отправителю либо придется помнить, что необходимо указывать в теме письма ключевую фразу, либо отправить письмо повторно, воспользовавшись ссылкой в автоматическом ответе. Преимущества данного способа: во-первых, вы получаете только те письма, что предназначены именно для Вас, во-вторых, легко повторно остановить поток спамерских писем, просто сменив ключевую фразу. (По материалам сайта  http://polik.kemernet.ru/2003_05_18_arhive.html )

Второй способ отличается тем, что вы вносите проверенные адреса в « белый список» адресов, таким образом, «освобождая» людей от необходимости использовать в теме письма словосочетание «фильтр_от_спама». Однако при этом существует жесткая привязка к адресу, и если ваш друг сменит адрес почты, Вам придется снова менять фильтры, то есть способ более трудоемкий. Замечу, что эти два метода можно комбинировать.

Эти идеи реализованы во многих антиспамерских программах, в частности, Win Anti SPAM .

 

Борьба со спамом: часть № 4 – «серый список»

Простые методы, вроде составления "черных" и "белых" списков, являются негибкими. Черные списки легко обходятся сменой почтовых адресов и использованием альтернативных серверов, а белые списки не дают принимать почту с адресов, не разрешенных пользователем. Альтернативные методы, основанные на поиске ключевых словосочетаний или статистических методов, требуют длительной и кропотливой настройки.

Одним из перспективных методов является метод "серых списков", предложенный Эваном Гаррисом. Свое название метод получил из-за того, что он является промежуточным между методом черных и белых списков. Важным достоинством метода является то, что он почти не требует вмешательства пользователя и не отнимает больших ресурсов клиентской системы. Не менее важно и то, что система практически не имеет ложных срабатываний.

Идея метода похожа на ряд уже имеющихся систем, которые направляют запросы неизвестным отправителям, требуя подтвердить намерение отправить письмо. Однако важным преимуществом разработки Гарриса является то, что вмешательства человека, отправившего письмо, не требуется - всю работу берет на себя программа, пересылающая почту. В случае серых списков в расчет принимаются три параметра: IP-адрес узла, пересылающего сообщение, адрес отправителя и адрес получателя.

Если хотя бы один из этих параметров ранее не встречался почтовой программе, она заблокирует сообщение и попросит передающую сторону отправить письмо повторно. Все программы для пересылки почты, соответствующие общепринятым стандартам, в течение некоторого времени будут повторять передачу сообщения. Большинство же спамерских программ так не делают. Время блокировки сообщения по серому списку ограничено (по умолчанию оно составляет 1 час), и как только оно истекает, сообщение будет доставлено получателю. Практически все программы для передачи электронной почты повторяют отправку недоставленных сообщений в течение более длительных сроков, а значит, ложные срабатывания практически исключены.

Записи IP-адресов, адресов отправителя и получателя также хранятся в базе ограниченное время (по умолчанию четыре часа). Это может привести к некоторому снижению эффективности фильтров из-за задержки полезных писем, возникающей вследствие удаления их парметров из базы данных. Решить эту проблему Гаррис предлагает, введя дополнительный модуль фильтрации по белому списку, который составляется самим пользователем. Впрочем, и без этого эффективность работы фильтра по серому списку превышает 97%, а число ложных срабатываний стремится к нулю. Подробности о технологии фильтрации почты по серым спискам можно найти здесь.

 

Борьба со спамом: часть № 5 – ограничения возможностей почтового сервиса

Ну кому, как не почтовым сервисам, бороться за качество услуг электронной почты! От того, насколько пользователи почтового сервиса будут им довольны, напрямую зависит их количество, а следовательно, и доход владельца сайта. Если пользователи не имеют возможности эффективно защититься от рассылки вирусов и спама, а сам домен находится в «черном списке» как активный источник спама – прибыли не видать.

Что могут предложить сервисы? С одной стороны, для отправки письма система может потребовать Вашей авторизации, полного почтового адреса пользователя, а так же ограничить как число адресатов одного письма, так и количество отправляемых писем в течение определенного промежутка времени.

С другой стороны, это самые разнообразные фильтры, «черные» и «белые» списки, определитель «спам – не спам», папка « Рассылки » (Яndex). Внедряются новые идеи, такие как инкрементальный (incremental) фильтр, Байесовские фильтры, «сертификаты» для отправки электронных писем, обновляемые библиотеки «спамерского» словаря и типовых шаблонов спамерских писем.

 

Борьба со спамом: часть № 6 – платный E-mail

Возможно, конец спаму положит введение принудительной оплаты за отправку сообщений по электронной почте. Сегодня идея введения платы за электронное письмо переживает "второе рождение", поскольку на нее обратили внимание "хозяева" двух крупнейших в мире почтовых серверов - Microsoft и Yahoo. Глава Microsoft Билл Гейтс не так давно заявил о скором решении проблемы спама, в том числе и при помощи оплаты e-mail. В Microsoft еще год назад начал разрабатываться антиспамовый проект, в честь первой почтовой марки названный Penny Black, предусматривающий оплату отправленных писем в любом виде: временем работы процессора и памяти, проведением тестов Тьюринга (которые доказывают, что почту отправляет человек, а не программа-робот) и, как во все времена, деньгами.

Компания Goodmail, с которой тесно сотрудничает Yahoo, предложила схему так называемых "электронных марок". Клиент покупает "пакет" марок, которые представляют цифровые коды, и активирует по одному коду перед посылкой электронного письма. Одно почтовое письмо будет обходиться отправителю в ничтожно малую сумму, при этом защита от спама системы массовой рассылки будет достаточно надежной.

 

Борьба со спамом: перспективы

Почему спам вообще существует? Да потому, что по сравнению с рекламой в прессе, на радио и телевидении рассылка писем по электронной почте сразу нескольким миллионам пользователей является быстрой, не требует особой квалификации и поэтому обладает низкой себестоимостью. Человек, распространяющий спам, в настоящее время получает значительную прибыль, кровно заинтересован в успехе своего бизнеса и вряд ли откажется от этих денег.

С другой стороны баррикад находятся:

Миллионы пользователей, получающих ненужную им рекламу. Это явление их весьма раздражает, но, как правило, нет средств и желания судиться со спамерами - проще удалить письмо.  Тысячи предприятий, у которых просмотр ненужных писем и фильтрация спама забирает огромное количество рабочего времени сотрудников, понижая тем самым доход. Организации, владеющих каналами связи и почтовыми серверами - рассылки спама составляют значительную долю траффика в условиях перегруженного канала, приводят к снижению числа пользователей сервисов, что негативно сказывается на бизнесе. Отдельные крупные корпорации, занимающиеся разработкой программного обеспечения - для них разработка антиспамерского ПО является выгодным бизнесом. Группы программистов-энтузиастов, которых спам как явление просто достал.

Представители первой группы не теряют ничего, кроме нервов, предпочитая методы пассивной защиты, которые были описаны выше. Остальные настроены перейти к активной защите:

Ужесточение правил регистрации на бесплатных почтовых серверах, откуда, по статистике, приходит основная часть спама. Увеличение себестоимости массовых рассылок электронных сообщений, например, введением "электронных сертефикатов" или увеличением времени доставки писем пропорционально вероятности, с которым письмо может считаться спамом. Принятие законодательных актов, направленных против спама. Формирование общественного мнения через организацию сайтов, посвященных проблеме спама, распространение среди пользователей сведений о методах защиты от спама.   Создание спамерам психологического дискомфорта, например, подписыванием их на рассылку рекламы в бумажном виде, созданием негативного имиджа предприятиям, использующим такого рода рекламу.

Наиболее обозленные хакеры устраивают атаки на почтовые сервера и личные интернет-страницы спамеров, но это уже незаконно. 

Итак, налицо столкновение интересов. Чем оно закончится - покажет будущее. Свое мнение о перспективах борьбы со спамом Вы можете высказать в голосовании и на форуме .

О замеченных опечатках и неточностях, равно как и о Ваших личных методах борьбы со спамом, просьба сообщать автору.

 

Ссылки по теме

http://www.computerra.ru/stories/story213/ - о борьбе со спамом (журнал "Компьютерра") http://forum.computerra.ru/?board=ktbest;action=display;num=1046759770 - обсуждение проблемы спама на форуме Компьютерры http://www.spamtest.ru/ - Спамтест - Онлайновая проверка на спам http://wiki.forth.org.ru/AntiSpam - сборник ссылок на антиспамерские программы http://paulgraham.com/wfks.html - Will Filters Kill Spam http://au2.spamassassin.org/index.html - SpamAssassin http://popfile.sourceforge.net/old_index.html - POPFile http://popfile.sourceforge.net/old.html - про теорему Байеса http://antispam.altnet.ru - АнтиСпам http://www.antispamer.com/ - проект "АнтиСпам" http://www.winantispam.com/ru/index.html - WinAntiSPAM http://www.declude.com/JunkMail/Support/ip4r.htm - DNS-based Spam Databases http://polik.kemernet.ru/2003_05_18_arhive.html - советы по настройке ящика на mail.ru http://rus.spamliquidator.com/ - AntiSpamFilter http://www.templetons.com/brad/spam/ - Essays on Junk E-mail (Spam) http://www.internet.ru/lentanews/n_ob72.esp - про патент на обход спам-фильтров http://www.alvis.ru/company_news/index.php3?id=49 - про SpamBayes - проект open-source, целью которого является разработка нового антиспам-фильтра на базе алгоритма статистического анализа  http://isp.stack.net/articles/dnsbl.html - выбор blacklist'ов для защиты от спама

Автор статьи - Яворский Владислав, редактор сайта ФМБФ. При перепечатке просьба указывать авторство и давать ссылку на первоисточник.

Если вы заметили в тексте ошибку, выделите её и нажмите Ctrl+Enter.

© 2001-2016 Московский физико-технический институт
(государственный университет)

Техподдержка сайта

МФТИ в социальных сетях

soc-vk soc-fb soc-tw soc-li soc-li
Яндекс.Метрика