О политиках антиспама
Dec. 24th, 2007 12:05 am![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
iskatelСразу оговорюсь - тут кратко изложены мои личные взгляды, в тч. на тех, кто строит такие политики.
Итак. Что спам - это нежелательная корреспонденция, знают почти все.
Как администрирующий некоторое кол-во почтовых серверов, я выработал свою политику антиспама, в случае особых пожеланий она может в некоем конкретном случае корректироваться.
К сожалению, все RFC , касающиеся smtp, были написаны давно, без учета существования спама как такового.Поэтому они не могут служить достаточным руководством к действию.
Главное с моей точки зрения - отбрасывая и маркируя спам, минимизировать ущерб для нормальной корреспонденции, наносимый антиспамом.
Производители и авторы антиспам-продуктов любят приврать - дескать, наш продукт имеет вероятность ложного срабатывания что-то около 10-4 степени и даже меньше.
Во-первых, это ложь, ибо подсчитано на некоем удобном наборе писем, а во-вторых это иногда тоже очень много.
Недопустимо отбрасывать письма только потому, что ip сервера-отправителя попал в какой-то сторонний черный список. На сегодняшний день мне не известен ни один полностью нормальный публичный черный список (и не надо говорить, что спамкоп хорош), и более того - в случае smtp релеев провайдеров через них всегда проходит некоторое кол-во спама (и потому они преодически попадают в такие списки), но бОльшая часть писем оттуда - нормальные. Блокировать их по Ip - значит резать в 1-ю очередь нормальные письма. Считаю практику использования любых сторонних черных списков (кроме списков динамических ip) для разрыва на этапе коннекта крайне вредной.
Ip отправителя должен иметь обратку. Домен в поле from: должен существовать.
В то же время я считаю полностью нормальной практику отказа приема писем с динамических ip , а также ip, похожих на динамические по обратному резолвингу. Ни один нормальный сервер на динамическом Ip не работает. К сожалению, ни один общемировой список динамических ip мне не известен (а от российского толку мало - это в лучшем случае 3-5 процентов от всего спама), так что приходится работать с обраткой. Процент ложных срабатываний (нормальных серверов с обраткой типа dynamic-ip, adsl, 10-1-12-2dynamic и тд.) крайне мал, и может быть занесен в 'белый' список.
А вот с проверкой адреса отправителя дело обстоит сложнее. Сама по себе идея такой проверки безупречна - если адрес подделан, то письмо идет к чертям. Но. Проверка, осуществляемая через <>, в последние годы многими учитывается как попытка спам-smtp-коннекта, особенно если таких проверок много (а их обычно немало - имеем пачку коннектов, проверяем-то всё или почти всё). В результате тормозится или вообще временно прекращается прием нормальных писем, более того - мы уже не можем отправить письма на адреса из того домена. Итого - идея хороша, но реализация на сегодня вредна и потому неприемлема.
Проверка Helo на корректность. С однйо стороны, требование законно. (RFC). И проверка имени, указанного там, на резолвинг - тоже.
Отлично отсеивает спам. С другой... Не только спаммеры, не только мелкие сервера, администрируемые идиётами, подставляют в Helo "g45y" или "localhost-321", те. мусор или отфонарное имя машины. Маститый Level3 и тот недавно писал в Helo нормальные по форме, но нерезолвящиеся имена (попытки достучаться до его постмастеров успеха не имели. Похоже, там просто хостмастер менял записи в dns, а постмастер на это плевать хотел). Тут или белый список, или отказ от проверок Helo. Оба пути, на мой взгляд, разумны.
Далее у нас остается море спама , и его надо сортировать. типовое решение - спам-отсос, он же spamassasin.
Имеет множество проверок и хорошо настраиваем , если охота это делать.
С моей точки зрения, он неплохо работает и без настроек, но лучше настроить под себя.
'Белый' список доменов - по желанию, но рекомендовано. Правда, это же знают и некоторые спаммеры.
Обучение байес-фильтра.. в общем, дает неплохой результат - но имеет смысл только если поток корреспонденции относительно однороден и есть много ложных срабатываний.
Использование в начислении баллов сторонних черных списков (с ручной расстановкой коэффициентов), в отличие от отбрасывания на этапе коннекта, считаю оправданным и очень эффективным, в сочетании с 'белым' списком.
Письма не убиваются, а только маркируются - и далее пусть сам клиент уже строит свои фильтры - но письма он должен получить.
Спама приходит много, сортируются у меня на клиенте они по 2-м папкам, неотмеченного спама где-то 2-3%, что приемлемо.
К сожалению, многие "борцы со спамом" в попытках срезать побольше спама устанавливают такие настройки, которые отбрасывают значительное кол-во нормальной корреспонденции, а то и вовсе делают переписку невозможной.
Это и использующие "черные списки" для отброса коннектов, и те, кто требует подтверждения на некоем сайте (!) от отправителя письма, первоначально отбрасывая его.
Блокирование доменов публичной почты, например, pochta.ru - на мой взгляд, маразм в чистом виде. Но некоторые пользуют.
Блокирование почты по стране происхождения (домен, ip) - тоже маразм.
Технология "серых списков" - те. отброс 1-го коннекта и таймер для каждого Ip/сетки. В случае кластера smtp серверов это отбрасывание будет в цикле, и письмо не дойдет. Вписывают исключения, но все ж не впишешь.. Кроме того, возникает неприятная задержка при получении письма. С моей точки зрения, вред от "серых списков" больше, чем польза.
SPF, продвигавшийся одно время Яндексом, на сегодня , во-первых, дает крайне малый эффект, а во-вторых дает немало ложных срабатываний и потому не имеет смысла.
--------------------------------------------
Итак. Что спам - это нежелательная корреспонденция, знают почти все.
Как администрирующий некоторое кол-во почтовых серверов, я выработал свою политику антиспама, в случае особых пожеланий она может в некоем конкретном случае корректироваться.
К сожалению, все RFC , касающиеся smtp, были написаны давно, без учета существования спама как такового.Поэтому они не могут служить достаточным руководством к действию.
Главное с моей точки зрения - отбрасывая и маркируя спам, минимизировать ущерб для нормальной корреспонденции, наносимый антиспамом.
Производители и авторы антиспам-продуктов любят приврать - дескать, наш продукт имеет вероятность ложного срабатывания что-то около 10-4 степени и даже меньше.
Во-первых, это ложь, ибо подсчитано на некоем удобном наборе писем, а во-вторых это иногда тоже очень много.
Недопустимо отбрасывать письма только потому, что ip сервера-отправителя попал в какой-то сторонний черный список. На сегодняшний день мне не известен ни один полностью нормальный публичный черный список (и не надо говорить, что спамкоп хорош), и более того - в случае smtp релеев провайдеров через них всегда проходит некоторое кол-во спама (и потому они преодически попадают в такие списки), но бОльшая часть писем оттуда - нормальные. Блокировать их по Ip - значит резать в 1-ю очередь нормальные письма. Считаю практику использования любых сторонних черных списков (кроме списков динамических ip) для разрыва на этапе коннекта крайне вредной.
Ip отправителя должен иметь обратку. Домен в поле from: должен существовать.
В то же время я считаю полностью нормальной практику отказа приема писем с динамических ip , а также ip, похожих на динамические по обратному резолвингу. Ни один нормальный сервер на динамическом Ip не работает. К сожалению, ни один общемировой список динамических ip мне не известен (а от российского толку мало - это в лучшем случае 3-5 процентов от всего спама), так что приходится работать с обраткой. Процент ложных срабатываний (нормальных серверов с обраткой типа dynamic-ip, adsl, 10-1-12-2dynamic и тд.) крайне мал, и может быть занесен в 'белый' список.
А вот с проверкой адреса отправителя дело обстоит сложнее. Сама по себе идея такой проверки безупречна - если адрес подделан, то письмо идет к чертям. Но. Проверка, осуществляемая через <>, в последние годы многими учитывается как попытка спам-smtp-коннекта, особенно если таких проверок много (а их обычно немало - имеем пачку коннектов, проверяем-то всё или почти всё). В результате тормозится или вообще временно прекращается прием нормальных писем, более того - мы уже не можем отправить письма на адреса из того домена. Итого - идея хороша, но реализация на сегодня вредна и потому неприемлема.
Проверка Helo на корректность. С однйо стороны, требование законно. (RFC). И проверка имени, указанного там, на резолвинг - тоже.
Отлично отсеивает спам. С другой... Не только спаммеры, не только мелкие сервера, администрируемые идиётами, подставляют в Helo "g45y" или "localhost-321", те. мусор или отфонарное имя машины. Маститый Level3 и тот недавно писал в Helo нормальные по форме, но нерезолвящиеся имена (попытки достучаться до его постмастеров успеха не имели. Похоже, там просто хостмастер менял записи в dns, а постмастер на это плевать хотел). Тут или белый список, или отказ от проверок Helo. Оба пути, на мой взгляд, разумны.
Далее у нас остается море спама , и его надо сортировать. типовое решение - спам-отсос, он же spamassasin.
Имеет множество проверок и хорошо настраиваем , если охота это делать.
С моей точки зрения, он неплохо работает и без настроек, но лучше настроить под себя.
'Белый' список доменов - по желанию, но рекомендовано. Правда, это же знают и некоторые спаммеры.
Обучение байес-фильтра.. в общем, дает неплохой результат - но имеет смысл только если поток корреспонденции относительно однороден и есть много ложных срабатываний.
Использование в начислении баллов сторонних черных списков (с ручной расстановкой коэффициентов), в отличие от отбрасывания на этапе коннекта, считаю оправданным и очень эффективным, в сочетании с 'белым' списком.
Письма не убиваются, а только маркируются - и далее пусть сам клиент уже строит свои фильтры - но письма он должен получить.
Спама приходит много, сортируются у меня на клиенте они по 2-м папкам, неотмеченного спама где-то 2-3%, что приемлемо.
К сожалению, многие "борцы со спамом" в попытках срезать побольше спама устанавливают такие настройки, которые отбрасывают значительное кол-во нормальной корреспонденции, а то и вовсе делают переписку невозможной.
Это и использующие "черные списки" для отброса коннектов, и те, кто требует подтверждения на некоем сайте (!) от отправителя письма, первоначально отбрасывая его.
Блокирование доменов публичной почты, например, pochta.ru - на мой взгляд, маразм в чистом виде. Но некоторые пользуют.
Блокирование почты по стране происхождения (домен, ip) - тоже маразм.
Технология "серых списков" - те. отброс 1-го коннекта и таймер для каждого Ip/сетки. В случае кластера smtp серверов это отбрасывание будет в цикле, и письмо не дойдет. Вписывают исключения, но все ж не впишешь.. Кроме того, возникает неприятная задержка при получении письма. С моей точки зрения, вред от "серых списков" больше, чем польза.
SPF, продвигавшийся одно время Яндексом, на сегодня , во-первых, дает крайне малый эффект, а во-вторых дает немало ложных срабатываний и потому не имеет смысла.
--------------------------------------------
