Ошибка 503

[Acex]

Люди, если вы получаете иногда такую ошибку, а именно под номером 503, при загрузке форума, то прошу отписаться тут.

[Гость IliaDN]

А че тут, а не в работе сайта\форума?

 

=)

[Acex]

Ой, ошибка. Из-за тормозов так получилось)

[Feerun]

У мну один день вылезала ошибка, связанная с SQL-сервером

[mistiman]

C sql уже порешали. Просто сейчас поставили лимиты на кол-во соединений и на кол-во запросов в секунду. В случае превышения этих значений будет выпадать ошибка 503. Соответственно мне нужно понимать какой процент таких ошибок выпадает у живых людей. Ибо сейчас они сыпятся рекой, но внешне это вроде боты.

[AlterEgo]

Есть 503. Один раз вылезла единично и перестала вылезать, второй раз вылезла минут 5 назад и упорно не пропадала, пропала только сейчас.

[mistiman]

Будем считать что отсчет пошел с этой минуты) Пару минут назад это я чуть-чуть уронил хост)

 

Просто какое-то нездоровое кол-во "гостей" у нас на форуме постоянно. И ДДОСом назвать такое язык не поворачивается и нагрузку лишнюю создает. Большая часть конечно пауки поисковиков и зеркалирующие сервисы, хочу их ограничить немного.

[F1sh]

Было. Обновил страницу - исчезло.

[mistiman]

  В 22.05.2012 в 10:21, F1sh сказал:

Было. Обновил страницу - исчезло.

Оно так и должно работать. Но это не есть хорошо, что у живых людей выпадает эта ошибка

[Graf]

Была. Обновил все норм

[AlterEgo]

Пользователей онлайн: 65 (за последние 15 минут)

Это последствия нововведения?

[Qashqai]

  В 22.05.2012 в 10:57, AlterEgo сказал:

Пользователей онлайн: 65 (за последние 15 минут)

Это последствия нововведения?

Пользователей онлайн: 742 (за последние 15 минут)

 

10 сек спустя

 

Пользователей онлайн: 833 (за последние 15 минут)

[mistiman]

Да, по лимиту соединений сейчас отваливается примерно 2к соединений в минуту) Но они естессно пытаются снова. Т.е. хорошо что нагрузка упала засчет того, что отдается статическая ошибка 503, плохо что веб серверу все равно приходится обрабатывать эти соединения, хоть и гораздо меньшими силами.

Т.е. это предварительная мера снимающая около 80% нагрузки. Есть продолжение этой меры. Я могу парсить на автомате лог этих ошибок и например если "5 ошибок в течении 10 минут", то бан в файрволе на 30 минут, при повторном бане в течении 30 минут после разбана, бан на 1 час и так по нарастающей до перманента.

Но мне совсем не хочется дать пермабан по файрволу живому человеку по ошибке. Лучше пропустить несколько ботов.

[Qashqai]

что-то твои боты разошлись

Пользователей онлайн: 1060 (за последние 15 минут)

[mistiman]

  Цитата

Пользователей онлайн: 742 (за последние 15 минут) 10 сек спустя Пользователей онлайн: 833 (за последние 15 минут)

Отключил для проверки)

[Qashqai]

включай)

Пользователей онлайн: 1566 (за последние 15 минут)

[mistiman]

Такое ощущение, что на нас тестируют ботосеть) Теперь они не так часто попадают на лимиты соединений...

[Nostrum]

Мне кажется ты их разозлил))))

[Qashqai]

просто они палят эту тему и подстраиваются под твою защиту

[AlterEgo]

  Цитата

Я могу парсить на автомате лог этих ошибок и например если "5 ошибок в течении 10 минут", то бан в файрволе на 30 минут, при повторном бане в течении 30 минут после разбана, бан на 1 час и так по нарастающей до перманента. Но мне совсем не хочется дать пермабан по файрволу живому человеку по ошибке. Лучше пропустить несколько ботов.

Мисти, а нельзя это правило совместить с правилом "такой айпи отсутствует в базе постов от зарегистрированных юзеров"?

[mistiman]

для этого надо будет делать дополнительные запросы к mysql, как результат получим ещё большую нагрузку, только теперь на mysql сервера, а это тяжелее.

 

  В 22.05.2012 в 11:15, Qashqai сказал:

просто они палят эту тему и подстраиваются под твою защиту

Я поэтому и говорю, что как будто тестят и подстраиваются под возможные способы "защиты". Ибо полноценным ДДОСом это не назвать. И вполне очевидно, что такого кол-ва ботов недостаточно.

 

Включил снова, кол-во резко падает.

 

 

bandits filter.d # grep limiting /var/log/nginx/forum_error.log |wc -l

1686

это за минуту)

Изменено 22 мая, 2012 пользователем mistiman

[Last_Exile]

Было щас, после чего при обновке страницы браузер так и не смог распознать шрифт, пришлось тыкать на раздел форума, тогда все стало ок =) Ну.... это ИЕ =)

[AlterEgo]

  Цитата

для этого надо будет делать дополнительные запросы к mysql, как результат получим ещё большую нагрузку, только теперь на mysql сервера, а это тяжелее.

можно сделать текстовый список айпи адресов и обновлять его раз в сутки, скажем.

[mistiman]

Включил анализ логов и бан в файрволе особо упертым. Надеюсь не забанит случаной кого-нибудь) Я таки слабо представляю как человек сможет поймать 503 более 5-и раз за 10 минут.

[AlterEgo]

  Цитата

как человек сможет поймать 503 более 5-и раз за 10 минут.

а как вообще они ловят 503? слишком быстро обновляют страницы?