DDOS attack

[Stanislav]

Намедни атаковали меня. Флудили на мой IP (web site) на порт UDP:0 со скоростью 9.7Gbit/sec.
Тип атаки DDOS. Атаковали с comcast.net Провайдер просто отрубил мой IP.

В комкаст я телегу накатал - может разберутся, может нет.
С провайдером поговорил - они попытаются (если следующий раз) фильтровать network базар на предмет всякой хрени - типа UDP:0 и пропускать полезный трафик на 80, 443 и т.д. Но кто знает что будут атаковать в следующий раз.

Чтп я еще могу сделать? Поменять IP? Вроде для серьезных людей это не препятствие...
Any ideas?

[Шэф]

хех, так тебя и на 80м задосят если захотят и даже еще как!
несколько внешних ip спасут отца русской демократии, и обязательно через нескольких провайдеров. у меня 4 инсталляции сделаны через 2 провайдера на соникволлах, на ем динамическая балансировка нормально работает. к сожалению, больше двух на ем сделать нельзя, не того уровня дивайс. а тебе дак надо ваще и 5... нет!.. пусть будет 6, да! внешних ip, у тебя ж real-time. замучаются досить.

[CdR]

Напомнил:

Своеобразный и ни с чем не сравнимый подарок преподнесла группа неизвестных злоумышленников на день полиции (10 ноября) сотрудникам отдела по борьбе с преступлениями в сфере высоких технологий , отделу «К» ГУВД по Воронежской области.
Всё началось с того, что в 9 часов утра, специалисты отдела «К» и лаборатории высоких технологий «Сириус Лоджик», заметили нетипично высокое количество запросов к главной странице сайта отдела «К». Через некоторое время, когда и без того большое количество запросов и мест, из которых производились эти запросы пропорционально увеличились, специалисты поняли что имеют дело с DDOS атакой, которая только начала набирать силу.

...

В ситуации DDOS-атаки, типичная реакция администратора сайта начинать борьбу с запросами методом последовательной блокировки ай-пи адресов компьютеров, с которых производятся атаки. Эта реакция типично приводит к ещё большему количеству запросов, с которыми администратор уже не в состоянии справиться даже при фантастической скорости нажатия кнопок (например, если количество запросов с разных IP-адресов более 500 в секунду). То, что в итоге атакуемый ресурс все-таки «ложится», тоже вполне закономерно.

...

На этот раз ни блокировать пользователей, ни выключать ресурс специалисты отдела «К» не стали. В тот момент, когда сервер уже вот-вот должен был повиснуть под натиском непрекращающихся запросов, специалисты незаметно сменили главную страницу сайта (на функционал которой шли основные запросы, вынуждающие сервер их обрабатывать в огромных количествах) на нефункциональную «файл-картинку» того же самого сайта. Ведь запросы слались по тому же адресу в тех же количествах, но теперь они были неспособны нанести существенный вред сайту, т.к. сайт просто не обрабатывал эти запросы. При этом визуальных изменений на сайте практически не произошло. Несмотря на усиливающуюся атаку, сайт непоколебимо работал и отображался.
Первыми подвох поняли, видимо,организаторы (или организатор) атаки. Но остановить огромную машину состоящую из сотен удаленных компьютеров (и, видимо, получивших неоднозначное распоряжение «Бомбить пока не упадет!») уже не могли.
То прямыми, сильными и широкими как река Дон, потоками, то маленькими, колючими, временными запросами, пытались «удивить» хакеры файл-картинку, но картинка хранила молчание и на провокации не поддавалась. Также рисунок не удалось обмануть отчаянной попыткой синхронно ударить по ней запросами после некоторого затишья. Хакеры и их ботнет (зараженные вирусами группы компьютеров, совершающие атаки без ведома их хозяев) отчаянно бились с нарисованной на стене сайта картинкой, то так, то эдак подсовывая ей «любопытные» кусочки запросов, в надежде вызвать парализацию. Изображение хранило молчание. Наблюдая за этой клоунадой, специалисты отдела «К» и лаборатории высоких технологий «Сириус Лоджик», хоть и смеялись буквально до слез, но в конечном итоге уже хотели написать горе-хакерам на картинке, подсказку «Уважаемые хакеры, опомнитесь! Вы атакуете не сайт, а его изображение!»
Около 12 часов дня, последний IP-адрес злобно «тяфкнул» на изображение сайта пакетом в 4278 байт и унижено растворился в бескрайних просторах интернета.

черноземье.рф

[mamida]

Спасибо, порадовал, сердце просто переполняет гордость за родную воронежскую полицию..

[Stanislav]

хех, так тебя и на 80м задосят если захотят и даже еще как!
несколько внешних ip спасут отца русской демократии, и обязательно через нескольких провайдеров. у меня 4 инсталляции сделаны через 2 провайдера на соникволлах, на ем динамическая балансировка нормально работает. к сожалению, больше двух на ем сделать нельзя, не того уровня дивайс. а тебе дак надо ваще и 5... нет!.. пусть будет 6, да! внешних ip, у тебя ж real-time. замучаются досить.

Поподробнее можно?

Краевые условия: мы торгуем инфой об акциях и пр. фин.инструментах, т.е. ко мне идет шнудок прямо с биржи - он стоит 45,000 в месяц. т.е. я о чем - другой провайдер - еще один полный комплетк биржевого оборудования с омуенной помесячной платой + 5000 в месяц провайдеру за колокейшн и гигабитный шнудок...

На самом деле до моих серваков не дошло ни одного пакетика - провайдет просто отрубил IP. Фактически это была атака на сеть провайдера - один из его 10Gb линков просто сдох. Хорошо, что у него несколько таких линков...

6 внешних IP - это 6Gb/sec. - а текущая атака была почти 10Gb/sec. Малавата будет... малавата...
Каждый гигабитный шнурок - это 2500 в месяц...

[Шэф]

ну то есть ты хочешь чтоб тебе готовое решение вынь да положь? ты ж спрашивал for ideas, нате вам.

Ну хорощё, вот тебе расклад:
часть вопроса насчет 45К не совсем в тему, вы же эту инфу напрямую не расшариваете, стал быть тут дупликат не нужен. и этот шнурок досить будут... если только с самой биржи

далее, комплект биржевого оборудования канешно нужон только один. который уже есть.
тебе нужно всего лишь несколько внешних адресов с гигабитками, ведущими в коллокейшн, а уж откуда... ну откуда дотянешься.

стал быть, да, несколько гигабитных шнурков по одному от каждого провайдера прямиком в твой рэк. если нет, то рэк у каждого пров конешно ставить не надо, обойдешься сыской с с перенаправлением на твоего провайдера. т.е. получим несколько потоков с нескольких адресов пусть даже и через один шнурок.
если начнут бомбить один ip и он будет отключен, так другие останутся на плаву.

главное тебе все красиво заорганизовать с round-robin DNS на несколько адресов. я тут делал все по относительно дешевому варианту, но уверен, можно склепать и то, что я только что предложил, наверняка есть решения. я не вижу причин, почему это невозможно сделать. ну и файрволл соответствующий нужон, тут я не могу подсказать, есть такой наверное. если не аппаратный, то уж софтовый точно найдется.

ну, а как ты хотел, немного денег больше будет стоить.

даже если всего 3 линии сделаешь, уже будет супер-пупер. тут тебе и отказоустойчивость и балансировка.

у меня в двух случаях никак не можно было воткнуться ко второму провайдеру, так aironet-ами дотянулись. В одном варианте на крыше прямиком в сетку провайдера с его внутренним статик адресом. в другом - небольшое извращение: кабельный модем у черта на куличках подсоединен к 2621 сыске дальше 700 м через aironet-ы в другую 2811 сыску и обе оне через pseudowire сделали етот модем как будто воткнутым напрямую в соникволл. да-с.
понятно, что скорости не гигабитные, но все работает.

[lavep]

а может проще поступить (правда не думаю, что это будет дешевле) и захоститься на Акамай?

Пусть у них голова болит как ДДОСы отбивать, впрочем учитывая их мощности положить их будет гораздо сложнее

According to Akamai, approximately 85% of the world’s Internet users are within a single “network hop” of an Akamai server. Akamai also claims to deliver between 15-30% of all web traffic, leveraging 73,000 servers in 70 countries within nearly 1,000 networks.

Top Financial institutions trust Akamai, including:

9 of the top 10 world banks (Source: The Banker)
8 of the top 10 U.S. banks (Source: The Banker)
7 of the top 10 world asset managers (Source: Towers Watson)
7 of the top 10 U.S asset managers (Source: Institutional Investor)
8 of the top 10 P&C insurance carriers (Source: A.M. Best)
4 of the top 10 Life & Health carriers (Source: A.M. Best)
2 of the top 5 world stock exchanges (Source: WFE)
8 of the top 10 U.S. online brokers (Source: SmartMoney)

[meser]

у меня была ситуация, когда бывший админ организовал ддос на нас. кластер и блок адресов выручал, но не очень-то. пиир1 отказался принимать меры и я после недели мытарств раскрутил начальство на нетскрин. у киски лицензирование каждой фичи показалось нам по деньгам негуманным. удалось довольно быстро и сносно его сконфигурить. в общем такая прокладка, не дающая напрямую тратить ресурсы на бесполезный тисипи коннект нам помогла. но в вашем случае даже не знаю, при такой плотности юдипи, там наверное весь бэндвиф выбирается.

[Stanislav]

у меня была ситуация, когда бывший админ организовал ддос на нас. кластер и блок адресов выручал, но не очень-то. пиир1 отказался принимать меры и я после недели мытарств раскрутил начальство на нетскрин. у киски лицензирование каждой фичи показалось нам по деньгам негуманным. удалось довольно быстро и сносно его сконфигурить. в общем такая прокладка, не дающая напрямую тратить ресурсы на бесполезный тисипи коннект нам помогла. но в вашем случае даже не знаю, при такой плотности юдипи, там наверное весь бэндвиф выбирается.

Так вот в том то и дело, что до меня ничего не доходило - они просто null-route об'явили мой IP и весь трафик вылетел в трубу еще задолго до моих шкафов... Так что ставить какой-то девайс у себя - не имеет смысла - "вагон будет пустой"...
Я решил еще на один IP посадить продакшн - заведу еще кластер на лоад-балансере и round-robin DNS. Если опять атака - они один IP заблокируют, а другой живой будет (некоторое время )
В моем случае ПИИР1 обещал помочь, потому как при таких атаках это уже не на меня атака, а на ПИИР1-овские сетевые девайсы. Они сказали, что у них несколько линков по 10Гбит, но все равно все клиенты которые сидели этом линке тоже сдохли - вся полоса была выбрана.
А вообще хороший у них там раутер - обеспечил throughput 97%, правда тупо выкидывал все в черную дыру особо не напрягаясь, но все таки

[Stanislav]

а может проще поступить (правда не думаю, что это будет дешевле) и захоститься на Акамай?
Пусть у них голова болит как ДДОСы отбивать, впрочем учитывая их мощности положить их будет гораздо сложнее

Осталось только придумать как доставлять наш real-time контент на Акамай...

[Шэф]

когда будешь делать DNS round-robin не забудь проверку "на дохлый линк".
Скажем, есть IP1 и IP2. IP2 упал, а DNS так и будет тупо посылать половину запросов в никуда.
Чтобы избежать, DNS должен разрешать имя stanislav.xxx.com не в IP1 и IP2 по очереди, а в stanislav1.xxx.com и stanislav2.xxx.com, а только потом уже в IP1 и в IP2.
Параллельно IP1 и IP2 постоянно пингуются и если пинг вдруг не идет на IP2, то его алиас stanislav2.xxx.com->IP2 временно подменяется на stanislav2.xxx.com->IP1.
Ну ты понял идею.

Еще полезно сделать фичу типа "открытая http сессия всегда идет через тот же самый интерфейс", но это уже на файрволле. Я столкнулся с этим, когда коннект идет на IP1, а потом балансер гонит ответный траффик через IP2. А у клиента админ тоже не зря кашу ест, он сделал проверку на соответствие. В итоге было 2 месяца головняка с премежающимися непонятками и зависаниями, насилу разобрались.

коньяк будешь должен, начальству так и передай

[meser]

Так вот в том то и дело, что до меня ничего не доходило - они просто null-route об'явили мой IP и весь трафик вылетел в трубу еще задолго до моих шкафов... Так что ставить какой-то девайс у себя - не имеет смысла - "вагон будет пустой"...
Я решил еще на один IP посадить продакшн - заведу еще кластер на лоад-балансере и round-robin DNS. Если опять атака - они один IP заблокируют, а другой живой будет (некоторое время )
В моем случае ПИИР1 обещал помочь, потому как при таких атаках это уже не на меня атака, а на ПИИР1-овские сетевые девайсы. Они сказали, что у них несколько линков по 10Гбит, но все равно все клиенты которые сидели этом линке тоже сдохли - вся полоса была выбрана.
А вообще хороший у них там раутер - обеспечил throughput 97%, правда тупо выкидывал все в черную дыру особо не напрягаясь, но все таки

хорошо-бы еще 3-4 непересекающихся блока, пусть и небольших по 16 адресов. поставить на каждый блок по физическому интерфейсу и, соответственно 12 виртуальных интерфейсов. поставить туда лоад-балансер типа ha-proxy, который уже на реальные сервера будет раскидывать запросы. ну и днс раунд-робин на всю совокупность адресов, то наверное можно и отбиться. создать адекватную 10Gb плотность по 30-40 адресам - это еще ту ботнет надо! да не одну.

[lavep]

Осталось только придумать как доставлять наш real-time контент на Акамай...

так же как и

2 of the top 5 world stock exchanges (Source: WFE)
8 of the top 10 U.S. online brokers (Source: SmartMoney)

А поскольку

85% of the world’s Internet users are within a single “network hop” of an Akamai server

процентов 90-95 вероятности, что акамаевские сервера будут в том же дата центре пир1, где и твои серваки стоят. Так что все будет по локалке бежат, а наружу через акамай.

[meser]

...
Еще полезно сделать фичу типа "открытая http сессия всегда идет через тот же самый интерфейс", но это уже на файрволле. Я столкнулся с этим, когда коннект идет на IP1, а потом балансер гонит ответный траффик через IP2. ...

кроме "стики" айпи можно лоад балансер еще через роутинг сделать, что резко повышает эффективность по сравнению с нат. но это влечет работу в реальных адресах и если файрвол, то с возможностью транспарент моуд (файрволинг бридж). в общем нат для лоад балансера не очень подходящая штука.

[meser]

Осталось только придумать как доставлять наш real-time контент на Акамай...

так же как и

2 of the top 5 world stock exchanges (Source: WFE)
8 of the top 10 U.S. online brokers (Source: SmartMoney)

А поскольку

85% of the world’s Internet users are within a single “network hop” of an Akamai server

процентов 90-95 вероятности, что акамаевские сервера будут в том же дата центре пир1, где и твои серваки стоят. Так что все будет по локалке бежат, а наружу через акамай.

а разве акамаи и все 3d party контент деливери уже работают с динамическим контентом? до сих пор статический контент на их кэш-сервера нужно было заливать ручками. любые cgi запросы кидались на сервер впрямую, а статика, в том числе и потоковая бралась уже с евоных серверов.