Problemy Altus-Jordana.
Obserwujemy problemy z połączeniem optycznym Altus-Jordana.
Szukamy przyczyny.
Problemy Cogent – kontynuacja.
/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIXObserwujemy dalej problemy z jakością połączeń realizowanych dla EP-Global przez Cogent.
Wydaje się, iż Cogent nie jest w stanie udźwignąć ataków na hosty w sieciach ich polskich klientów, co skutkuje wypadaniem sesji i wysycaniem się ich łącz do upstreamów.
Koniec tego miesiąca będzie właściwym czasem na przemyślenie dalszej współpracy z CC.
Problemy Cogent.
/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIXObserwujemy problemy z jakością połączeń realizowanych dla EP-Global przez Cogent.
Mamy potwierdzenie, iż spowodowane są dużym DDOSem prowadzonym w ich klienta.
Obserwujemy, jesteśmy gotowi do składania sesji do nich.
DDOS 14.02.2014.
/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIXW dniu wczorajszym w godzinach dwóch naszych uczestników stało się ofiarą zmasowanego ataku DDOS.
W szczycie obserwowaliśmy ~60Gbps ruchu przychodzącego, ~62Mpps.
Do momentu uruchomienia blackholingu wysyceniu uległy niektóre styki do naszych upstreamów, oraz łącz tranzytowych.
Pracujemy nad wdrożeniem rozwiązania zapewniającego krótszy czas blokowania tego typu ataków.
Przepraszamy za kłopoty!
Ważny komunikat – DDOSy – kontynuacja #3.
/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIXW dniu dzisiejszym nastąpiła kolejna eskalacja problemu DDOS.
Tym razem otwarte serwery DNS w Waszych sieciach były obiektem zmasowanego ataku typu DNS amplification.
Niestety spowodowało to zerwanie sesji do niektórych upstreamów, których routery przestały sobie z tym ruchem radzić, lub odcięły nas w wyniku zadziałania mechanizmów ochronnych.
Nie mamy niestety rozwiązania tego problemu, gdyż nie jesteśmy w stanie filtrować czy blokować Waszych otwartych DNSów.
Niezbędne jest jego rozwiązanie poprzez ELIMINACJĘ przyczyny, czyli usunięcie/zabezpieczenie podatnych IP z własnych sieci.
Eliminację tę będziemy prowadzili poprzez odcinanie źródła problemu (czyli niezabezpieczonych sieci) od naszych usług oraz blackholling atakowanych adresów.
Co ciekawe, w dniu dzisiejszym zaobserwowaliśmy, iż w dalszym ciągu występują problemy z niektórymi sieciami z otwartym NTP, które otrzymywały ataki z innych niefiltrowanych na 123UDP łącz do internetu, a ruch wychodzący próbowały alokować na naszych łączach. Mechanizmy zabezpieczeń zadziałały, ruch nie został rozpropagowany.
Świadczy to jednak o absolutnym ignorowaniu naszych próśb i zaleceń realizacji skanowań i zabezpieczeń po swojej stronie.
Zalecamy bezzwłoczne skanowanie swoich podsieci pod kątem występowania na dostępnych z Internetu rzeczywistych adresach IP podatnych usług.
Ważny komunikat – DDOSy – kontynuacja #2.
/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIXW dniu dzisiejszym nastąpiła eskalacja problemu DDOS.
Po porannych skanach znalezione otwarte serwery NTP w Waszych sieciach zostały wykorzystane do amplifikacji zmasowanego ataku na różne hosty w Internecie.
W ekstremalnym momencie generowały one blisko 50 milionów pps ruchu wychodzącego.
Niestety spowodowało to zerwanie sesji do niektórych upstreamów, których routery przestały sobie z tym ruchem radzić.
Aby zapobiec dalszej eskalacji zdecydowaliśmy się na globalne zablokowanie ruchu wychodzącego od nas na port 123 UDP do Waszych IP.
Jeśli posiadacie inne niż epixowe łącza, taka blokada niewiele zmieni, gdyż Wasze podatne adresy IP będą wykorzystywane dalej do bycia ofiarą, lub kreowania ataków.
Proponujemy bezzwłoczne wdrożenie ACL na Waszych routerach, uniemożliwiające otrzymywania z Internetu (nie tylko globala, ale też innych usług z zewnątrz) zapytań z celem na Wasze adresy publiczne na porcie 123 UDP, oraz wysyłania ruchu z Waszej sieci z portu 123 do Internetu.
Żadne z powyższych zabezpieczeń nie rozwiązuje problemu, niezbędne jest jego rozwiązanie poprzez ELIMINACJĘ przyczyny, czyli usunięcie/zabezpieczenie podatnych IP z własnych sieci.
Przykładowe narzędzia (po realizacji powyższych ACL będą działały już tylko te z wewnątrz!):
Zalecamy bezzwłoczne skanowanie swoich podsieci pod kątem występowania na dostępnych z Internetu rzeczywistych adresach IP podatnych usług.
Ważny komunikat – DDOSy – kontynuacja.
/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIXW toku prowadzonej dalszej analizy zdarzeń z ostatnich kilkudziesięciu godzin możemy stwierdzić że:
Wczoraj 3.02.2014 od około godziny 12.00 do 18.00 następowało intensywne i szerokie skanowanie części sieci naszych uczestników (była to szersza akcja, obejmująca ogólnie polskie klasy adresowe).
Już wczoraj były też prowadzone pierwsze ataki na/z adresów na których znaleziono podatne usługi NTP/DNS.
W dniu dzisiejszym notujemy kolejne, ale bardziej ukierunkowane ataki, sprawdzając wyrywkowo ich adresy docelowe widać, iż są to precyzyjnie trafione niezabezpieczone hosty.
Analiza dzisiejszych zdarzeń wskazuje również, iż:
– daje się zauważyć, iż nasz poprzedni komunikat zmniejszył skalę ataków na adresy routerów i hostów usługowych naszych uczestników, niestety dalej zdarzają się niezabezpieczone,
– istotny udział jako źródła i cele mają obecnie adresy KLIENTóW naszych uczestników, czyli kolokacji, hostingów, ich routerów i firewalli czy nawet komputerów z zainstalowanym backdorami lub otwartymi podatnymi usługami.
Niestety, biorąc pod uwagę skalę ilości adresów IP do przeskanowania, aby ew. powiadomić Was o istnieniu zagrożenia, nie jesteśmy w stanie tego dokonać (aby zrobić to skutecznie zajęło by nam to kilka miesięcy, a i tak dane by były już nieaktualne).
Mamy uruchomione powiadomienia o zmianie charakterystyki ruchu, możemy więc na wasze życzenie reagować włączając BH dla atakowanych adresów, ale dopiero w sytuacjach, kiedy abusywny ruch wystąpi, nie jest to jednak rozwiązanie problemu.
Proponujemy bezzwłoczne, zewnętrzne skanowanie swoich podsieci pod kątem występowania na dostępnych z Internetu rzeczywistych adresach IP podatnych usług.
Ważny komunikat – DDOSy.
/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIXW ostatnich okresie obserwujemy CODZIENNIE wzmożony ruch oraz konkretne ataki na hosty w sieciach naszych uczestników.
Dodatkowo pojawił się również ruch wychodzący o charakterystyce abusywnej, co świadczy o tym, iż nieświadomie możecie brać udział w botnetach atakujących innych uczestników sieci.
Proszę o bezzwłoczne zajęcie się tematem, zanim nastąpi eskalacja problemu na poziom który zagrozi stabilności naszych i Waszych usług!
Chcemy uniknąć sytuacji, gdy w skrajnych przypadkach będziemy zmuszeni składać sesje użytkownika, lub blackholować jego sieć u naszych upstreamów.
Uwagi naszych inżynierów:
W związku z nasilonymi skanami sieci mającymi na celu wykrycie błędnie skonfigurowanych i niezabezpieczonych serwerów ntp prosimy wszystkich klientów o sprawdzenie swoich instalacji serwerów czasu.
Więcej informacji na temat tego czy Wasz serwer jest narażony na ataki ddos oraz mogący być ich źródłem poniżej:
https://cert.litnet.lt/en/docs/ntp-distributed-reflection-dos-attacks
Dodatkowo prosimy o sprawdzenie posiadanych instalacji serwerów DNS czy nie są narażone na ataki oraz mogą być ich bezpośrednim źródłem wykorzystywanym przez botnety do wykonywania ataków na innych.
Większość aktualnych ataków które nasilają się od około 3 miesięcy wymierzona jest w adresy ip które posiadają zainstalowane niezabezpieczone serwisy DNS/NTP.
Dla ataków DNS opis wykorzystania luki:
http://www.watchguard.com/infocenter/editorial/41649.asp
Przypominamy, iż podatne na ataki DNS/NTP mogą być nie tylko Wasze linuxy, to też routery, switche i inne urządzenia posiadające IP na dostępnych z internetu adresach!
Problemy TPIX.
/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIXWczoraj w godzinach od ok. 22.30 obserwowaliśmy problemy z dostępem do części polskiego Internetu.
Przyczyną był jeden z przełączników w TP-IX, awarię usunięto ok 23.20.
Problemy Sitel.
/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIXSitel informuje o konieczności rozłączenia na kilka minut łącza KAT-WAW, aby usunąć ujawnioną usterkę.