FAQ

#OptymalnaKomunikacja

Napisz zanim zadzwonisz
Preferujemy komunikację emailową.
Nawet jeśli sprawa jest pilna i według Ciebie wymaga kontaktu telefonicznego najpierw napisz emaila podając niezbędne, konkretne dane.

Adresuj z Głową
Używaj właściwych adresów e-mail do właściwych spraw, zawsze aktualna lista: https://www.epix.net.pl/o-epix/kontakt/
Zastanów się, kto jeszcze może być konieczny do załatwienia Twojej sprawy (dostawcy transmisji, usług obcych), i dodaj ich do kopii (CC:/DW:).

Temat jest najważniejszy
Temat emaila musi jednoznacznie odzwierciedlać treść.
Nie zmieniaj tematu maila przy odpowiedzi.
W temacie każdego maila do nas dodaj swój EPID.
Za poprawny identyfikator uznajemy Twój EPID pisany dużymi literami, w nawiasach kwadratowych, umieszczony na początku tematu maila, przykładowo: [TWÓJEPID] Zgłoszenie problemu …

Zawartość jest równie ważna
Zanim naciśniesz „wyślij” zastanów się czy w treści zawarłeś wszystkie informacje, które są potrzebne do zrozumienia zadania czy problemu przez odbiorcę.

Kontynuuj wątek
Zachowuj ciągłość wątków, nie kreuj kolejnych dotyczących tej samej sprawy.

Zachowuj porządek
W mailu poruszaj wyłącznie jedną sprawę, w szczególności dotyczy to zleceń/zamówień.
Nie poruszaj w jednym wątku innych spraw.
Jeśli chcesz zamówić kolejną usługę, czy zadać pytanie z innej półki, załóż kolejny wątek.
Dobrą wolą z naszej strony jest realizacja jednej sprawy z maila zawierającego ich więcej, najczęściej tej zgodnej z tematem.
Pisz w nowej sprawie nowego maila, nie odpowiedź do istniejącego, zwłaszcza w innym temacie, czy starym, zamkniętym wątku; nie wykorzystujemy poprzednich maili jako szablonów!

Odpowiedz WSZYSTKIM
Przy odpowiadaniu ZAWSZE używaj opcji odpowiedzi do wszystkich respondentów, np. Odpowiedz wszystkim / Reply to all.
Zaniechanie spowoduje zerwanie komunikacji, opóźnienia lub uniemożliwienie realizacji zleceń, czy usunięcia usterki.

Cytaty
Zachowaj logikę przy cytowaniu.
Odpowiadanie jednym wyrazem z cytowaniem całego wielostronicowego wątku jest mocno uciążliwe.

Potwierdzaj, Informuj o problemach
Potwierdzaj uruchomienie, rozwiązanie problemu.
Jeśli potrzebujesz więcej czasu na odpowiedź niż jeden dzień roboczy, poinformuj o tym podając spodziewany termin.
Zamykając sprawę informuj o szczegółach, czyli jak problem się rozwiązał, jeśli to nie my go rozwiązaliśmy.
Pomoże to tworzyć bazę wiedzy dla następnych pokoleń, administratorów i Użytkowników

Podpisz się, ale bez przesady
Wypada się podpisać, to jasne.
Ale nie dodajmy do naszych maili wielolinijkowych stopek, opowiadających historię Waszej firmy czy życia
Grube grafiki, tona HTMLa, dorzucanie podpisu do każdej najdrobniejszej odpowiedzi w wątku to dodatki mocno męczące i komplikujące komunikację optycznie.
Jak wyglądają takie maile po zacytowaniu przez kogoś używającego tekstu, innego kodowania, lub mniej sprytnie formatującej aplikacji nie trzeba nikomu przypominać: to koszmar.

Razem zmieniajmy rzeczywistość
Powyższe zasady przydadzą się nie tylko w komunikacji z EPIX.
Przestrzegaj powyższych reguł zawsze i nie bądź obojętny jak inni nie przestrzegają.
Zwracaj uwagę i edukuj innych.

EPID to identyfikator Operatora przydzielany w ramach procesu zawierania umowy ramowej, przed realizacją pierwszego zamówienia usługi w e-Południe/EPIX, a aktywowany po jego złożeniu.
Ma postać [EPID] i jest tworzony przez administratorów systemu EPID.pl na następujących zasadach:
– unikalność w skali systemu EPID.pl, oraz jak największa w całym Internecie,
– max 10 DUŻYCH znaków alfanumerycznych,
– zawiera skrót nazwy podmiotu + jako ew. uzupełnienie początek nazwy miejsca jego rejestracji,

Jak nie pamiętacie swojego EPIDa to możecie go uzyskać:
– z listy Użytkowników EPIX (link), tu są umieszczone aktywne EPIDy,
– z dowolnej FV,
– z opisu portu, który u nas macie (część dużymi literami to EPID)
– ostatecznie poprosić o podanie na info@epix.net.pl.

Używacie go w każdej korespondencji z nami (na początku tematu maila, dużymi literami, w nawiasie prostokątnym), przyspiesza nam to pracę i nie dopuszcza do pomyłek.

Po kolei:

1. Przeczytać CAŁE FAQ/regulamin, to uchroni od zadawania niepotrzebnych pytań i palenia czasu wolontariuszy i pracowników obsługujących Uczestników EPIX.
   Jeśli zapisy FAQ/regulaminu obowiązujące nas wszystkich (Uczestników i obsługę) Ci nie odpowiadają i ich nie akceptujesz, to daruj sobie dalsze działania, EPIX nie jest dla Ciebie odpowiedni 😉
   UWAGA!:
   W EPIX komunikacja mailowa to podstawa całej współpracy. Dzięki niej unikamy wielu niepotrzebnych papierologicznych utrudnień.
   Ale mamy w związku z tym ortodoksyjne podejście do formy mailowania, tu jest klucz do komunikacji z nami:
   https://www.epix.net.pl/faq/#toggle-id-1 
2. Zarejestrować się u nas, nie współpracujemy z nieznajomymi ;-):
   https://www.epix.net.pl/rejestracja/
   konta najlepiej założyć osobne dla techników (powiadomienia o awariach i pracach planowych) i menedżerów (oferty i inne informacje).
3. Wysłać na adres: umowy@epix.net.pl (wyłącznie na ten adres) maila z jednoznacznym tytułem (np: Dokumenty firmy xyz do umowy ramowej) zawierającego skany oryginałów dokumentów potwierdzających wpisy do rejestrów/ewidencji KRS lub CEiDG oraz NIP i RPT.
   Jeśli nie posiadacie urzędowych dokumentów prosimy o skany wydruków z odpowiednich rejestrów potwierdzone podpisem osoby uprawnionej za zgodność z oryginałem/stanem faktycznym.
   Spowoduje to rozpoczęcie procesu zawarcia umowy ramowej, która pozwoli nam na prostą realizację zadań poprzez zlecanie ich mailami. Sama umowa ramowa nie rodzi żadnych zobowiązań, takowe powstają dopiero po zrealizowaniu złożonych w przyszłości zamówień na jakieś usługi.
   Dostarczenie dokumentów jest wymagane przed złożeniem pierwszego zamówienia i wystąpienia o uruchomienie EPID.
   Sama umowa nie ma kruczków, gdyż bazujemy na zaufaniu i zadowoleniu, nie skomplikowanych kwitach. W EPIX sposobem na utrzymanie przy nas Uczestnika nie są długoterminowe lojalki, a długoterminowa satysfakcja.
   W mailu z dokumentami podajcie również:
   -adres mailowy lub domenę, z którego składane będą dyspozycje dot. zamówień,
   -adres mailowy do wysyłania faktur elektronicznych,
   -wskażcie osobę, która będzie podpisywać z Państwa strony umowę i jej adres mailowy. 
4. Po otrzymaniu potwierdzenia rozpoczęcia procedury zawierania umowy ramowej można zlecić nam uruchomienie EPID, poprzez wysłanie nam krótkiego maila z prośbą na epid@epix.net.pl (z jednoznacznym tytułem, np: Prośba firmy xyz o uruchomienie EPID). Po jego otrzymaniu można już zamawiać mailowo usługi (zamowienia@epix.net.pl), zgodnie z naszymi zasadami. Po wysłaniu nam pierwszego zamówienia EPID staje się aktywny.
5. Zamówić port (fizyczny lub wirtualny):
   https://www.epix.net.pl/oferta-katowice/dostep-do-epix/
   https://www.epix.net.pl/oferta-warszawa/dostep-do-epix/
   Przypominam jak zamawiać:
   https://www.epix.net.pl/faq/#toggle-id-5
   od tego momentu już (prawie) jesteście Uczestnikami EPIX 🙂
6. Dotrzeć do nas:
   https://www.epix.net.pl/o-epix/jak-sie-podlaczyc-do-epix/
   https://www.epix.net.pl/o-epix/operatorzy-transmisji/
7. Zamówić i uruchomić usługę OpenPeering:
   https://www.epix.net.pl/oferta-katowice/wymiana-ruchu-ip/
   https://www.epix.net.pl/oferta-warszawa/wymiana-ruchu-ip/
   Przypominam jak zamawiać:
   https://www.epix.net.pl/faq/#toggle-id-5
   wtedy już jesteście Użytkownikami punktu wymiany ruchu EPIX.
8. Skorzystać z innych usług (zwłaszcza dlatego, że z niewielkiej marży na nich finansujemy dodatkowe zasoby OpenPeering i inne fajne projekty dla Was):
   https://www.epix.net.pl/oferta-katowice/
   https://www.epix.net.pl/oferta-warszawa/
9. Podesłać na info@epix.net.pl logo Twojej firmy (transparentne, w grafice rastrowej, preferujemy PNG), umieszczając EPID w tytule e-maila.
10. Bazujemy na zaufaniu i zadowoleniu, nie skomplikowanych umowach. W EPIX sposobem na utrzymanie przy nas Uczestnika nie są długoterminowe lojalki, a długoterminowa satysfakcja.
11. Polubić nas na Facebook’u: https://www.facebook.com/EPIXNETPL i pochwalić się dołączeniem do nas.
12. Zaobserwować nas na Twitterze: @epoludnie – sprawy ogólne, nowości, lub @NocEPIX – technika, usterki, powiadomienia.
13. Zrealizować:
    https://www.epix.net.pl/peeringdb-bardzo-wazne-zadanie-dla-kazdego-uzytkownika-epix-openpeering/

Aby otrzymać usługę „Internet Operatorski z BGP” w najbardziej ekonomiczny i elastyczny sposób sugerujemy (poza portem w Warszawie, Katowicach lub Poznaniu) zamówienie następujących usług:

1. OpenPeering (Uczestnicy, lokalne peeringi i CDNy), pasmo to będzie stanowiło co najmniej 50% całości „Internetu”, tego pasma jest coraz więcej, wraz z przybywaniem uczestników EPIX, pasmo to otrzymujesz w przepływnością ograniczoną tylko Twoim portem/transmisją, nie musisz jej podawać/definiować.
   Usługę znajdziesz w naszej ofercie dla Warszawy, Katowic lub Poznania.
2. PolMix (uzupełniające OpenPeering zasoby polskiego Internetu pozyskane z różnych źródeł, w tym PLIX, POZIX i TPIX), pasmo to będzie stanowiło zazwyczaj od 15% całości „Internetu”,
   Usługę znajdziesz w naszej ofercie dla Warszawy i Katowic lub Poznania.
3. GlobalMix, lub inny globalny internet z naszej oferty, pasmo global to zazwyczaj od 15% całości „Internetu”
   Usługę znajdziesz w naszej ofercie dla Warszawy i Katowic lub Poznania.

Powyższe proporcje są brane pod uwagę przy przydzielaniu rabatu dla pakietu OPG.
W wypadku usług rozliczanych megabitowo nie jest wymagane precyzyjne podanie ich wartości w momencie zamawiania.
W zamówieniu wystarczy podać przepływność „TEST”, po uruchomieniu używać, zbalansować, zmierzyć, a właściwą wartość podać przed wystawianiem FV (ostatni dzień miesiąca).

Jeśli nie posiadasz własnego AS/numeracji IP możesz skorzystać wyłącznie z usługi EPInet.
Usługę znajdziesz w naszej ofercie dla Warszawy, Katowic i Poznania.

Działania w zakresie spraw handlowych w EPIX realizowane są droga mailową, właściwy adres to: zamowienia@epix.net.pl

Zasady:

1. Chcesz aby coś pojawiło się na FV = piszesz zamówienie, chcesz aby zniknęło = piszesz wypowiedzenie,
2. Zanim zaczniesz zamawiać, przypomnij lub uzyskaj EPID, info@epix.net.pl w tym pomoże,
3. Piszesz nowego maila, nie odpowiedź do istniejącego, zwłaszcza w innym temacie, czy starym, zamkniętym wątku; nie wykorzystujemy poprzednich maili jako szablonów,
4. W adresatach ma być wyłącznie adres zamowienia@epix.net.pl, inne potrzebne adresy dodajemy w kopii (DW/CC),
5. Format tematu: [twój_EPID] Zamówienie/Zmiana/Wypowiedzenie/Cesja – nazwa usługi (nazwę usługi uzyskasz z naszego cennika),
6. W treści piszesz co i na który port zamawiasz, jego ID uzyskasz z własnego systemu paszportyzacji, maili o uruchomieniu portu, wiadomości dostarczających faktury lub ostatecznie pod: info@epix.net.pl,
7. W przypadku usług z rozliczeniem pasma podajesz przepływność:
   – konkretny commitment w megabitach (dostępne pasmo będzie dwukrotnie większe),
   lub
   – TEST (jeśli nie masz aktualnie wiedzy ile usługi zamówić; po testach przed końcem okresu rozliczeniowego podajesz commitment, do czasu podania deklaracji całe zużycie pasma będzie trafiać do bursta),
   lub
   – WSPÓŁDZIELONY, jeśli usługa jest drugą lub kolejną rozliczaną we współdzielonym commitmentem,
8. W jednym mailu zamawiasz/modyfikujesz/wypowiadasz wyłącznie jedną usługę, jeśli potrzebujesz załatwić więcej tematów = piszesz więcej e-maili,
9. Zamówienia przyjmujemy na podstawie maili wysłanych z domeny Uczestnika, przez osobę upoważnioną do reprezentowania woli ISP,
10. Zamówienia są realizowane najszybciej jak to możliwe, zgodnie z terminarzem,
11. Zamówienia niezgodne z zasadami trafiają do kolejki i są przetwarzane w wolnym czasie, bez gwarantowanego terminu rozpatrzenia.

Przykłady (w nawiasach kwadratowych przykładowe EPIDY)

Port fizyczny 10G w Katowicach:
Temat: [PRZYKLADNET] Zamówienie KTWPTLR
Treść:
Zamawiamy KTWPTLR w węźle 4DC1.
Transmisja realizowana przez Exatel/Netia/lokalna z mojego przełącznika.

Port fizyczny 40G w Poznaniu, z zadeklarowaną przepływnością 20G:
Temat: [PRZYKLADNET] Zamówienie POZPFLR4@20G
Treść:
Zamawiamy POZPFLR4@20G w węźle BEY2.
Transmisja realizowana przez Exatel/Netia/lokalna z mojego przełącznika.

Port wirtualny:
Temat: [PRZYKLADNET] Zamówienie KTWPW1G
Treść: Zamawiamy KTWPW1G na porcie fizycznym SxxxPyyy [PRZYKLADLAN].
Uwaga: Wymagane dołączenie w korespondencji właściciela portu fizycznego, tu [PRZYKLADLAN], w celu wyrażenia zgody!

Wymiana ruchu:

Temat: [PRZYKLADNET] Zamówienie KTWOP10G
Treść: Zamawiamy KTWOP10G na porcie SxxxPyyy.
Dane:
1. AS
2. ASSET (jeśli posiadasz)
3. MAC adres routera
4. Czy podajemy ją na tagowanym vlanie 4090 (w WAW 992) , czy nietagowaną na access.

Tranzyt globalny:

Temat: [PRZYKLADNET] Zamówienie WAW-Global.Mix
Treść: Zamawiamy WAW-Global.Mix na porcie SxxxPyyy z przepływnością xxxMbps lub TEST.

Tranzyt polski:

Temat: [PRZYKLADNET] Zamówienie KAT-PolMix
Treść: Zamawiamy KAT-PolMix na porcie SxxxPyyy z przepływnością: xxxMbps lub TEST lub współdzieloną z WAR-PolMix.

Transmisja/VLAN w zakresie jednego węzła EPIX:
Temat: [PRZYKLADNET] Zamówienie WAW-VLAN do [PRZYKLADLAN]
Treść: Zamawiamy WAW-VLAN na porcie SxxxPyyy  do portu SxxxPyyy [PRZYKLADLAN] .
Uwaga: Do korespondencji dodajesz wszystkich, z którymi trzeba uzgodnić VID!

Transmisja/VLAN między węzłami EPIX:
Temat: [PRZYKLADNET] Zamówienie WK-VLAN do [PRZYKLADLAN]
Treść: Zamawiamy WK-VLAN na porcie SxxxPyyy do portu SxxxPyyy [PRZYKLADLAN] .
Przepływność xxxMbps (lub TEST jeśli nie wiecie ile).
Uwaga: Do korespondencji dodajesz wszystkich, z którymi trzeba uzgodnić VID!

Zmiana przepływności commitment usługi WAW-GlobalMix:
Temat: [PRZYKLADNET] Zmiana WAW-Global.Mix
Treść: Zamawiamy podniesienie przepływności WAW-Global.Mix do 1000Mbps.

Zmiana przepływności commitment usługi GlobalMix posiadanej w dwóch węzłach (we współdzielonym commitmencie):
Temat: [PRZYKLADNET] Zmiana Global.Mix
Treść: Zamawiamy podniesienie przepływności Global.Mix do 100Mbps, na wszystkich vlanach.

Zmiana przepływności portu wirtualnego:
Temat: [PRZYKLADNET] Zmiana portu wirtualnego SxxxPyyy.
Treść: Zamawiamy zmianę portu wirtualnego SxxxPyyy na KTW-PW5000.

Wypowiedzenie portu:
Temat: [PRZYKLADNET] Wypowiedzenie POZPFLR4
Treść: Wypowiadamy port SxxxPyyy.

Działania w zakresie spraw technicznych w EPIX realizowane są droga mailową, właściwy adres to: noc@epix.net.pl

Zasady:

1. Zanim zaczniesz pisać maila ze Zgłoszenia, przypomnij sobie lub uzyskaj EPID, i użyj go na początku tematu maila,
2. Piszesz nowego maila, nie odpowiedź do istniejącego, zwłaszcza w innym temacie, czy starym, zamkniętym wątku. Nie wykorzystujemy poprzednich maili jako szablonów, gdyż powoduje to wątkowanie z nimi = brak obsługi.
3. W adresatach ma być wyłącznie adres noc@epix.net.pl, inne potrzebne adresy dodajemy w kopii (DW/CC),
4. W temacie piszemy:
   [twój_EPID] Zgłoszenie usterki/przeniesienie – nazwa usługi (nazwę usługi uzyskasz z naszego cennika albo maila dostarczającego Ci fakturę VAT).
5. W treści piszesz czego oczekujesz, podając jak najwięcej informacji, które pozwolą zdiagnozował problem, ping, tracert, etc.
6. W jednym mailu zgłaszasz/zlecasz jedno działanie, jeśli potrzebujesz załatwić więcej tematów = piszesz więcej e-maili,
7. Zgłoszenia przyjmujemy na podstawie maili wysłanych z domeny Uczestnika, przez osobę upoważnioną do reprezentowania woli ISP,
8. Zgłoszenia są realizowane najszybciej jak to możliwe, zgodnie z zasadami obsługi Uczestnika,
9. Zgłoszenia niezgodne z zasadami trafiają do kolejki i są przetwarzane w wolnym czasie, bez gwarantowanego terminu rozpatrzenia.

Przykłady (w nawiasach kwadratowych przykładowe EPIDY, zastąp swoim przed wysłaniem):

Zgłoszenie usterki:
Temat maila:
[TWÓJEPID] Zgłoszenie usterki KTW-PolMix
Treść maila:
Zgłaszamy usterkę KPM na porcie S0xxP0xx.
Objawia się ona …

Oczywiście standardową procedurą dla usług własnych EP jest zamówienie danej usługi w trybie przepływności TEST.
Po 7 dniach (a najpóźniej przed końcem okresu rozliczeniowego) testów należy zdefiniować przepływność commitment.
Okres testów może zostać przedłużony ze względu na szczególne okoliczności, wymaga to uzgodnienia mailowego.
Testujący będzie obciążony kosztami wygenerowanego ruchu, dotyczy to usług za które EPIX płaci według zużycia swoim dostawcom.
W przypadku braku podania nowej deklaracji pasma do momentu naliczania opłat całe zużycie będzie trafiać do przekroczenia (burst).
Powyższa procedura nie dotyczy usług obcych, ich testowanie może być inaczej uwarunkowane, płatne, albo niemożliwe, proszę pytać.

Tak.

1. Podnoszenie przepływności.
   Przepływność burst dowolnej usługi może być podniesiona na podstawie zlecenia Uczestnika, w dowolnym momencie.
   Dopuszczamy jedną zmianę w miesiącu.
   Jest ona dokonywana technicznie najszybciej jak to możliwe, z reguły do 48h (nie dotyczy operatorów Tier, możliwe kilka dni).
   Przyjmujemy billingowo, iż zlecenie zmiany przepływności dotyczy miesiąca rozliczeniowego w którym je otrzymaliśmy, jeśli ma dotyczyć okresu przyszłego musi to być wyraźnie wyartykułowane.
2. Zmniejszanie przepływności.
   Zmniejszenie przepływności usług EPIX może być zlecone w dowolnym momencie, zostanie jednak dokonane w pierwszym dniu następnego miesiąca i tak też rozliczane.
   Dopuszczamy jedną zmianę na 3 miesiące korzystania z usługi.
   Zmniejszenie przepływności usług obcych może przebiegać na innych zasadach, proszę pytać.

UWAGA: EPIX nie stosuje rozliczania okresami innymi niż pełne miesiące billingowe.

Zasady zamawiania zmian:
https://www.epix.net.pl/faq/#toggle-id-5

Staramy się, aby nasze usługi były jak najbardziej elastyczne i żeby Uczestnicy korzystali z nich jak najdłużej z powodu satysfakcji a nie przybicia twardymi umowami.
Dlatego znacząca większość usług w EPIX nie posiada okresu minimalnego ich świadczenia (lojalki).
Okres wypowiedzenia każdej usługi to 3 miesiące, liczony pełnymi miesiącami kalendarzowymi.
W wypadku zamiany jednej naszej usługi na inną NASZĄ (tej samej kategorii, w tym samym węźle) nie wymuszamy okresu wypowiedzenia, możemy to zrobić na przełomie najbliższego okresu rozliczeniowego.
W okresie obowiązywania kontraktu można zmieniać przepływności usług, warunki zmian znajdziecie tutaj.

Usługa OpenPeering w EPIX świadczona jest na bazie vlana L2 publicznego, do którego dostęp mają tylko autoryzowane przez nas urządzenia.
Każda zmiana MAC Waszego routera musi być zgłoszona do NOC EPIX.
Zezwalamy na utrzymanie dwóch MACów na czas np. planowej wymiany routera, do 48 godzin.
Jeśli chcesz utrzymać dostęp dla dwóch routerów produkcyjnie – zamów drugi komplet sesji.

Autoryzacja adresem MAC jest realizowana i wymagana wyłącznie dla usługi OpenPeering.

Nie gwarantujemy, iż tranzytowany przez naszego Uczestnika AS jego klienta będzie otrzymywał ruch od wszystkich Uczestników węzła, bo zależy to od ich polityki kierowania ruchem.
Szczególnie dotyczy to CDNów i dużych operatorów, którzy wymagają bezpośrednich sesji z naszymi RSami i oddają ruch wyłącznie do Uczestników z aktywnymi sesjami do obu, oraz z DNSem na adresacji rozgłaszanej w węźle.

UWAGA TECHNICZNA:

W przypadku rozgłoszeń prefixów do tranzytowanych ASów prosimy pamiętać o odfiltrowaniu i nie rozgłaszaniu do nich prefixów:
GGC: 185.48.9.0/24 le 26, 176.126.59.64/26, 94.246.183.0/24 le 26 (nie jest konieczne – dostęp do tych prefixów realizowany jest tylko przez EPIX)
AKAMAI: 185.225.251.0/24  – (jest konieczne wyfiltrowanie – dostęp do tych prefixów można otrzymać przez KIX/TPIX/PLIX/CIX/PIX i inne IX-y)

Tak, jeśli mówimy o usłudze transmisji danych poprzez sieć EPIX, czyli usług KAT-VLAN, WAR-VLAN międzymiastowej transmisji KAT-WAR, to jasne.
Ale absolutnie nie dopuszczamy konfiguracji:
– vlanów z usługami EPIX na więcej niż jeden port,
– vlanów z usługami obcymi na więcej niż jeden port,
– vlanów transmisyjnych lub transportowych na więcej niż dwa porty
ze względu na bezpieczeństwo i stabilność sieci EPIX.

UWAGA: Jeśli podczas przenoszenia vlanów między portami (na przykład podczas upgrade czy zmiany operatora transmisji) potrzebujecie zachować ciągłość usługi możemy to zrealizować odwracając sytuację, czyli po Waszej stronie wystawiacie vlan na dwa porty jednocześnie, my przenosimy między portami o umówionym czasie, na dwie konsole, czyli najmniej przerwowo.

Zakładając posiadanie OpenPeerigu, Polmixa, Global proponujemy:
Dla sesji OpenPeering ustawić localpref 300 dla prefiksów otrzymywanych. Nie ustawiać prependowania.
Dla sesji POLMIX ustawić localpref 200 dla prefiksów otrzymywanych, ustawić prepend o długości 1 AS na kierunku w stronę EPIX .
Dla sesji GLOBAL ustawić localpref 100 dla prefiksów otrzymywanych i ustawić prepend o długości 2 AS na kierunku w stronę EPIX .

UWAGA: Ostateczny efekt ustawień widać po kilku dniach, gdy ruch z różnych CDN dostępnych w EPIX, które sprawdzają długości ścieżek AS, ale są również powiązane z mechanizmami DNS się ustabilizuje.

Nie da się, musi sam chcieć 🙂
Ale można mu pomóc podjąć właściwą decyzję:

1. Należy mieć połączone obie sesje BGP OpenPeering, do RS1 oraz RS2 (KLUCZOWE!),
2. Należy używać WŁASNEGO DNS, a nie używać dla klientów z DNS Orange 194.204.159.1 czy google 8.8.8.8.
3. Rozgłaszając zasoby do EP.OpenPeering w trasie nie może być żadnego prepend-a,
4. Na sesjach innych niż do EP.OpenPeering, w których może występować GGC (np. EP.Polmix, PLIX, TP-IX, PIX, 3S-IX, Netia, Orange Metro) należy rozgłosić swoje prefixy z minimum 1x prependem,
5. Na innych sesjach, w zależności od operatora należy rozgłosić communities blokujące rozgłaszanie do GGC, np: 0:24748 0:65001 29535:110 36040:65000, 12741:35100,
6. Rozgłaszane do EP.OpenPeering zasoby powinny zawierać prefixy, a w tych prefixach musi być zawarty DNS z którego korzystamy w naszej sieci.
7. Nie używać forwarderów w swojej konfiguracji DNS, a jeżeli już używamy forwarderów – należy skonfigurować EDNS: http://tools.ietf.org/search/draft-vandergaast-edns-client-ip-00
8. Nie należy korzystać z communities pogarszających GGC – zakres communities 50607:1000X,
9. W celu zapewnienia symetryczności ruchu należy ustawić wysokie preferencje na EPIX.
10. Należy zadbać, aby na trasie moja_sieć – EPIX pingi nie wzrastały ponad 10ms, oraz aby nie było strat lub zbyt dużej ilości retransmitów TCP (kluczowe!).
11. Dla GGC jednym z parametrów przypisania do danego węzła jest geolokalizacja adresów IP, jeśli jesteście daleko od naszego węzła, tym bardziej musicie zadbać o zapewnienie niskich czasów i wszystkich pozostałych wskazówek.

Po uwzględnieniu wszystkich powyższych wskazówek trzeba uzbroić się w cierpliwość i najlepiej nie zmieniać ustawień BGP przez conajmniej 24 godziny.
Pozwoli to na propagację zmian w sieci Googla i zmianę primary GGC dla naszej sieci na EPIXowy.
Zmiany te mogą nastąpić równie dobrze po kilku minutach, ale obserwowaliśmy nawet 30 godzinną reakcję na zmiany konfiguracji.
GGC w EPIX mają adresację:

Węzeł w Katowicach (AS50607): 185.48.9.0/26, 185.48.9.64/26, 185.48.9.128/26, 185.48.9.192/26, 176.126.59.64/26.

Węzeł w Warszawie (AS48850): 94.246.183.0/24.

Pomocne w powyższych działaniach narzędzia są dostępne w zakładce „Narzędzia”, zwłaszcza sprawdzacz skąd dostajecie GGC: http://redirector.googlevideo.com/report_mapping
Żeby ustalić z jakiego hosta klastra przychodzi Google trzeba zrobić mtr/trace do domeny „youtube.pl” ( bez www na początku ).

No i warto rozumieć jak działa GGC:
http://www.afnog.org/afnog2008/conference/talks/Google-AFNOG-presentation-public.pdf
https://peering.google.com/about/faq.html
http://networkengineering.stackexchange.com/questions/2622/how-to-switch-to-a-different-google-global-cache

Tak.
Obsługa blackholingu na usługach EPIX uruchamiana jest na zamówienie Uczestnika, na: noc@epix.net.pl.
Akceptowana długość rozgłaszanego prefixu oznaczonego blackhole community w ramach prefix listy klienta to /32.

Dostępne community:
KTW-OpenPeering – 62047:666
KTW-PolMix – 4446:666
KTW-GlobalMix – 50607:666
WAW-OpenPeering – 48850:666
WAW-PolMix – 4446:666
WAW-GlobalMix – 62081:666
POZ-OpenPeering – 21226:666
POZ-PolMix – 4446:666
POZ-GlobalMix – 15653:666
EPiNET – 50607:666

Przykład zastosowania:

1. Klient identyfikuje atakowany adres IP w jego sieci, ręcznie lub automatycznie.
2. Klient (po zgłoszeniu do EPIX prośby o załączenie obsługi blackhole community i uruchomieniu po stronie EPIX) oznacza atakowany adres blackhole community i wysyła ten prefix do routerów EPIX.

Przykładowa konfiguracja Cisco/Quagga:
router bgp Twój AS
network X.X.X.X mask 255.255.255.255 route-map blackhole
route-map blackhole permit 10
set community 50607:666

Jeśli posiadasz bezpośrednią sesję z ich routerem, czy to przez usługę EPIX, czy własną, bezpośrednią umowę z nimi, realizujesz uruchomienie BH samodzielnie, przez kontakt z INOC.
Piszesz maila (po angielsku) na: inoc@gtt.net podając w temacie i treści: swój AS oraz SLID usługi GTT (dostałeś go mailem przy uruchomieniu).
Jeśli usługę GTT fakturuje Ci EPIX, dorzuć też noc@epix.net.pl w kopii.

Tak można jednak należy spełnić kilka warunków:

1. Druga sesja musi być terminowana do innego routera (inny mac address)
2. Trasa prowadząca do drugiego routera musi mieć zakończenie w odseparowanym segmencie L2 klienta (tak aby nie powstała pętla)
3. Usługa EPIX openpeering musi być wystawiona na portach EPIX jako access (nietagowany ruch)

Czego należy dopilnować po stronie klienta.

1. Oba porty na których odbierana jest usługa EPIX openpeering po stronie klienta posiadają unikalne numery vlan
2. Oba vlany odebrana na portach EPIX przez klienta terminowane są w dwóch różnych routerach.

Przykład:
Klient A odbiera usługę EPIX openpeering w dwóch portach
Pierwszy port na węźle X a drugi port na węźle Y

• EPIX uruchamia usługę EPIX openpeering jako access na obu portach
• Klient odbiera usługę na dwóch różnych portach po swojej stronie gdzie na pierwszym porcie ma ustawiony przykładowo „access vlan 100” a na drugim porcie „access vlan 200”

I te oba vlany już jako tagowane lub nietagowane kierowane są do routerów docelowych.

Uwaga

W przypadku kiedy klient posiada do EPIX openpeering więcej niż jeden port konfiguracja portów posiada bardzo rygorystyczne limity dotyczące storm control.
Więc w przypadku kiedy klient dokona „pętli” najprawdopodobniej oba porty klienta zostaną wyłączone na 10minut.

Wpis w tabeli (i punkt na mapie) pojawia się automatycznie i automatycznie jest uzupełniany o kolejne elementy po ich zamówieniu, uruchomieniu, przyjęciu i dokonaniu billingowania.
Jedyną rzeczą do uzupełnienia jest logo (transparentne, w grafice rastrowej), które należy podesłać na adres info@epix.net.pl, umieszczając EPID w tytule e-maila.
Jeśli miejsce działania nie pokrywa się z miejscem rejestracji można poprosić info@epix.net.pl o zmianę lokalizacji.

Publikacja anonsów o dołączeniu lub zmianach realizowana jest w kolejności realizacji. Kolejka do publikacji to od kilku tygodni do kilku miesięcy w zależności od jej typu.

Niestety, nie zajmujemy się tymi tematami, nie mamy takich zasobów ludzkich.
Na rynku istnieją jednak specjalizujące się w tych zagadnieniach firmy.
Uzyskanie AS i adresacji IPv6 załatwi np:
lir@artcom.pl >>> dostawca oferuje upusty dla EPIXowców
marcin@leon.pl

Dzierżawa adresacji IPv4:
http://www.ipaddress.pl >>> dostawca oferuje upusty dla EPIXowców
http://www.ip4isp.pl >>>  dostawca oferuje upusty dla EPIXowców
http://lipowski.org >>>  dostawca oferuje upusty dla EPIXowców

Sprzedaż i pozyskiwanie na własność (LIR) adresacji:
http://www.ipaddress.pl >>> dostawca oferuje upusty dla EPIXowców
http://lipowski.org >>>  dostawca oferuje upusty dla EPIXowców

Żeby testować skąd przychodzi Akamai trzeba mtr/trace do jednej ze znanych stron klientów AKAMAI, np: www.intel.com, www.apple.com, www.samsung.com, www.whitehouse.gov.
WAŻNE:  adresy, które oddają treści zmieniają się często w czasie.

Od 2014r prowadzimy agregację zakupów ISP usługi IPTransit (dostępu do globalnego Internetu) w GTT.
Dzięki kumulacji potencjału i wolumenu praktycznie co miesiąc cena tej usługi jest niższa.
Technicznie usługa dla ISP jest identyczna, może być odbierana vlanem czy na dedykowanym porcie, nie zmienia się nic poza sposobem fakturowania (dostajecie FV od nas).
Zapraszamy do współpracy z nami, to korzyść dla wszystkich!
Aby zagregować swoje zakupy z nami trzeba:

1. Znaleść i zweryfikować umowę z GTT, często miewała ona zapisy o automatycznym odnawianiu się na terminową 12 lub 18 miesięcy. Trzeba sobie dopilnować złożenia wypowiedzenia co najmniej 90 dni (a w niektórych umowach nawet pół roku) przed końcem takiego okresu lojalnościowego. Najlepiej złożyć je od razu aby nie zapomnieć 😉
2. Poczytać: Instrukcję Klienta GTT
3. Wysłać wypowiedzenie (po angielsku) na disconnects@gtt.net i czekać na Disconnect Acknowledgement Letter, jak w parę dni nie przyjdzie to atakować, molestować.
   Przykładowa treść wypowiedzenia:
   Temat: End of contract
   Dear Sir/Madam  We wish to cancel our service because end of contract on 201x-xx-xx. Our PON number is xxx. If you have any question please send me en email to xxx. Best Regards
   Podpis.
4. Zamówić nową usługę GTT w EPIX, zostaniesz za nią obciążony dopiero od momentu rozpoczęcia korzystania, nie pobieramy także opłat za jej uruchomienie (chyba że na dedykowanym, nowym porcie).

Aby mieć dostęp do opublikowanych anonsów EPIX B2B trzeba być zarejestrowanym użytkownikiem strony www.epix.net.pl.
Aby otrzymywać powiadomienia mailowe o publikacji należy zaznaczyć B2B w panelu subskrybcji.

Upewnij się, że jesteś zarejestrowanym użytkownikiem www.epix.net.pl.
Napisz maila na b2b@epix.net.pl.
Jego zawartość zostanie wykorzystana jako treść anonsu, który zostanie wysłany do wszystkich zarejestrowanych użytkowników www.epix.net.pl, czyli blisko 2000 operatorów telekomunikacyjnych i opublikowany TU.
Mail powinien zawierać kluczowe informacje, takie jak:
– czego szukacie (transmisja, kolor, włókno),
– jakie cechy ma to czego szukacie (prędkość, rodzaj medium, cena, SLA),
– dość precyzyjny adres, lub ew. kilka adresów jednej strony łącza,
– wyszczególnienie do którego węzła EPIX (Warszawa, Katowice, dowolnego) ma być zestawione łącze,
– zastrzeżenie, że łącze nie może korzystać z konkretnej trasy, lub operatora (redundancja),
– namiary na siebie, pozwalające skontaktować się oferentowi bezpośrednio z Tobą,

Pamiętaj, treść maila ma zawierać gotowy do wklejenia anons, bez poprawiania błędów stylowych i ortograficznych, gdyż nie mamy zasobów/ludzi do tego.
To co wysyłacie na B2B w takiej postaci dotrze do bardzo wielu odbiorców!

Tak, wystarczy zamówić odpowiedni port z naszej oferty (końcówki kodów usług -1J/-2J), ale obowiązują zasady:
1. Wkładka ma mieć interfejs fizyczny LC, nie mamy innego okablowania w naszych szafach, nie dopuszczamy konwersji.
2. Wkładka musi być zaprogramowana dla Extreme Networks (x690/x695).
3. Maksymalny pobór energii / wydzielanie ciepła wkładki nie może przekraczać 500mW (większość wkładek spełnia ten warunek, wkładki na 80km+ mogą być problematyczne i trzeba to zweryfikować).
4. Uczestnik samodzielnie i dostarcza wkładkę do właściciela kolokacji węzła i zleca jej obsadzenie w przydzielonym porcie na własny koszt, rolą EPIX jest udzielenie zgody, o którą mailowo prosi Uczestnik.
5. Po zakończeniu eksploatacji Uczestnik odbiera wkładkę od właściciela kolokacji z własnej inicjatywy i na własny koszt.
6. Wkładki nie odebrane przez Uczestnika w terminie do 3 miesięcy od zakończenia eksploatacji będą utylizowane.

UWAGA:
Używając własnej wkładki Uczestnik bierze na siebie odpowiedzialność za całość łącza. EPIX odsuwa od siebie odpowiedzialność za diagnozowanie i usuwanie ew. problemów z tym związanych.

Mikrotik RouterOS i RFC3021 – 31 bitowa maska podsieci

Mikrotik RouterOS w teorii nie jest zgodny RFC3021. Konfiguracja adresu IP z maską /31 powoduje że sesja BGP nie zestawia się lub po zestawieniu komunikacja działa tylko w jednym kierunku. 

Można obejść ten problem w następujący sposób. Skonfigurować adres IP z maską /32, a jako adres sieci podać adres IP drugiej strony połączeniówki.

Przykład:

Od EPIX otrzymałeś takie dane:

IP EPIX 172.17.18.2/31

IP KLIENT 172.17.18.3/31

VLAN 2674

Konfiguracja Mikrotika:

/ip address add address=172.17.18.3 network=172.17.18.2 interface=vlan2674

Winbox:

Rozliczanie percentylem.
Rozliczanie percentylem (w EPIX wyłącznie 95-tym) opiera się wykorzystaniu do niego wyników mierzenia zużywanej przepływności w zakresie miesiąca kalendarzowego, gdzie 5% najwyższych sampli pomiarowych jest odrzucanych.

Usługi rozliczane w ten sposób posiadają dwa parametry:
– commitment (czyli deklaracja lub zobowiązanie) – jest to wartość (95-tego percentyla) przepływności, którą deklarujemy jako typową/maksymalną dla naszego sposobu korzystania,
– burst (czyli wystrzał, wyskok) – jest to wartość (95-tego percentyla) przekroczenia ustalonej przepływności commitment,
– maksymalny burst – maksymalna wartości ruchu możliwego do osiągnięcia na usłudze (rate limit, czyli tzw. sufit).
Zasady deklaracji stosowana jest w celu motywowania Uczestników do definiowania wartości commitment jak najbardziej zbliżonej do rzeczywistości i podwyższania jej wraz ze wzrostem potrzeb, co powoduje po naszej stronie zwiększanie deklaracji u dostawców hurtowych = zmniejszanie cen.
Sygnałem przekraczania commitmentu jest pojawianie się na FV pozycji burst.

Przykład: Jeśli deklarujemy 100Mbps commitment, a w wykresie miesięcznym (95th) wychodzi nam 125Mbps zużycia, to za 100Mbps pasma zapłacimy w cenie commitment, a za 25Mbps w cenie (nieco wyższej) burst. Maksymalny burst określona jest w opisie konkretnej usługi, ale z reguły ustawiana jest x2, czyli sufit ustawiamy na 200Mbps.
Porada: Polecamy ustawianie sobie w systemie monitorowania sieci triggera na  każdej z sesji: commitment + np. 10% i zdefiniować że jeśli takie przekroczenie trwa powyżej kilku godzin = alarm, aby móc zareagować na zwiększenie się zapotrzebowania i zamówić odpowiedni upgrade pasma (albo zbadać co powoduje ten wzrost, np. DDOS, utrata innej usługi, zmiana ścieżek i usunąć nierównowagę).

UWAGA!
Usługi tranzytów globalnych są również rozliczane w hurcie (u naszych dostawców) 95 percentylem w zakresie miesiąca, czyli generują u nas koszt proporcjonalny do zużycia.
Oznacza to, iż jeśli w bieżącym miesiącu używa się takiej usługi produkcyjnie dłużej niż 36 godzin (= 5% odrzucanych sampli, w teorii) zostaną Wam naliczone opłaty jak za cały miesiąc korzystania.
Jeśli dostaliście dane do nowej usługi, a miesiąc jest już zaawansowany to przemyślcie, czy nie chcecie rozpocząć korzystania dopiero z początkiem kolejnego, a w bieżącym tylko sprawdzić poprawność jej konfiguracji poprzez uruchomienie i ew. parę godzin testów, tak aby nie naliczył się 95 percentyl.

Rozliczanie percentylowe ze wspólnym (współdzielonym) commitmentem.

Dla wygody i oszczędności Uczestników w EPIX jest możliwe rozliczanie usług percentylowo jednocześnie ze współdzielonym commitmentem, dotyczy to wyłącznie tych samych usług, z identyczną ceną.
Umożliwia to zamówienie dowolnej ilości sesji, w dowolnym naszym węźle (czy dwóch węzłach) definiując jeden commitment, co pozwala budować usługi redundantne na różnych poziomach (naszych i Waszych routerów, czy łącz transmisyjnych) w najkorzystniejszych na rynku cenach.
Rozliczenie z naszej strony polega na sumowaniu wartości 95 percentyla zmierzonych na wszystkich usługach współdzielonych i odjęcie od uzyskanego wyniku zdefiniowanego commitmentu.
Na każdej z sesji można osiągnąć przepływność zgodną ze zdefiniowaną w opisie usługi, z reguły 2 x commitment.

UWAGA!
Dzięki możliwości rozliczania we współdzielonym commitmencie zyskujemy znaczne oszczędności, ale należy pamiętać, iż powyższy sposób rozliczanie niesie za sobą pewne zagrożenia, wymaga więc odpowiedzialności w użytkowaniu i monitorowaniu.
Zwracamy szczególnie uwagę na możliwe do wygenerowania wartości sumy burstów, które przy dwóch sesjach mogą osiągnąć nawet 4x commitment, przy trzech 6x commitment, a powodem tego może być:
– otrzymywanie DDOSów, mogą one przychodzić jednocześnie na wielu sesjach,
– użycie innej sesji niż używana jako główna do celów awaryjnych, ale dłużej niż 36h,
– przerzucenie się ruchu z jednej sesji na inną w zakresie jednego miesiąca rozliczeniowego, czy przypadkowe, czy też świadomie,
– zmiana polityki kierowania i przyjmowania ruchu przeprowadzona w trakcie miesiąca,

Przykład: Uczestnik zdefiniował 100Mbps usługi global jako współdzielony commitment dla dwóch sesji, w Katowicach i Warszawie. Zazwyczaj użytkował pasmo głównie na sesji z Warszawy, ale w środku miesiąca spotkała go awaria routera, gdzie po jej usunięciu ruch nie wrócił do Warszawy, ale pozostał na sesji z Katowic. W wykresach zobaczyliśmy 90Mbps z Warszawy i 80Mbps z Katowic, co po sumowaniu percentyli dało 170Mbps. Użytkownik otrzyma FV na 100Mbps w cenie commitment, oraz dodatkowo 70Mbps w cenie burst, nie możemy od tego odstąpić, gdyż w Katowicach i Warszawie mamy innych dostawców tranzytu globalnego, co powoduje, iż również zostaniemy przez nich obciążeni w ten sam sposób (w pewnym sensie podwójnie).
Porada: Polecamy ustawianie sobie w systemie monitorowania sieci triggera na  każdej z sesji: commitment + np. 10% i zdefiniować że jeśli takie przekroczenie trwa powyżej kilku godzin = alarm, aby móc zareagować na zwiększenie się zapotrzebowania i zamówić odpowiedni upgrade pasma (albo zbadać co powoduje ten wzrost, np. DDOS, utrata innej usługi, zmiana ścieżek i usunąć nierównowagę).

EPIX + EPIX
Sprawdzoną konfiguracją redundancji łącz i usług jednocześnie jest podłączenie się do dwóch węzłów, EPIX.Katowice i EPIX.Warszawa, niezależnymi łączami transmisyjnymi, oraz posiadanie zduplikowanych sesji do naszych różnych routerów.
Zapewnia to sumaryczną dostępność usług na poziomie równym lub lepszym niż 99.99%.
W celu zachowania redundancji usług, zamawiacie je symetrycznie w obu węzłach prosząc o rozliczanie ich we współdzielonym commitmencie rozliczanym percentylowo (dotyczy wyłącznie usług o tej samej cenie w KAT i WAR, np. GlobalMix, PolMix czy części dostawców globali).
Podobnie można zabezpieczyć się przed awariami któregoś z naszych routerów, wystarczy zamówić drugą sesję, określając w nim że ma być ona zestawiona do innego routera (lub nawet innego routera z innego węzła).
W ten sposób jedynym kosztem redundancji będę opłaty za dodatkowe sesje, nie płacicie drugi raz za pasmo commitment, a macie do dyspozycji dwie usługi, każda o przepływności = commitment * 2!
Dodatkowo usługi KAT-Global.Mix i WAR-Global.Mix mają różne upstreamy (dostawców tranzytów międzynarodowych), są oni wybierani pod kątem niezależności tras fizycznych i logicznych. Posiadając sesje do obydwu tych usług (nawet mając wpięcie tylko w jednym węźle EPIX), poza redundancją usług i routerów zapewnia dostępność mocno zdywersyfikowanych i zróżnicowanych ścieżek w świat.

EPIX + INNY
Możecie swoją drugą nogę umieścić u innego dostawcy hurtowego. Większość z dostępnych na rynku nie jest z nami powiązana w istotny sposób, dlatego zapewni właściwy poziom zabezpieczenia. Sugerujemy patriotyczny wybór dostawcy opartego w jak największym stopniu na polskim kapitale. Bardzo ważne jest wybranie dostawcy posiadającego sensowne zasoby, zweryfikowane kompetencje i dobrą opinię. Pamiętajcie, nawet podła usługa używana jako „Tylko backup” może być przyczyną problemów, czy nawet wywołać awarię.

EPIX + EPIX + INNY
Możecie dwie swoje nogi umieścić w naszych węzłach, to najtańsze na rynku rozwiązanie podnoszące niezawodność dwukrotnie. Ale tylko dwukrotnie, i do tego nie zapewnia dywersyfikacji biznesowej.
Dlatego najlepszym rozwiązaniem jest trzecią nogę umieścić u innego dostawcy hurtowego, jeśli już nie w trzecim węźle lub lokalnie na swoim podwórku to ostatecznie w tym samym węźle do którego dochodzicie z łączem. Większość z dostępnych na rynku nie jest z nami powiązana w istotny sposób, dlatego zapewni właściwy poziom zabezpieczenia. Sugerujemy patriotyczny wybór dostawcy opartego w jak największym stopniu na polskim kapitale. Bardzo ważne jest wybranie dostawcy posiadającego sensowne zasoby, zweryfikowane kompetencje i dobrą opinię. Pamiętajcie, nawet podła usługa używana jako „Tylko backup” może być przyczyną problemów, czy nawet wywołać awarię.

UWAGA!
Podwójne wpięcie do jednego dostawcy w tym samym węźle zapewnia redundancję wyłącznie dla poszczególnych komponentów układu, czyli transmisji, switchy access czy usług/routerów.
Jest to poprawienie wskaźnika dostępności, a nie zapewnienie sobie redundancji, pamiętajcie o tym.
Podwójne wpięcie się do nawet dwóch dostawców, ale na terenie jednej kolokacji, np. tylko 2xLIM, albo tylko 4DC (nawet 4DC1 i 4DC2) zapewnia dostępność CO NAJWYŻEJ zgodną z poziomem klasyfikacji kolokacji, czyli z reguły Tier 2 (99.741%) lub Tier 3 (99.982%). Ale to tylko teoria, bo w razie większego wydarzenia, np pożar, zalanie, czy pożar+zalanie przez gaszących, poważna awaria zasilań, katastrofa budowlana czy nawet poważna awaria informatyczna) czas do odtworzenia funkcjonalności węzła może sięgnąć długich godzin czy nawet dni.

WNIOSEK:
Dwie Wasze nogi muszą stać w różnych geograficznie miejscach z przemyślaną i zaplanowaną dywersyfikacją techniczną usług. Obserwujcie swoje otoczenie, dogadujcie się z kolegami na drugą nogę do innej lokalizacji, pytajcie nas o backupowe usługi terenowe, które możemy dla Was zorganizować, generalnie planujcie możliwe awarie, bo one po prostu będą występowały…

Planując uruchomienie i użytkując usługi wymiany ruchu IP w EPIX (xxx-OpenPeering) należy pamiętać o tym, że jesteśmy już dużym IXP, a to niesie za sobą pewne wyzwania.
Zwracamy uwagę na to, iż OpenPeering to bezpośredni dostęp do sieci/domeny rozgłoszeniowej L2 oraz podsiecią /21, ze wszystkimi tego zaletami, ale i konsekwencjami = wymaganiami.

Uczulamy na możliwość powstawania problemów których przyczyną może być:

A. Sprzęt L2 po drodze do nas.

1. Przełączniki/konwertery własne po stronie Uczestnika,
2. Przełączniki/konwertery w kolokacji, na styku z nami,
3. Przełączniki/konwertery operatora transmisji/partnera/kolegi. Stosowany w dowolnej z powyższych pozycji sprzęt nie może być sprzętem amatorskim (np. SOHO). Musi obsługiwać odpowiednią liczbę adresów MAC (co najmniej 4096, zalecanewięcej), zakładającą też możliwość pojawiania się abusywnej ich ilości przez krótki czas (sampling ACL zabezpieczeń u nas to 1000ms).
   Jeśli ma obsługiwać różne prędkości interfejsów musi posiadać spory bufor, najlepiej nie współdzielony/przydzielany w ramach całego switcha. Polecamy przełączniki oparte na chipsecie Broadcom i marki przełączników znane na rynku profesjonalnym.
   Wymagania dotyczące sprzętu wzrastają radykalnie w momencie chęci wykorzystania go do przenoszenia vlana OpenPeeringowego więcej niż raz (na przykład współdzieląc łącze z kolegą), poprzez QinQ czy inne metody tunelowania w L2. Zastosowanie sprzętu klasy carrier/metro i uciekanie od transportu L2 IN L2 staje się koniecznością.
   Bardzo ważne jest właściwe skonfigurowanie poziomu blokowania lub redukowania broadcastów, gdyż problemy z tym ustawieniem mogą objawić się przykładowo przy podnoszeniu sesji, gdy demon BGP odpytuje w krótkim czasie o setki neighbor’ów (pakiety ARP).

B. Transmisja pomiędzy Uczestnikiem a naszym węzłem.

Stosowany do realizacji transmisji sprzęt musi spełniać wymagania z punktu A.
Zamawiając transmisję u operatora należy zwrócić uwagę na jak najwyższy limit adresów MAC obsługiwanych przez łącze, oraz pełną jej transparentność. Operator transmisji nie powinien używać MAC learningu, żadnych ACL, triggerów, czy reguł zabezpieczających. Zalecamy transmisje czysto optyczne (lambda/GMPLS) lub ew. oparte o tunele L3 (MPLS/VPLS), ostatecznie carrier/metro ethernet.
Planując współdzielenie łącza (zapewnianie oprócz nas transmisji komuś poza nami) zalecamy, aby łącze podkładowe było odpowiedniej klasy (najlepiej transport optyczny).
Rozwiązanie: włókno Operatora A, na nim oparty system DWDM Operatora B, na nim oparty system transmisji danych ethernet udostępniany w postaci kanału/tunelu operatorowi ISP A, następnie udostępniany Operatorowi ISP B, który udostępnia swojemu klientowi vlan QinQ jest proszeniem się o kłopoty 😉

C. Routery BGP.

Routery BGP muszą mieć możliwość utworzenia co najmniej 4096 wpisów ARP w urządzeniu.
Pod linuxem chodzi o ustawienia parametrów sysctl:
/proc/sys/net/ipv4/neigh/default/gc_thresh1 a także 2 i 3.
Pod mikrotikiem to /ip settings set max-arp-entries=8192.

Trzeba też pamiętać o zasadach samego węzła:
Aktualny limit broadcasów na porcie uwzględnia logiczną ich ilość, która może pochodzić z jednej pary MAC/IP. W przypadku kiedy uczestnik ustawi sobie na interfejsie w kierunku EPIX OpenPeering więcej niż jeden adres IP, może przekroczyć limit broadcastów z jego interfejsu w kierunku EPIX, co spowoduje problemy z osiągalnością węzła lub pojedynczych sąsiadów.

Cały czas w budowie.

EPIX nie ma możliwości aby zajmować się blokowaniem ataków na adresy własne Uczestnika, należy go rozwiązywać u siebie poprzez dodanie atakowanego adresu do blackholingu.

Dla usług EPIX realizujemy to:
https://www.epix.net.pl/faq/#toggle-id-15

Dla usług odbieranych od dostawców globalnych należy stosować się do ich wskazówek:
GTT
https://portal.gtt.net/GTT_Client_Guide.pdf
https://www.epix.net.pl/faq/#toggle-id-16
Cogent
http://www.cogentco.com/files/docs/customer_service/guide/global_cogent_customer_user_guide.pdf

Działania w powyższym zakresie należy podjąć zanim nastąpi atak…
Zalecamy wdrożenie u siebie jednego z dostępnych na rynku systemów automatycznego reagowania na DDOS.
Na przykład w naszej ofercie zakupów grupowych jest dostępny w świetnej cenie system Wanguard firmy Andrisoft.

Najlepiej ruchem, nie zarządzać, czyli nie przesadzić z prependami i local prefami 😉

Mamy jednak następujące sugestie ustawień:
1. OpenPeeringi EPIX.
Mając dostęp do WAR-OpenPeering-KIX i KAT-OpenPeering starać się doprowadzić do wykorzystywania bardziej warszawskiego, zwłaszcza jeśli chodzi o CDNy Google, Akamai, Atende i innych zlokalizowanych w stolicy.
Otrzymamy dzięki temu: niższe RTT, szybszy czas reakcji na zapytania i oddawanie ruchu, a co najważniejsze, będziecie korzystali częściej bezpośrednio z własnych CDN dostawców (peeringów bezpośrednich, niestety dostępnych jeszcze prawie wyłącznie w Warszawie), a nie serwerów cache w naszych węzłach, co oznacza dostęp do maksymalnej ilości najświeższych treści. Oczywiście nie zawsze się to uda, bo będzie nam przeszkadzała czasami geolokalizacja, ale warto powalczyć, bo to będzie oznaczało więcej darmowych treści i dynamiczniejsze ich oddawanie.
2. Polmix
Mając dostęp do WAR-Polmix i KAT-Polmix starać się doprowadzić do wykorzystywania głównie warszawskiego.
Większość treści Polmix to uzupełniające zawartość naszych OpenPeeringów treści z innych polskich IXów, w zdecydowanej większości warszawskich. Preferując WAR-OpenPeering-KIX zapewniamy sobie niższe RTT do źródeł, w tym eliminację dodatkowych narzutów czasowych łącz WAR>KAT. Bardzo istotna jest też większa stabilność ścieżek warszawskiego Polmix, wynikająca z braku wpływu ew. usterek łącz WAR>KAT na ich przełączanie na ścieżki zapasowe.
3. Global
Mając dostęp do globali z węzłów EPIX-Warszawa i EPIX-Katowice sugerujemy dać im się rozłożyć w naturalny sposób, z uwzględnieniem uwarunkowań poniżej. W EPIX dbamy, aby ścieżki do świata były i zróżnicowane (liczba i charakterystyka upstreamów) i niezależne (dbamy o dywersyfikację tras i ścieżek upstreamów).
Należy jednak zwrócić uwagę na uwarunkowania:
– historycznie i biznesowo Polska jest krajem o klasycznym przebiegu tras optycznych i lokalizacji węzłów, czyli stolica jest preferowanym miejscem odbioru usług globalnych. Od lat staramy się to zmieniać i jak wiecie mamy sukcesy w kreowaniu dostępności usług w Katowicach.
– geograficznie większość treści zagranicznych przychodzi do Polski z Niemiec, trasami przez Poznań (trasa zachodnia), lub Pragę (trasa południowa).
Z powyższego wynika, iż planując rozkład ruchu globalnego z naszych węzłów należy wziąć pod uwagę własne położenie i przebieg tras kabli do naszych węzłów.
Wybranie preferowanej ścieżki opartej na krótszych trasach geograficznych gwarantuje nam niższe RTT do źródeł i mniejszą podatność na awarie (większa stabilność ścieżek).

Oczywiście wszystkie powyższe uwagi nie biorą pod uwagę stabilności Waszych łącz do naszych węzłów. Naturalne i kluczowe dla jakości tworzonych przez Was usług jest preferowanie tego łącza, które wykazuje mniejszą podatność na usterki, a słabszego w tym względzie wykorzystywanie jako backup.

Skąd bierze się wartość “ping’a” czyli bardziej fachowo RTT.

Na czas wędrówki pakietu od nas do testowanego celu i z powrotem składa się kilku czynników:

1. Fizyczna odległość pomiędzy nami, a miejscem docelowym do którego “pingujemy”, gdyż pakiet musi po ethernecie przenoszonym światłem przebyć drogę geograficzną, co zajmuje czas.
Na początek trochę teorii (dzięki Andrzejowi Kiermaszowi z ARTCOMJAW).
Prędkość światła w ośrodku materialnym jest równa prędkości światła w próżni podzielonej przez współczynnik załamania światła w tymże ośrodku.
Norma ITU-T G.652 niestety nie określa wymagań dla współczynnika załamania światła w ośrodku transmisyjnym kabla optycznego:
5.8 Refractive index profile
The refractive index profile of the fibre does not generally need to be known.
Nie jest to więc parametr typowy podawany przez producentów włókien czy też całych kabli.
Można oczywiście znaleźć materiały (strona 3, rys. 3.2) umożliwiające poznanie wartości współczynnika załamania światła w ośrodku
I tak dla światła o długości fali 1310nm ma on wartość ok. 1,448 a dla długości fali 1550nm jego wartość to ok. 1,444.
Na potrzeby wyliczenia przyjęto wartość średnią 1,446.
Prędkość światła w próżni zaokrągliłem do 299 792 km/s, a prędkość światła w szkle krzemowym to ~ 207 325 km/s.
Obliczając odwrotność dla wartości prędkości otrzymujemy czas propagacji na dystansie 1 km: 4,823μs = 0,004823ms/km ~= 0,48ms/100km
Wiedząc, że cel znajduje się w jakiejś odległości (i pamiętając, że światłowody nie są układane prostymi kreskami między miastami) możemy stwierdzić ile z całego RTT przypada na sam transport optyczny, w warstwie L1 modelu OSI.
W wypadku wysyłania pakietów po trasie długości 100km do węzła EPIX udział czasu transportu optycznego w RTT to 0,965ms.

2. Konieczność obsługi ramki zawierającej pakiet w warstwie 2.
Przetwarzanie ramek w warstwie 2 (na przełącznikach lub innych urządzeniach transportowych L2) nie ma widocznego udziału w czasie RTT, gdyż deklarowane wartości są na poziomie dwóch rzędów niższe (z reguły nanosekundy, do kilkuset).
Ale trzeba pamiętać, że w niektórych konfiguracjach transmisji “pod spodem” L2 może być równiez L3 (MPLS/VPLS) i to nawet więcej niż raz 😉

3. Konieczność obsługi pakietu w warstwie 3.
Przetwarzanie ramek w warstwie 3 (na nieobciążonych i nie wpływających na priorytety w obsłudze protokołów routerach L3) nie ma widocznego udziału w czasie RTT, gdyż deklarowane wartości są na poziomie rząd niższym (z reguły mikrosekundy, ale bywa że do kilkuset).

4. Specyfika samego protokołu ICMP.
To można poczytać w Wikipedii, ale w EPIX są przecież profesjonaliści 🙂

5. Wydajność i rodzaj stacji, z której testujemy RTT.
Czas zależy od użytej wersji aplikacji ping (Linux/Windows/MAC oraz inne systemy operacyjne używają różnych wersji aplikacji która w różny sposób przedstawia wyniki między innymi zaokrąglając lub nie to pełnych wartości). W przypadku kiedy test icmp ping wykonywany jest z nieobciążonego komputera czy urządzenia sieciowego wynik zależy od wszystkich punktów powyżej plus wydajności samego urządzenia (mocy procesora).

Korzystając np z Iperfów:

KAT-OpenPeering:
178.216.40.125

WAR-OpenPeering-KIX:
89.46.144.125

(iperf3 – port 5001)

Przykładowe polecenie:

iperf3 -P 20 -Z -c 89.46.144.125 -p 5001

lub Mikrotik Bandwidth Test:

KAT-OpenPeering:
178.216.40.124
2001:7f8:5b::124

WAR-OpenPeering-KIX:
89.46.144.126
2001:7f8:69::126

lub innych naszych testerów:

KAT-OpenPeering:
http://pomiary-kat.epix.net.pl

WAR-OpenPeering-KIX:
http://pomiary-war.epix.net.pl

UWAGA:
Serwery testowe oddają pełne 10G, testując zwracajcie uwagę na wysycenie własnych łącz, co może zakłócić np. IPTV!

Przy wykonywaniu testów iperf prosimy obserwować zachowanie własnego serwera z którego wykonywane są testy

– najczęstszym problemem braku możliwości wysycenia łącza jest obciążenie procesorów serwera z którego test jest wykonywany.

Nie.
I to jest cecha charakterystyczna EPIX, czyli uproszczenie i redukcja kosztów, poprzez multiserwisowość.
Każdą usługę, naszą, czy obcą odbieracie na porcie na którym kończy się Wasza transmisja.

Komentarz Czuszka na temat switchy po drodze:
Jest mi bardzo przykro, że będziesz musiał musisz płacić za jego kolokację, prąd (grube stawki i zazwyczaj niekorzystnie rozliczane, np. ryczałtem lub z tabliczki znamionowej), zdalne ręce, amortyzację, (także drugiej sztuki jakby się pierwsza zepsuła).
Nie zazdroszczę, że będziesz musiał zajmować się od teraz pilnowaniem czy sprzęt Ci działa, aktualizowaniu, diagnozowaniu i byciu gotowym na wycieczkę do Warszawy także w Wigilię, jak Ci padając zafunduje odcięcie od świata (zwłaszcza jak uczyniłeś z niego pojedynczy punkt awarii – SPOF).
Smutno mi, że dla realizacji dowolnej usługi będziesz płacił za łączniki, będziesz musiał kupować wkładki, trzymać dla nich rezerwę i koordynować zestawianie i wypowiadanie łączników.
Z niepokojem czekam na moment, w którym będziemy się zastanawiali razem czy problem z jakąś usługa mamy bo operator Twojego łącza daje tyłka czy Twój dodatkowy sprzęt, czy wkładki po drodze.
Nasi Uczestnicy nie mają takich problemów, korzystają po prostu z funkcjonalności wirtualnego switcha którym dla nich jesteśmy, to my odpowiadamy za wszystko, wymienimy też uszkodzony przełącznik poniżej 1h (ale to i tak bez znaczenia, bo na kilkadziesiąt używanych nie mieliśmy jeszcze żadnej usterki).

Nie.
Zajmują się tym właściciele kolokacji, zazwyczaj na zlecenie operatora transmisji, namiary na nich są dostępne:
https://www.epix.net.pl/o-epix/wezly/

Nie dajcie się manipulować w zamawianie i opłacanie łączników, powinni to robić dostawcy transmisji, aby oddać Wam kompletne łącze do nas. Łącznik po Waszej stronie to proszenie się o kłopoty, wydłużanie zestawienia, serwisowania, oraz spychologia przy diagnozowaniu problemów!

W bardzo wyjątkowych przypadkach, gdy zasady kolokacji nie pozwalają naszemu Uczestnikowi ani dostawcy transmisji samodzielnie zamówić łącznika (np. w węźle LI01 – Equinix) pośredniczymy w realizacji, stosując 9% narzut.

Nie.
Zapewniamy wkładki wyłącznie do portów po naszej stronie, dla usług: xxx-P1-TX, xxx-P1-LX, xxx-P10-LR, xxx-P40-LR4, xxx-P40-SR4 (xxx – oznaczenie węzła, KAT lub WAR).
W bardzo wyjątkowych i krytycznych przypadkach możemy odsprzedać wkładkę z naszych zapasów na węzłach (wyłącznie TX/LX/LR/LR4/SR4).
Wtedy odbiór z naszego depozytu we własnym zakresie i po uzgodnieniu mailowym z kolokatorem i nami.

W większości węzłów nasze przełączniki są prekablowane, czyli posiadają doprowadzone konkretne łączniki do konkretnych portów, co uniemożliwia wymianę wkładki na inne medium.
Okablowanie to miedziane TX, oraz jednomodowe 1J i 2J.
Jeśli zamieniana wkładka obsługuje identyczne medium może być zamieniona.

Wymianę wkładek należy zlecić właścicielowi kolokacji/zdalnym rękom, dodając nas do mailowego zlecenia.
W bardzo wyjątkowych przypadkach dopuszczamy jednorazowe upoważnienie do samodzielnej operacji.

EPIX jest dostawcą tworzącym usługi na potrzeby MiŚOT/ISP, dlatego nie stosujemy żadnych kompromisów, jakość jest najważniejsza.
Dlatego jeśli oczekujecie usługi w której przepływność danej usługi nie jest ograniczona będziecie musieli poszukać kogoś bardziej pazernego na zysk i mniej uczciwego, dla kogo overbookowanie i udawanie ciągłej dostępności pasma usługi jest naturalne.
U nas nie stosuje się overbokingu, bo sprzedając usługę z jakąś przepływnością maksymalną GWARANTUJEMY i REZERWUJEMY tę przepływność do dostawców tranzytu.
A nie będziemy rezerwowali np. całego portu 10G od dostawcy mając opłaconą tylko jakąś część  jego przepływności, zwłaszcza przy stosowanych przez nas niskich marżach i wzięciu na siebie ryzyka kursowego.
Musicie pamiętać, że przepływność tą mamy również zagwarantowaną i trzymaną w gotowości w drugim naszym węźle = utrzymujemy styki i opłacone commitmenty.
Istotne w tym wszystkim jest również fakt, iż dzięki ograniczaniu przepływności maksymalnych już u dostawcy tranzytu zapobiegamy wpływowi na przykład DDOSów do sieci innego Operatora na Wasze usługi.

Nie bardzo możemy pomóc w ogarnięciu po Twojej stronie, gdyż to nie jest zakres za który płacimy podwykonawcom obsługującym EPIX technicznie.
Ale możemy polecić fachowców, którzy mogą pomóc coś wdrożyć czy naprawić, lub stale pomagać:
www.itcare.pl – pełen zakres usług outsourcingowych.
lipowski.org – outsourcing usług z zakresu BGP, w tym wdrażanie i administrowanie routerami BGP.
www.PRO-Admin.pl – kompleksowa obsługą sieci, BGP, systemów.

Podajecie nam nowego AS-a i zmieniamy konfiguracje – dla Wszystkich usług lub dla wyznaczonych, robimy to bez zbędnej zwłoki, ale musicie pamiętać o koniecznych aktualizacjach u naszych upstreamów, może to w niektórych przypadkach zabrać kilka dni (np. weekend).
Możecie po swojej stronie ustawić sobie tymczasowo local-as na stary AS na wybranych lub wszystkich sesjach co da Wam czas na przystosowanie zmian konfiguracyjnych po swojej stronie.
Jeśli macie usługi bezpośrednie od operatorów Tier lub innych dostawców należy to uzgadnia z nimi.

Obsługą techniczną EPIX zajmuje się zewnętrzna firma działająca na zasadzie outsourcingu usług.
Ma ona obowiązek:
– usuwać usterki w EPIX w trybie 24 x 7 x 365 dni, w jak najkrótszym czasie od ich wykrycia lub zgłoszenia przez Uczestnika/Dostawcy/Partnera, nie dłużej jednak niż 1 godzina w wypadku usterek dotykających większą liczbę Uczestników, do 6 godzin w wypadku usterek selektywnych, lub w czasie dłuższym jeśli problem wymaga obserwacji/analiz/logowań,
– dokonywać modyfikacji istniejących usług Uczestników, w dni robocze, w godzinach od 8 do 16, w terminie do dwóch dni roboczych w wypadku usług EPIX, lub zgodnie z reżimem dostawcy w innych przypadkach.
– uruchamiać nowe usługi w EPIX, w dni robocze, w godzinach od 8 do 16, w terminie do dwóch dni roboczych w wypadku usług EPIX, lub zgodnie z reżimem dostawcy w innych przypadkach,
– współpracować przy pracach planowych Uczestnika/Dostawcy/Partnera, w dowolnych umówionych wcześniej (uzgodnienie co najmniej 7 dni przed terminem prac planowych) godzinach, w zakresie od poniedziałku 8:00 do piątku 16:00, z wyłączeniem dni wolnych od pracy.
Od powyższych zasad są możliwe odstępstwa, w wyjątkowych sytuacjach, po uzgodnieniu z noc lub/i managementem EPIX.

Zgłoszenia usterek należy realizować poprzez zgodną z zasadami korespondencję z noc@epix.net.pl, lub w przypadkach nie cierpiących zwłoki poprzez zgłoszenie telefoniczne na BOK. Przypadkiem takim nie jest usterka powiązana z brakiem backupu dla posiadanych usług.

Parę obrazkowych przykładów na możliwości w EPIX.

Wariant A, ze zmianą portu po stronie EPIX

Zalety: umożliwia bezprzerwowe przejście między portami,
Wady: dostawca transmisji musi zestawić równoległe łącze
Procedura:
– zamawiasz odpowiedni nowy port w EPIX,
– doprowadzasz aż się zaświeci, sprawdzamy drożność transmisji (np nadajemy testowy adres IP do pingania),
– konfigurujesz wszystkie usługi (vlany) po swojej stronie identycznie jak na starym porcie,
– zlecasz przeniesienie usług naszemu NOC, po kolei lub na raz, oni robią to na dwie konsole, więc z przerwą max kilka sekund, możesz zacząć od przeniesienia i testów w OpenPeering, potem pozostałych usług,
– opcjonalnie możesz na czas powyższych działań poskładać sesje, ale ogranicza to naszemu NOC weryfikację poprawności operacji,
– jak wszystko jest OK to wypowiadasz stary port, zaznaczając w mailu że jest to upgrade i prosisz o skrócenie okresu wypowiedzenia.

Wariant B, bez zmiany portu po stronie EPIX

Zalety: umożliwia wykorzystanie istniejącego łącznika,
Wady: wymaga skomplikowanej synchronizacji działań naszych, Twoich, kolokatora i ew. dostawcy transmisji, którą musisz wykonać właściwie sam.
Procedura:
– zamawiasz oczekiwany typ portu w EPIX, podając w zamówieniu jego obecne ID i informując że to upgrade,
– zlecasz upgrade u transmity, umawiasz się z nim na wymianę wkładki, czy portu po jego stronie, lub przygotowujesz się do zmiany wkładki/przekrosowania po stronie Twojego przełącznika, jak go masz w kolokacji.
– zlecasz wymianę wkładki w naszym switchu kolokatorowi lub dostawcy transmisji, dodając nas w kopii zlecenia w celu wyrażenia zgody i podania przez nas skąd ją pobrać,
– pilnujesz i koordynujesz działania EPIX (np. jeśli konieczna jest manualne ustawienie portu w specyficzne ustawienie 10G), kolokatora lub transmity (wymiana wkładki u nas), dostawcy transmisji (reszta) lub Twojej ekipy (jak masz przełącznik w kolokacji)
– jak wszystko jest OK to wypowiadasz stary port, zaznaczając w mailu że jest to upgrade i prosisz o skrócenie okresu wypowiedzenia.

UWAGI:
Coraz częściej w portach 1G mamy już obsadzone wkładki 10G, więc pytajcie noc czy takowa znajduje się w Twoim, wtedy upraszcza się procedura, bo z EPIX synchronizujesz tylko przełączenie portu w 10G .
W obydwu przypadkach upgrade kosztuje różnicę w cenie aktywacji, a przeniesienie/rekonfiguracja 99PLN (jeśli nie rodzi kosztów fizycznych po naszej stronie).
Koszty zdalnych rąk ponosi Zamawiający.

Oczywiście!
Kolega operator aby skorzystać z portu fizycznego naszego Uczestnika realizuje dokładnie taką samą procedurę przystąpienia do EPIX:
https://www.epix.net.pl/faq/#toggle-id-3
z tym, że zamiast fizycznego zamawia odpowiedni port wirtualny na porcie SxxxPyyy udostępniającego (ID do uzyskania od niego).
Przygotowując zamówienie kolega operator musi pamiętać o dołączeniu do korespondencji Uczestnika, który ma u nas port fizyczny, podobnie zresztą musi Go dołączać do każdego zamówienia usług, aby wyraził na nie zgodę i uzgodnił trójstronnie vlany.
Uwaga: Udostępnienie przez naszego Uczestnika portu bez przestrzegania powyższych zasad będzie podstawą do zakończenia z nim współpracy.

Porty do EPIX jak i porty w stronę kolegi należy poddać ciągłemu monitorowaniu jeśli chodzi o utylizacje pasma,liczbę pakietów/s, liczbę błędów na porcie i wrzucać to sobie na wykresy.
Na porcie do EPIX potrzeba zadbać o podniesieniu  defaultowego limitu broadcastów ( jeśli jest takowy) z wartości 100-200 adekwatnej dla jednego Uczestnika na porcie, na >2000.
Skąd taka wartość ?
Po awarii transmisji, lub w przypadku gdyby awarii uległ switch lub RS w EPIX to po jej ustąpieniu z dwóch route serwerów będzie odpytywane kilkuset Uczestników IPv4 i tyle samo sesji IPv6.

Jeśli chodzi o zabezpieczenie portu w stronę kolegi to obowiązkowo wykrywanie pętli we vlanie OpenPeering, a najlepiej także jakimkolwiek innym ( i to metodą “per vlan” jeśli taką możliwość posiadają Twoje switche).
Proponuję też rozważenie monitorowania liczby MAC na porcie kolegi ISP na wypadek zdarzeń losowych ( aktualizacji firmware, usterki i przeciekania potem MAC między vlan).
Kolegę trzeba traktować na styku z Waszą siecią jako potencjalnie groźnego intruza!
Pamiętajcie, kolega może nabroić, a port EPIX zostanie złożony i odetnie Was obu, pilnujcie się wzajemnie 🙂

Nie.
W EPIX korzystamy z bazy RIPE aby generować prefiks-listy dla sesji BGP.
Generujemy/aktualizujemy je “na żądanie” gdy Uczestnik nam to zleci (noc@epix.net.pl).
Pamiętaj, usługi IP (POLMIX, GLOBALMIX, inne z zewnętrznymi upstreamami) – należy uwzględnić czas rozgłaszania prefixów poza naszą sieć, nawet do kilku dni w wypadku tranzytów globalnych,

Podstawowa zasada:
Jedynym ruchem dozwolonym na adresacji IP należącej do openpeeringu jest ruch arp, icmp oraz tcp/179 pomiędzy uczestnikami openpeeringu.
(Zasada ta dotyczy także połączeniówek p2p dla usług globalmix oraz polmix)

Uczestnik powinien mieć wyłączone na interfejsie routera , przełącznika oraz stosować się do zasad wymienionych poniżej:
1. RPF – Reverse Path Filter (powinno być wyłączone na interfejsie)

2. W porcie powinien być widoczny tylko jeden mac address routera klienta

3. Interfejs powinien mieć wyłączony promisc mode

4. IP spoofing jest niedozwolony w vlanie openpeeringowym (prosimy o odfiltrowanie ruchu wychodzącego w kierunku vlana openpeeringowego z ograniczeniem do własnych klas adresowych)

5. Router musi mieć wyłaczone IPv6 RA na interfejsie.

6. Ruch typu link-local nie jest dozwolony, za wyjątkiem ruchu ARP oraz IPv6 ND

7. Akceptowane MTU na vlanach openpeeringowych wynosi 1500.

8. Sieci należące do openpeeringu nie są rozgłaszane przez BGP
– dlatego aby mieć dostęp np. do zapytań icmp z sieci która nie jest siecią openpeeringową jako źródło zapytania należy po swojej stronie odpowiednio rozgłosić sieć typu connected z routera do wewnątrz własnej sieci.

9. Dozwolone ethertype w openpeeringu:
– 0x0800 – IPv4
– 0x0806 – ARP
– 0x86dd – IPv6

10. Filtrowany i niedozwolony ruch w ramach dopuszczonych ethertype:
– IRDP
– ICMP redirects
– IEEE 802 Spanning Tree
– Discovery protocols: CDP, EDP, LLDP
– VLAN/trunking protocols: VTP, DTP
– Protokoły routingu oparte na rozgłoszeniach broadcastowych takie jak (e.g. OSPF, ISIS, IGRP, EIGRP)
– BOOTP/DHCP
– PIM-SM
– PIM-DM
– DVMRP
– ICMPv6 ND-RA
– UDLD
– L2 Keepalives
– Multicast (za wyjątkiem IPv6 ND)

11. W przypadku naduzyć celowego lub niecelowego działania które doprowadzi np. do:
BGP hijack
Amplifikacji DNS
Floodów różnego rodzaju jak np. (Broadcast, Multicast flood)
HTTP flood
Amplifikacji NTP
UDP flood
ICMP flood
Naduzyć związanych z wykorzystaniem SSDP
Amplifikacji Memcached

EPIX może wyłączyć port uczestnika openpeeringu.

Zalecana konfiguracja (Linux router):

Wyłączenie ip redirects / proxy arp / reverse path filtering

for i in /proc/sys/net/ipv4/conf/*/accept_redirects; do echo 0 > $i; done
for i in /proc/sys/net/ipv4/conf/*/send_redirects; do echo 0 > $i; done
for i in /proc/sys/net/ipv4/conf/*/accept_source_route; do echo 0 > $i; done
for i in /proc/sys/net/ipv4/conf/*/proxy_arp; do echo 0 > $i; done
for i in /proc/sys/net/ipv4/conf/*/secure_redirects; do echo 1 > $i; done
for i in /proc/sys/net/ipv4/conf/*/bootp_relay; do echo 0 > $i; done
for i in /proc/sys/net/ipv4/conf/*/arp_filter; do echo 1 > $i; done
for i in /proc/sys/net/ipv4/conf/*/arp_ignore; do echo 1 > $i; done
for i in /proc/sys/net/ipv4/conf/*/arp_announce; do echo 2 > $i; done
for i in /proc/sys/net/ipv4/conf/*/rp_filter; do echo 0 > $i; done

Uwaga:

for i in /proc/sys/net/ipv4/conf/*/rp_filter; do echo 0 > $i; done
W przypadku takiego ustawienia stajemy się poddatni na “ip spoofing” – dlatego powyższe ustawienie powinno być zabezpieczone dodatkowo firewallem (np. iptables chain FORWARD)
Innym ustawieniem które zapewni nam ochronę przed “ip spoofingiem” jest (RP Filter w Loose Mode):
for i in /proc/sys/net/ipv4/conf/*/rp_filter; do echo 2 > $i; done
* powyższe ustawienia zależą od konfiguracji Waszego routera oraz wymagaja precyzyjnej wiedzy dotyczącej tego jak wyglada ip routing na routerze.

W przypadku systemu Linux należy także zwiększyć parametry dotyczące maksymalnej ilości wpisów w arp-cache:
sysctl -w net.ipv4.neigh.default.gc_thresh1=1024
sysctl -w net.ipv4.neigh.default.gc_thresh2=2048
sysctl -w net.ipv4.neigh.default.gc_thresh3=4096

sysctl -w net.ipv6.neigh.default.gc_thresh1=1024
sysctl -w net.ipv6.neigh.default.gc_thresh2=2048
sysctl -w net.ipv6.neigh.default.gc_thresh3=4096

IPv6 Router Advertisement
net.ipv6.conf.default.accept_ra=0
net.ipv6.conf.all.accept_ra=0

Dla poszczególnych interfejsów na których zestawione są sesje BGP do openpeeringu:
net.ipv6.conf.vlan4090.accept_ra=0
net.ipv6.conf.vlan992.accept_ra=0
– numery interfejsów i vlanów mogą się różnić w zależności od sposobu odbierania danej usługi

Zalecana konfiguracja (Cisco)

Parametry konfiguracji globalne:
no service dhcp
no ip bootp server
no service config
no cdp run

Parametry konfiguracji interfejsu na którym terminowany jest openpeering:

no ip redirects
no ip proxy-arp
no cdp enable
no ip directed-broadcast
no mop enable
duplex full
no keepalive
ipv6 nd suppress-ra

Dodatkowo w przypadku sesji BGP do openpeeringu wymagane jest wyłączenie kontroli występowania sąsiedzkiego ASN na pierwszej pozycji w otrzymywanych ścieżkach BGP.
Przykładowe komendy odpowiadające za to ustawienie dla wybranych środowisk routerów BGP:
– cisco IOS / IOS-XE: no bgp enforce-first-as
– cisco IOS-XR: bgp enforce-first-as disable
– quagga: no bgp-enforce-first-as
– huawei: peer a.b.c.d check-first-as disable / undo check-first-as

Niestety nie jesteśmy w stanie przekazywać takich danych na życzenie.
Wyjątkiem jest rozpatrywanie ewentualnych reklamacji, kiedy sięgamy do naszego repozytorium.
Każdy MiŚOT MUSI posiadać własny system pomiarów i monitorowania swoich łącz/sieci.
W internecie znajdziecie wiele takich systemów, bardzo dużo jest dostępnych bezpłatnie (np. LibreNMS, Nagios, Icinga, Zabbix, Cacti czy Observium)

W szczególnie wyjątkowych przypadkach możliwe jest wiele rzeczy, staramy się  pomagać MiŚOTom jak możemy.
Jednak nie uznajemy za sytuację wyjątkową brak odpowiedniego backupu dla posiadanych usług, zwłaszcza w świetle znikomych kosztów ich utrzymania w EPIX.
Na pewno nie możecie liczyć na ekspresowe/bezzwłoczne/natychmiastowe:
– przenoszenie vlanów między portami,
– uruchamianie nowych usług,
– zmiany przepływności usług.
Wewnętrznie nie mamy zasobów do prowadzenia takich operacji, a obsługująca EPIX zewnętrzna firma obsługuje nas na bazie jasnych zasad.

Faktury wystawiamy z dołu (ostatniego dnia miesiąca rozliczeniowego) i wysyłamy ich obraz e-mailem do 7 dnia (najczęściej dokładnie 7-go) miesiąca następującego po okresie świadczenia usług.
Nie możemy przyspieszyć tej procedury, gdyż w tym czasie oczekujemy na dane billingowe od naszych dostawców, przeprowadzamy ich weryfikację i wprowadzamy do naszych systemów.

Tak, LAG z aktywnym LACP do 16 portów jest możliwy, nie pobieramy innych opłat niż cennikowe koszty samych portów.
Należy jednak zadbać o to (dodając stosowną uwagę przy zamówieniu drugiego i kolejnych), aby agregowane porty znajdowały się w jednym przełączniku EPIX.
Jeśli LAG ma być zbudowany w oparciu o istniejące porty w różnych przełącznikach należy zastosować procedurę przeniesienia jednego z nich zgodnie z:
https://www.epix.net.pl/faq/#toggle-id-42
uzgadniając z nami uprzednio w którym z obecnie używanych przełączników są wolne porty umożliwiające zamówienie kolejnych.
Uwaga: wszystkie porty w LAG muszą być jednakowego typu (prędkość i medium).

Komunikacja z dostawcami tranzytów globalnych realizowanych bezpośrednimi sesjami do ich routerów jest wspomagana przez EPIX (należy noc@epix.net.pl dodawać w kopii jawnej korespondencji), ale należy ją w większości prowadzić samodzielnie (wyjątkiem jest GTT).
W tym celu należy zadbać o posiadanie ID usługi u dostawcy i użyć właściwego adresu emailowego do właściwej sprawy.
Zestawienie kontaktów:
CenturyLink (dawniej Level3) – Biznestechnika@vectra.pl (po polsku)
RETN – retn@epix.net.pl (po polsku)
Cogent – eu-support@cogentco.com (po angielsku)
W przypadku GTT kontakt z dostawcą za pośrednictwem NOC EPIX.

Wychodząc naprzeciw potrzebom MiŚOT przygotowaliśmy w EPIX serwery DNS.

Adresy serwerów:
188.241.28.28
185.170.225.225

Serwery są dostępne dla wszystkich Uczestników korzystających z usług Wymiany Ruchu IP (KAT-OpenPeering-EPIX lub WAR-OpenPeering-KIX) i Usług dla ISP bez IP/AS (KAT-EP-iNet lub WAR-EP-iNet).

Spełniają one wymogi tzw. Ustawy Hazardowej. Zgodnie z treścią Ustawy z dnia 15 grudnia 2016 r. o zmianie ustawy o grach hazardowych oraz niektórych innych ustaw został uruchomiony mechanizm zmieniający odpowiedzi na zapytania dotyczące domen umieszczonych w Rejestrze prowadzonym przez Ministerstwo Finansów tak, że uzyskiwany jest adres IP wskazany przez Ministerstwo (145.237.235.240). W efekcie próby wejścia protokołem HTTP na strony umieszczone w Rejestrze kończą się wyświetleniem strony informacyjnej Ministerstwa. Zawartość Rejestru jest dostępna pod adresem: https://hazard.mf.gov.pl/.

Rozwiązanie jest adresowane do Operatorów tymczasowo nieposiadających własnych resolverów DNS do podawania w konfiguracji Klientom Operatorów. Nie ograniczamy również możliwości wykorzystania ich jako forwarderów dla własnych serwerów DNS.

Korzystamy z oprogramowania OpenSource, stworzonego przez naszych programistów, dostępnego pod adresem: https://github.com/epix-dev/dns-bh.

Adres e-mail do komunikacji w sprawie serwerów DNS w EPIX to: dns@epix.net.pl.

Wszystkie sesje BGP w EPIX posiadają określony czas przez który mogą być nieaktywne.

Aktualnie możliwy czas nieaktywności dla sesji BGP wynosi 7 dni – po tym czasie sesje są automatycznie wyłączane po stronie routera i aby aktywować sesję ponownie wymagany jest kontakt z NOC EPIX.

Wszystkie przydatne i bieżące dane znajdziesz w każdym mailu dostarczającym Ci obraz FV.

Każdy port posiadany w EPIX którym realizowane są usługi dla Uczestnika posiada aktywne zabezpieczenia w postaci:

1. Storm control:

– broadcast (na poziomie od 200pps do 700pps)

– multicast (na poziomie od 1000pps do poziomu ustalonego indywidualnie jeżeli Uczestnik jest nadawcą treści multicast)

– unknown destmac (na poziomie 1pps)

Po przekroczeniu powyższych wartości port będzie wyłączany.
Do ochrony naszej sieci używamy mechanizmów niedopuszczających abuzywnego ruchu głębiej, dlatego nie mamy możliwości ustalenia VID z którego nastąpił atak.

Aby dostosować konfigurację po stronie uczestnika należy ustawić swoje limity na ruch wychodzący tak aby nie przekraczały limitów skonfigurowanych po stronie EPIX, ale tak na prawdę zgodnie z regułą 1MAC na porcie => 1pps.

Ważne aby limity skonfigurowane po stronie uczestnika dotyczyły ruchu wychodzącego w kierunku EPIX, co najczęściej wymaga działań na ingress wszystkich portów przełącznika na styku z EPIX.

2. Loop detect

3. Port flapping limit

– maksymalnia ilość akceptowanych port flap wynosi 10 w ciągu 5 minut .

UWAGA:  Pamiętaj, iż storm control i loop detect działa wyłącznie na ruchu ingress, więc ustawienie go tylko na porcie stykowym z nami chroni Ciebie przed ew. awarią po naszej stronie, a nie zabezpiecza przed wysłaniem do nas abuzywnego ruchu.
Zalecamy ustawienie storm control i loop detect na WSZYSTKICH portach Waszego przełącznika, z którego jest realizowany styk do EPIX.

Możesz zleceniem na noc@epix.net.pl:
– przenieść zakończenie Twojej strony między Twoimi portami w jednym węźle EPIX,
– przenieść zakończenie drugiej strony między portami należącymi do tego samego EPID w jednym węźle EPIX,
Jest to bezpłatne 2x w roku.

W pozostałych przypadkach należy wypowiedzieć vlana i zamówić go ponownie.

W przypadku gdy uczestnik posiada już jeden port i chce uruchomić drugi w LAG wymagane jest aby:

1. Drugi port został zaterminowany w tym samym przełączniku
2. Drugi port musi obsługiwać tą samą prędkość (1G/10G/40G/100G)
3. LAG po stronie EPIX wymaga załączenia LACP po stronie uczestnika

Procedura uruchomienia drugiego portu:

1. Zamawiamy kolejny port w EPIX ze wskazaniem miejsca jego terminacji w tym samym przełączniku w którym znajduje się aktualnie działający port.
2. W chwili kiedy posiadamy już uruchomiony i działający nowy port należy wysłać do NOC EPIX zlecenie na skonfigurowanie nowego portu ze wskazaniem który port będzie należał do tej samej grupy LAG
3. Po stronie EPIX zostanie przygotowana konfiguracja na nowo uruchomionym porcie w postaci grupy LAG z jednym portem oraz załączonym LACP
4. Uczestnik EPIX konfiguruje po swojej stronie nowy port w taki sam sposób jak po stronie EPIX – czyli tworzy grupę LAG dodając do niej tylko nowo uruchomiony port z załączonym LACP
5. Uczestnik EPIX konfiguruje wszystkie swoje vlany/usługi równolegle/jednocześnie na nowo uruchomiony port znajdujący się w jedno-portowej grupie LAG
6. NOC EPIX przenosi wszystkie usługi ze starego portu i dodaje je na nowym porcie , wyłącza stary port i dodaje go do grupy LAG wraz z nowym portem.
7. Uczestnik EPIX czyści konfiguracje starego portu po swojej stronie i dodaje stary port do utworzonej wcześniej grupy LAG w którym znajduje się już nowy port.
8. Po informacji od Uczestnika że port został dodany do grupy LAG EPIX załącza stary port.

Stosowany w EPIX algorytm rozkładu ruchu: ipv4 L3-and-L4.
Nie ma dodatkowych kosztów poza opłatami za kolejny port.

Krok po kroku:
1. Jeśli podmiot, na który mają zostać przeniesione usługi nie posiada jeszcze konta księgowego w e-Południe dokonaj działań aby je miał. Wykonaj punkty od 1-4 procedury zostawania Uczestnikiem.
2. Po otrzymaniu potwierdzenia aktywacji EPID nowego podmiotu zlecasz przeniesienie pisząc maila na adres przeniesienie@epix.net.pl, podając w nim:
– EPID Uczestnika, z którego konta przenoszone są usługi,
– EPID Uczestnika, na którego konto przenoszone są usługi,
– miesiąc/rok od którego nowy podmiot ma być obciążany za usługi.
3. W odpowiedzi na Twoje zlecenie przeniesienia usług otrzymasz z biura EP odpowiednie dokumenty cesji dla nowego i starego EPID, wraz z krótką instrukcją jak należy z nimi postąpić.
4. Po spełnieniu 2 warunków:  dopełnieniu wszystkich formalności z biurem, oraz wyzerowaniu salda cedenta, usługi zostana skutecznie przeniesione.

Na uruchomienie i modyfikację usług EPIX dajemy sobie 72 godziny (3 doby robocze).
Z reguły jednak uruchamiamy je szybciej, z wyjątkami:
– porty – nie dotyczy krosowania czy ew. obsadzenia portu powierzoną wkładką, są to usługi obcych podmiotów z własnym terminarzem, nawet do 5-14 dni,
– vlany – nie dotyczy czasu ew. uzgodnienia VID z innymi operatorami „po drodze”,
– usługi IP (POLMIX, GLOBALMIX, inne z zewnętrznymi upstreamami) – należy uwzględnić czas rozgłaszania prefixów poza naszą sieć, nawet do kilku dni w wypadku tranzytów globalnych,
– uruchomienie i modyfikacje usług operatorów zewnętrznych (Cogent, GTT, RETN, Level 3) jest realizowane przez tych operatorów w zakresie od kilku dni do nawet 12 tygodni.

UWAGA: Wszystkie powyższe terminy dotyczą zamówień złożonych poprawnie, zgodnie z naszymi zasadami. Niezgodne, niekompletne trafiają do kolejki i są przetwarzane w wolnym czasie, do 2 tygodni.

Da się, pod warunkiem że jesteś MiŚOTem 🙂
Zamawiasz port 40 lub 100G definiując, za jaką przepływność chcesz zapłacić (nie mniejszą niż 20G).
Przekroczenie definiujemy jako użycie większej niż deklarowana przepływności powyżej 1 godziny przez dwa lub więcej dni w miesiącu.
Przekroczenie spowoduje zmianę w Twoim billingu polegającą na dodaniu opłaty za kolejne 10G. Każde 10G będzie naliczane według cennika za porty fizyczne 10G dla MiŚOT.
Obniżenie przepływności przeprowadzamy poprzez standardowe wypowiedzenie części przepływności.

UWAGI:
Nie stosujemy ACL redukujących prędkość do wykupionej, port jest “otwarty”, czyli ma pełną fizyczną przepływność.
Opłaty aktywacyjne portów pozostają bez zmian względem typowego cennika.
Usługi, których cena zależy od przepływności portu (np. OpenPeering) są naliczane według przepływności zadeklarowanej.

Tak 🙂
W WAW-OpenPeering Netflix jest osiągalny jako PNI, więc widzicie ich sieć w prefiksach osiągalnych z RouteServerów.
W KTW-OpenPeering są uruchomione dwa niezależne klastry Netflix OCA Storage, jednak aby zgłosić Netflixowi chęć otrzymywania z nich danych, rozgłoszenia własnych prefiksów do KTW-OpenPeering muszą być oznaczone community 40027:40000.

Informacje:
https://www.epix.net.pl/wanguard-dla-epixowca/

NIE 🙂
Jeśli obydwa zestawy sesji OpenPeeringu są przeznaczone dla tego samego AS i będą na niej rozgłaszane te same prefixy to koszt drugiego kompletu sesji będzie na Twój wniosek obniżony do:
– 49PLN na porcie 1G,
– 99PLN na porcie 10G,
– n * 99PLN na portach zagregowanych i/lub o większej przepływności niż 10G, gdzie “n” to liczba zadeklarowanych paczek 10G,
Upust jest naliczany od kolejnego miesiąca po złożeniu mailowego wniosku o jego udzielenie.

Usługi globalne możliwe do dostarczenia poza węzłami EPIX  jest przeznaczona dla Uczestników posiadających i utrzymujących analogiczny wolumen usługi globalnej w węźle EPIX.