3 / 36 kapitol
    DokumentaceNasazení

    03

    Dimenzování a datový tok

    Kolik dat do serveru poteče?

    Tato kapitola odpovídá na praktickou otázku: jak silnou linku a jak velký disk potřebujete pro počet agentů a síťových zařízení, které chcete sledovat. Nemusíte rozumět technickým detailům — první tabulka vám dá tři čísla, která na hrubý odhad stačí.

    Všechna čísla níže jsou naměřená na běžícím FlowPRO serveru s reálným provozem (agenti se všemi zapnutými datasety, syslog z firewallů, NetFlow z živé sítě) — nejde o odhady od výrobce.

    Rychlý odhad (pravidla palce)

    Zdroj datZatížení linkyNová data na disku
    1 agent na serveru nebo PC~50 MB za den~90 MB za den
    1 běžný router/firewall posílající syslog~2–20 MB za den~3–30 MB za den
    NetFlow ze síťového prvku~0,5 % objemu provozu, který sleduje~4 GB za den na 1 Gbit/s provozu

    Příklad: 100 agentů + 20 routerů + monitoring 1Gbit linky znamená přibližně 6 Mbit/s příchozích dat a asi 20 GB nových dat na disku každý den. Z hlediska konektivity je to velmi málo — na 100 agentů bohatě stačí běžná 100Mbit linka. Kritičtější je vždy disk, ne linka.

    Agenti (servery a stanice)

    Agent posílá dva druhy dat: metriky (CPU, RAM, disky, síť, procesy — každých 10 sekund) a logy (přihlášení, systémové zprávy, auditní záznamy). Data se před odesláním komprimují, takže na lince zaberou přibližně osminu své původní velikosti.

    Počet agentůZákladní profilPlný profilZatížení linky (plný profil)Disk / denDisk / 30 dní
    100,1 GB0,5 GB0,05 Mbit/s0,9 GB27 GB
    250,25 GB1,3 GB0,12 Mbit/s2,3 GB68 GB
    500,5 GB2,5 GB0,23 Mbit/s4,5 GB135 GB
    1001,0 GB5,0 GB0,46 Mbit/s9 GB270 GB
    2502,5 GB12,5 GB1,2 Mbit/s22 GB675 GB
    5005,0 GB25 GB2,3 Mbit/s45 GB1,35 TB
    1 00010 GB50 GB4,6 Mbit/s90 GB2,7 TB
    2 00020 GB100 GB9,3 Mbit/s180 GB5,4 TB
    Základní profil znamená vypnuté sledování jednotlivých procesů (system.process) a diskových operací (system.diskio). Tyto dva datasety samy tvoří asi 70 % všech dat agenta. Vypnout je můžete v Nastavení → Sběr dat bez přeinstalace agentů — je to zdaleka nejúčinnější způsob, jak snížit objem dat, pokud tuto úroveň detailu nepotřebujete.

    Dva případy, kdy agent posílá výrazně víc

    • •Hosty s Dockerem nebo s mnoha disky a síťovými rozhraními — agent měří každý disk a každé rozhraní zvlášť. Naměřeno až 90 MB/den místo 50 MB/den, tedy téměř dvojnásobek.
    • •Mailové a webové servery — logy Postfixu na vytíženém mail serveru samy dělají asi 1 GB dat denně, tedy víc než 20 běžných agentů dohromady.

    Syslog ze síťových zařízení

    Jedna syslogová zpráva zabere na lince asi 227 bajtů a na disku asi 376 bajtů (naměřené hodnoty).

    Zpráv za sekunduZatížení linkyPřijatá data / denDisk / den
    100,02 Mbit/s0,2 GB0,33 GB
    500,09 Mbit/s1,0 GB1,6 GB
    1000,18 Mbit/s2,0 GB3,3 GB
    5000,9 Mbit/s9,8 GB16 GB
    1 0001,8 Mbit/s20 GB33 GB
    2 5004,5 Mbit/s49 GB81 GB
    5 0009,1 Mbit/s98 GB163 GB
    10 00018 Mbit/s196 GB325 GB

    Kolik zpráv zařízení skutečně posílá?

    Závisí to jen na tom, co má zařízení nastavené k logování — ne na jeho velikosti ani na počtu zařízení.

    Nastavení logování na zařízeníZpráv/s
    Jen firewall drops, DHCP, přihlášení (běžné)0,2–2
    Logování všech spojení20–80
    Logování jednotlivých paketů (např. Kerio ips_pktlog)~760
    U syslogu nedimenzujte podle počtu zařízení, ale podle jejich nastavení. Na měřeném serveru jeden jediný firewall se zapnutým logováním paketů generoval 65 milionů zpráv denně (25 GB disku každý den) — tedy stejně jako 500 běžných routerů. Pokud vám neúměrně roste disk, hledejte nejdřív takové zařízení: Průzkumník logů → seskupit podle zdrojové IP.

    NetFlow / IPFIX (analýza síťových toků)

    NetFlow neposílá samotný provoz, ale jen záznamy o spojeních — jeho objem je proto malým zlomkem sledovaného provozu. Naměřeno: 0,5 % objemu sledované linky. Pro dimenzování doporučujeme počítat s rezervou 1 %.

    Sledovaný provozNetFlow příjem (naměřeno)Doporučeno plánovatToků/sDisk / den
    100 Mbit/s0,5 Mbit/s1 Mbit/s~2200,4 GB
    500 Mbit/s2,5 Mbit/s5 Mbit/s~1 1001,9 GB
    1 Gbit/s5 Mbit/s10 Mbit/s~2 2003,8 GB
    5 Gbit/s25 Mbit/s50 Mbit/s~11 00019 GB
    10 Gbit/s50 Mbit/s100 Mbit/s~22 00038 GB
    Pokud je to na vaši linku příliš, zapněte na exportujícím zařízení sampling (vzorkování). Nastavení 1:100 sníží objem dat i podrobnost statistik stokrát.

    Praktické scénáře

    NasazeníZdroje datPříchozí linkaDisk / denDisk / 90 dní
    Menší firma25 agentů, 5 routerů, 200 Mbit/s NetFlow~1,5 Mbit/s~4 GB~360 GB
    Střední firma100 agentů, 20 routerů, 1 Gbit/s NetFlow~6 Mbit/s~20 GB~1,8 TB
    ISP / velká síť300 agentů, 50 routerů, 10 Gbit/s NetFlow~55 Mbit/s~90 GB~8 TB

    Na co nezapomenout

    • •Rezerva na špičky — tabulky uvádějí průměry. Když agent ztratí spojení se serverem, data si ukládá lokálně a po obnovení spojení je pošle najednou. Plánujte 3–5násobek průměru: pro 1 000 agentů tedy raději 20–25 Mbit/s než 5 Mbit/s.
    • •Instalace a aktualizace agentů — každý agent si stahuje asi 0,5 GB instalačního balíčku z internetu (artifacts.elastic.co), nikoli z FlowPRO serveru. Server to nezatíží, ale při hromadném nasazování to zatíží linku dané lokality.
    • •Disk je vždy dřív problém než linka. I u 1 000 agentů je datový tok v jednotkách Mbit/s, ale disk roste každý den. Než začnete navyšovat disk, zkontrolujte nastavení retence (Nastavení → Retence dat) a vypněte datasety, které nevyužíváte.
    • •Komunikace agenta se serverem (přihlašování do Fleetu, kontroly stavu) je v uvedených číslech už zahrnutá a je zanedbatelná.