[linux] Ratanie prenesenych dat podla IP {Long}

M.F. PSIkappa psi na talker.sk
Čtvrtek Květen 22 21:06:49 CEST 2003


Zdravim,
kedze som dostal nejake ohlasy, tak som sa rozhodol, ze spravim zhrnutie o
pocitani dat.
Existuje viacero sposobou ako riesiet pocitanie dat:
1. IP Accounting rieseny cez iptables/ipchains
http://knihy.cpress.cz/DataFiles/Book/00000675/Download/K0819.pdf
Kapitola 10 : IP Uctovanie (421 str.)
Vystup naseho snazenia uvidime na firewallovych pocitadlach, ktore funguju
podobne ako tachometer, cize ak sa prejde cely rozsah tak sa zas pokracuje
od nuly. Preto je vhodne si zapisovat niekam stav pocitadiel a potom ich
vynulovat rucne. Vacsiu vypovedaciu hodnotu ako cisla maju skor grafy.
Existuju rozne softy, co vystupy z pocitadiel zapisuju do suborov, DB,
robia vizualizacia a dalsie veci. Vacsina z nich je napisana v perle.
Jeden priklad za vsetky:
ipac/ipac-ng
http://sourceforge.net/projects/ipac-ng

Existuju aj dalsie projekty, ale tento je povazovany za jeden z
najvydarenejsich...; ostatne spomeniem na zaver.

Toto je relativne jednoduche riesenie, musime mat vytvorene firewallove
pravidla na vsetko co chceme zistovat, co je najvacsia nevyhoda daneho
riesenia.

Dalsie 2 spomenute riesenia budu zalozene na skumani tokov, ktore
prechadzaju cez router.

2. NeTraMet - implementation of the Internet Accounting Architecture (RFC
2063 and RFC 2064)
http://www2.auckland.ac.nz/net/Accounting/ntm.Release.note.html
Nezlaknite sa ze posledna verzia je este z minuleho storocia ;-)
Pouziva vlastny jazyk popisovaci jazyk srl, ktorym definujeme pravidla na
zachytavanie trafiku, pozna to aj konstrukcie IF-THEN-ELSE.
Architekture je rozdelena na cast co zachytava trafik a cast co
vyhodnocuje a zobrazuje ziskane informacie. Bezi to na viacerych
platformach a moze to byt distribuovane.

Nemam s tym ziadne prakticke skusenosti, ale podla toho co som o tom
cital, tak i napriek casu, ktory uplynul od posledneho release je to
povazovane za kvalitny soft, ktory nema vo svojej triede konkurenciu.

3. Netflow - technlogia, ktoru vymysleli u cisca, posledna verzia je v9
http://www.cisco.com/go/netflow
Najpouzivanejsia je vsak verzia V5.
Architektura netflow sa sklada z:
a)netflow probes (sondy) - zariadenia ako cisco alebo juniper dokazu
zachytavat trafik a exportovat ho vo forme netflow. Linuxove implementacie
probes:
- fprobe (http://psi.home.ro/flow/) zvlada verziu V5
- flowprobe (http://fprobe.sourceforge.net/)
- nProbe (http://www.ntop.org/nProbe.html) - je to sice GPL soft, ale
autori pozaduju poplatok vo vyske 99.95 Euro.
- softflowd (http://www.mindrot.org/softflowd.html) - zvlada len verziu V1
a uz je dost dlho nevyvyjany.

Kedze sa jedna o velke mnozstva dat, tak niesu uchovavane priamo na
routery ale pomocou udp su dopravovane do Netflow collector

b) netflow collector (zberace dat) - v minulosti to boli vykonne servery s
na tie doby velkou kapacitou diskou, dnes nato staci obycajne PC.

c) netflow analysis tool (analyzer) - vacsina free implementacii dnes v
sebe zahrna ako netflow collector tak aj netflow analysis tool. Kedze
Netflow je priemyselny standard, tak mozeme vyuzit tieto softy na zberanie
a analyzu dat z roznych zariadeni, ktore podporuju netflow.
- cflowd (http://www.caida.org/tools/measurement/cflowd/) zvlada
jednoduche analyzy, existuju aj nad to nadstavby na podrobnejsiu analyzu.
Je to najpouzivanejsie implementacia, ale existuju aj lepsie/vykonnejsie.
I ked v komplextnosti neexistuje ziadne lepsie free riesenie. Hlavne ak sa
pouziju nadstavby, ktore tak isto robi Caida.
- flow-tools (http://www.splintered.net/sw/flow-tools/) - velmi vykonna
implementacia s dobrou podporou
- ehnt (http://ehnt.sourceforge.net/) - jednoduchy sposob aky si pozriet v
ludskej forme vystup z netflow.
- F.L.A.V.I.O (http://flavio.sourceforge.net/) - uklada netflow do mysql a
robi nad tym statistiky, pekne grafy a tabulky.
- ntop (www.ntop.org) - zvlada collector aj visualizaciu.

Vseobecny prehlad aplikacii robiacich nieco s netflow je na:
http://www.inmon.com/netflowapps.htm
http://www.switch.ch/tf-tant/floma/software.html

4. Kedze netflow uz napriklad na 10GB siete nieje prilis vhodne pouzit,
vzniklo sFlow (www.sflow.org) RFC 3176.

Architektura sFlow je podobna k Netflow len s tym rozdielom ze uspornejsie
naraba so ziskanymi datami. Tak isto sa sklada z agenta, collectora a
analyzera.
Pokial mi je zname, tak existuju len 2 softy co vedia neco robit s sFlow:
http://www.ntop.org
http://www.inmon.com/sflowTools.htm

Dufam, ze niekomu toto moje zhrnutie pomohlo a zacne sa hrat ci uz s
Netflow alebo sFlow a potom sa podeli s nami o vysledky. Urcite som
nespomenul viacerych zastupcov prvej kategorie, kedze ich je nespocetne
mnozstvo...

Sorry za vsetky gramaticke chyby a pouzite anglicko-slovenske terminy.

On Wed, 21 May 2003, M.F. PSIkappa wrote:

> Zdravim,
> to co chces uz nieje len taky accounting, to uz su netflows. Pokial ma
> pamat neklame, tak to bol vymysel cisca. Open implementacia sa vola
> softflowd a domovsku stranku mala tuto:
> http://www.mindrot.org/softflowd.html
> (dalo sa to skompilovat pre linux,freebsd,openbsd,solaris)
> Momentalne je ta stranka nedostupna, tak neviem...
>
> Softflowd je len collector, z ktoreho sa daju exportovat neflow v5
> streamy, ktore by sa mali ukladat do db a z toho potom robit statistiky.
>
> Ak mas o tuto problematiku zaujem a mas cas experimentovat, tak mi napis a
> poslem ti cele know-how co o tom mam, kedze ja momentalne nemam cas sa
> tomu venovat.
>
> On Wed, 21 May 2003, Peter Mann wrote:
>
> > On Wed, May 21, 2003 at 01:56:38PM +0200, Martin Benuska wrote:
> > > ipac je fajn, ale po osobnych skusenostiach by som skor odporucil ntop
> > > (http://www.ntop.org)
> >
> > co by sa hodilo na nejake generovanie grafov, tak aby si kazdy
> > pouzivatel mohol pozriet svoj stav??? najlepsie aj podla protokolov
> > (viem, ze ipacsum ma volbu --png)
> >
> > BTW - skusal som ipac-ng s ukladanim dat do postgresql, neskor do gdbm -
> > ukladalo to zrejme spravne - gdbm subor sa menil, selecty v databaze
> > ukazovali pribudajuce data, ale ipacsum to nejak nevedel zosumarizovat,
> > pricom v conf subore som uviedol aj typ pristupu (gdbm, ci postgre)

--
`)_|_('       PSIkappa
   I k        psi _at_ talker.sk




Další informace o konferenci linux