sarg - rychlost zpracovani
Martin Calko
calko.martin na cpost.cz
Pondělí Listopad 29 13:43:27 CET 2004
Zpracovavam sarg-em log squid-a na male siti. Nekomprimovany log ma za
mesic okolo 90MB. Sarg si ho vnitrne v prubehu zpracovani roztridi podle
ip adres na dilci soubory (jsou videt v /tmp/sarg) a ty pak sort-em
tridi podle (priblizne) ctyr kriterii.
Problem: tridici faze trva pro uvedene mnozstvi dat radove ve dnech
(PII/400MHz/256MB RAM). Zkoumal jsem moznost optimalizace ale na nic
jsem neprisel. sarg zadne zjevne parametry pro ladeni nema (krome toho,
ze se mu uberou kriteria pro report coz jsem udelal) a sort je asi vekem
uz dost vyladeny program a nemyslim, ze bych ho dokazal vyznamne
urychlit. Cely proces v podstate nesaha na disk a zatizeni procesoru je
okolo 99% a pochazi temer vyhradne od sort-u.
Nejaky napad? Je log ze site s 20-i stanicemi uz tak tvrdy orisek, ze
bych mel radeji logovat do databaze? Prijde mi to jako pritazene za vlasy.
Diky
Martin Calko
Další informace o konferenci Linux