sarg - rychlost zpracovani

Martin Calko calko.martin na cpost.cz
Pondělí Listopad 29 13:43:27 CET 2004


Zpracovavam sarg-em log squid-a na male siti. Nekomprimovany log ma za 
mesic okolo 90MB. Sarg si ho vnitrne v prubehu zpracovani roztridi podle 
ip adres na dilci soubory (jsou videt v /tmp/sarg) a ty pak sort-em 
tridi podle (priblizne) ctyr kriterii.

Problem: tridici faze trva pro uvedene mnozstvi dat radove ve dnech 
(PII/400MHz/256MB RAM). Zkoumal jsem moznost optimalizace ale na nic 
jsem neprisel. sarg zadne zjevne parametry pro ladeni nema (krome toho, 
ze se mu uberou kriteria pro report coz jsem udelal) a sort je asi vekem 
uz dost vyladeny program a nemyslim, ze bych ho dokazal vyznamne 
urychlit. Cely proces v podstate nesaha na disk a zatizeni procesoru je 
okolo 99% a pochazi temer vyhradne od sort-u.

Nejaky napad? Je log ze site s 20-i stanicemi uz tak tvrdy orisek, ze 
bych mel radeji logovat do databaze? Prijde mi to jako pritazene za vlasy.

						Diky
						Martin Calko



Další informace o konferenci Linux