sarg - rychlost zpracovani

[Zdenek SUTR Kaminski]

On Mon, 29 Nov 2004, Martin Calko wrote:

> Zpracovavam sarg-em log squid-a na male siti. Nekomprimovany log ma za 
> mesic okolo 90MB. Sarg si ho vnitrne v prubehu zpracovani roztridi podle 
> ip adres na dilci soubory (jsou videt v /tmp/sarg) a ty pak sort-em 
> tridi podle (priblizne) ctyr kriterii.
> 
> Problem: tridici faze trva pro uvedene mnozstvi dat radove ve dnech 
> (PII/400MHz/256MB RAM). Zkoumal jsem moznost optimalizace ale na nic 
> jsem neprisel. sarg zadne zjevne parametry pro ladeni nema (krome toho, 
> ze se mu uberou kriteria pro report coz jsem udelal) a sort je asi vekem 
> uz dost vyladeny program a nemyslim, ze bych ho dokazal vyznamne 
> urychlit. Cely proces v podstate nesaha na disk a zatizeni procesoru je 
> okolo 99% a pochazi temer vyhradne od sort-u.
> 
> Nejaky napad? Je log ze site s 20-i stanicemi uz tak tvrdy orisek, ze 
> bych mel radeji logovat do databaze? Prijde mi to jako pritazene za vlasy.

Nu, ja jsem to vyresil tak, ze poustim srg casteji (upravil jsem si jej 
pro castejsi periodu - at dela dobre adresare a generuje spravne stranku) 
a rotuji si logy, coz ovsem muze znamenat jistou ztratu informace, protoze 
se tak deje i behem pracovni doby...

Ano, srg se mi zda naprd pri velkem zpracovani...

Z.K.
--
Wallachian Laboratories? Freeride in UN*X systems...