Clustering, databaze a sdileni dat

[Michal Krause]

Zdravim,

jsem (pro zmenu) zase trosku OT, ale nemam se kde jinde zeptat.
Premyslim docela vazne o nejake paralelizaci Navrcholu, protoze jeden
stroj zvolan prestava stihat a uz neni kam zvedat vykon (vyjma SMP, u
ktereho mi ale vadi, ze za nejaky cas zase nebude co zlepsit, v tomto
ohledu mi pripada clustering pruznejsi).

Celkem nevidim zasadni problemy s implementaci, alespon teoreticky se v
problematice orientuju, ale porad mi lezi v hlave dve zalezitost. A to
je pouziti SQL serveru a pripadne sdileni jistych dat mezi uzly.

Jde o to, ze MySQL spolu s demonem realizujicim vlastni pocitani jsou
to, co se v systemu nejvic namaka. Presunuti SQL serveru na vlastni
stroj je pouze momentalni reseni, ktere opet narazi za par mesicu na
svuj strop, nehlede na to, ze spojeni po TCP/IP bude mozna i pomalejsi
nez pres unix socketu (to je jenom moje domnenka). Zkratka i praci SQL
serveru by bylo vhodne rozdistribuovat na vice stroju.

Jenze to by bud znamenalo distribuovat pozadavky na vyssich urovnich,
nez je sitovani (konkretne podle ID, jehoz se hit tyka) a to se mi
nelibi. Jednak to asi bude mene vykonne, oproti pouziti treba Beowulfa a
jednak to nezajistuje optimalni rozlozeni pozadavku (protoze par
nejnavstevovanejsich stranek dela skoro 30% trafficu).

Pokud bych ale rozlozil requesty klasicky na urovni TCP/IP, vyvstavaji
dalsi problemy, konkretne to, ze demon pracuje s jistymi daty (jakousi
pametovou cachi), ktera se dynamicky v prubehu casu meni. Do tehle cache
je potreba mit maximalne rychly pristup (momentalne to resim pres hash)
a hlavne by musela v ramci clusteru existovat jenom jedna, sdilena. A
jak tohle resit, to me momentalne nenapada vubec.

Nakonec se mi pri psani tohoto mailu zacina zdat, ze jde o aplikaci,
jejiz paralelizace nebude vubec jednoducha. Zrejme bude asi nutne pro
SQL vyhradit dostatecne silne zelezo a nebo se spokojit s nedokonalou
distribuci pomoci ID. Ale stale to komplikuje ta cache.

Zkratka zacinam z toho mit hlavu jako skopek. Nenasel by se tady nekdo,
kdo ma s podobnymi systemy vice zkusenosti? Kazdy zajimavy napad je
vitany.

Diky

S pozdravem
--
Michal Krause                                                      /\
ICQ: 7665279            Informace (nejenom) ze sveta Linuxu     /\/  \
email: mike na navrcholu.cz ______ http://www.root.cz/ ______ NAVRCHOLU.cz

Co napsat do signatury, aby to nikoho nepohorsilo? Snad jedine nejakou
obecne znamou pravdu. Doufam, ze vsichni vite, ze tucnak je bylozrava ryba.