Databaze pro velka mnozstvi dat

[Stanislav PETR - GLUX.cz]

Dobry den,

Sunday, October 5, 2003, 12:39:14 PM, jste napsal(a):

HP> Jaky typ tabulek jste pouzil? Kazdopadne, pokud jste schopen tu chybu
HP> predvest (perlovy skript, ktery vytvori a naplni ty tabulky a pak
HP> ukaze to hrouceni), pouzijte mysqlbug -- moje zkusenost je takova, ze
HP> reakce jsou velmi rychle.

Pouzil jsem MyISAM, protoze nepotrebuju transakce ani nic podobneho.
Cela databaze je velmi jednoducha - jednoduchy joiny podle primarniho
klice. Problem je pouze se dvema tabulkama, ktery jsou extremne velky.
Jak jsem psal dosahuji stovek GB a maji zhruba nasledujidci strukturu.
Format tabulky je schvalne volen jako static, kvuli urychleni
diskovejch operaci. ID je autoincrement - primarni klic, ostatni
sloupce jsou jako samostatny indexy, protze se vetsinou pokladaji
dotazy typu:
SELECT
  ID
FROM
  tabulka
WHERE
  (data1=neco) OR (data2=neco)
LIMIT
  x,y
ORDER BY
  data3

--------------------------------------------------------------------
ID - int(32) | data1 - char(34) | data2 - char(12) | data3 - int(8)|
--------------------------------------------------------------------
|            |                  |                  |               |

Da se to vyvolat relatvine jednoduse - jakmile mi valikost tabulky
prekroci nejakou unosnou miru pro MySQL (od 20GB vejs), a pokud do
dane tabulky zapisuji naraz v nekolika vlaknech, stava se, ze se
nektere zapisy poskodi index (resp. v v MYD zaznamy jsou, ale v
MYI chybi - zrejem doslo k prekroceni nejakeho casu I/O pozadavku
disku). Jeste jsem pozoroval, ze po prechodu z Linuxu na FreeBSD
se to silne zlepsilo, ale stejne se ty chyby projevovaly. Pod Windows
jsem to pro jistotu ani nezkousel... ;)

>> ktera je schopna bezei i nekolik dni se do tabulky neda pristupovat
>> nejen pro zapis, ale dokonce i pro cteni.

HP> Oprava tabulek nebo indexu?

Omlouvam se za nepresnost. Oprava indexu.

HP> Je samozrejme otazka, jakou rychlost ocekavate, ze dostanete ... Mate
HP> nejaka tvrda cisla?

Udelam z toho nejakou prehlednou tabulku a poslu to...

  

-- 
Stanislav PETR
Network specialist
glux na glux.cz
www.GLUX.cz
tel.: 732 654 455
PGP: http://www.glux.cz/pgp/stanislav_petr.txt
ICQ: 51846098