Latence disku (Re: 3ware 9550SX (rychlost sbernice?))

[Jan Kasprzak]

Jan Kasprzak wrote:
: 01:03.0 RAID bus controller: 3ware Inc 9550SX SATA-RAID
:         Subsystem: 3ware Inc 9550SX SATA-RAID
:         Flags: bus master, 66MHz, medium devsel, latency 248, IRQ 18
:                            ^^^^^

	Podle tw_cli to skutecne bezi na 66MHz.

	Ale ted mam jiny problem: prestoze se zda, ze upgradem
3ware 7508 -> 3ware 9550SX a WD2500 ATA100 -> HDS500GB SATA-2 se zvysila
propustnost disku, prijde mi, ze se vyrazne zvysila latence disku
(zejmena asi round-trip cteni-zapis). Podle iostatu to vypada, ze obcas
jsou cekaci doby fakt velke. Podle meho nazoru za to muze svazek /var,
ktery je RAID 1+0 (RAID1 na sde+sdf, RAID1 an sdg+sdh, a z nich RAID-0).
V iostatu je videt, ze sde-sdh maji vyrazne vetsi zatez i cekaci doby:

                             extended device statistics
device mgr/s mgw/s    r/s    w/s    kr/s    kw/s   size queue   wait svc_t  %b
sda      242     6   12.8    0.8  1019.6    28.1   76.9   0.2   15.0  10.3  14
sdb      242     6   13.4    0.8  1022.1    28.1   73.7   0.2   15.7  10.5  15
sdc      243     4   14.7    6.6  1030.3    43.8   50.5   0.9   40.3   9.6  20
sdd      247     4   14.4    6.6  1047.7    43.8   51.8   0.9   42.7  10.5  22
sde      246    66   13.4  114.1  1036.9   731.5   13.9  69.7  546.4   7.3  93
sdf      238    66   16.9  113.7  1018.0   715.0   13.3  70.7  541.0   7.1  93
sdg      240    52   15.3   92.1  1022.9   592.0   15.0  50.2  468.1   7.5  80
sdh      250    52   14.9   92.3  1060.1   605.2   15.5  53.4  498.2   7.4  79

	Taky to vypada, ze timto je neco spatne s qmailem - prestoze ma
concurrencylocal=4 a concurrencyremote=120, zridka stiha poustet vic nez
jedno nebo dve lokalni doruceni zaroven a vic nez cca 10-20 vzdalenych doruceni.

	Tusi nekdo co muze byt spatne? Zajemci si mohou proklikat grafy
na http://www.linux.cz/stats/mrtg-rrd/ (bohuzel u disku nemam grafy delky
fronty a cekaci doby, jen procenta vyuziti a celkovy pocet cteni/zapisu).
Upgrade probehl v patek odpoledne.  Zejmena je dobre si vsimnout ze zatez CPU
nijak vyrazne nevzrostla (ani systemovy ani uzivatelsky cas), load taky ne,
naopak sitovy provoz a pocet FTP uzivatelu je zhruba stejny.

	Jeste je mozne, ze je nekde prilis velka cache/TCQ/NCQ, a ze treba
cteci pozadavky od FTP dostavaji vic priority nez synchronni zapisove
pozadavky na /var nebo tak neco. Zkousel jsem menit ioscheduler (mezi
cbq a deadline), nijak se to vyrazne neprojevilo.

	Dalsi zajimava vec je, ze kdyz napisu sync, tak to trva az
nekolik vterin, nez sync dobehne. Myslim ze driv se to nestavalo, ale
priznavam ze jsem to uz dost dlouho nezkousel.

[ nevim kdy se tahle zprava protlaci do listu, qmail na novem systemu je fakt
  nejaky divny ]

-Y.

-- 
| Jan "Yenya" Kasprzak  <kas at {fi.muni.cz - work | yenya.net - private}> |
| GPG: ID 1024/D3498839      Fingerprint 0D99A7FB206605D7 8B35FCDE05B18A5E |
| http://www.fi.muni.cz/~kas/    Journal: http://www.fi.muni.cz/~kas/blog/ |
> I will never go to meetings again because I think  face to face meetings <
> are the biggest waste of time you can ever have.        --Linus Torvalds <