Latence disku (Re: 3ware 9550SX (rychlost sbernice?))

Pavel Kankovsky peak na argo.troja.mff.cuni.cz
Středa Červenec 5 12:51:02 CEST 2006


On Tue, 4 Jul 2006, Jan Kasprzak wrote:

>                              extended device statistics
> device mgr/s mgw/s    r/s    w/s    kr/s    kw/s   size queue   wait svc_t  %b
> sda      242     6   12.8    0.8  1019.6    28.1   76.9   0.2   15.0  10.3  14
> sdb      242     6   13.4    0.8  1022.1    28.1   73.7   0.2   15.7  10.5  15
> sdc      243     4   14.7    6.6  1030.3    43.8   50.5   0.9   40.3   9.6  20
> sdd      247     4   14.4    6.6  1047.7    43.8   51.8   0.9   42.7  10.5  22
> sde      246    66   13.4  114.1  1036.9   731.5   13.9  69.7  546.4   7.3  93
> sdf      238    66   16.9  113.7  1018.0   715.0   13.3  70.7  541.0   7.1  93
> sdg      240    52   15.3   92.1  1022.9   592.0   15.0  50.2  468.1   7.5  80
> sdh      250    52   14.9   92.3  1060.1   605.2   15.5  53.4  498.2   7.4  79

Musím přiznat, že je to pro mne neznámý formát výstupu z iostatu, takže 
budu místy jen hádat.

Zjevné je, že disky sde až sdh jsou oproti sda až sdd výrazně vytížené
krátkými zápisovými operacemi, kterých probíhá několik desítek za sekundu
(viz w/s, což je asi počet operací, mgw/s by mohl být počet operací po
jejich agregaci, ale moc to nevychází (*), také viz size, což by měla být
asi průměrná délka dat přenášených během operace). Ty disky se zdají být
poměrně intenzívně vytížené (viz %b), ale zdá se, že vyřizování operací
probíhá probíhá poměrně svižně (viz svc_t, to by měl být průměrný čas v ms
potřebný na zpracování jedné operace). Zdá se, že problém je v tom, že
disky prostě nestíhají a požadavky se hromadí ve frontě (viz queue).

(*) I když možná je to tak, že mgr/s a mgw/s jsou ve skutečnosti 
přepočítané na nějaké fixní bloky, třeba 4 KiB. Takže u krátkých operací 
je m-hodnota menší než ne-m-hodnota, zatímco u dlouhých je větší.

Zátěž pro čtení je na všech discích zhruba stejná. To FTP, nebo co to je, 
je rozložené přes všechny disky?

Je divné, že to přestalo stíhat při přechodu na (aspoň papírově) lepší 
hardware, ale vypadá to, že to prostě narazilo na hranice jeho možností.

Je možné, že to bylo na hraně už před tím (z grafů na webu se toho bohužel
moc poznat nedá, protože pár extrémních špiček učinilo ze všeho ostatního
šum u nuly), ale že zápisové operace byly předtím preferovány (řadičem?
disky? rozhodně by řekl, že nějakým příliš "inteligentním" hardwarem) víc
než nyní.

Já bych osobně zkusil /var strčit na disk, o který se nebude s nikým
přetahovat. Možná by také pomohlo, kdyby se nějak (nevím jak, u SCSI a FC
to tradičně býval parametr driveru) omezil počet operací, co se najednou
posílají do řadiče a do disků, aby nedostávali tolik možností si požadavky 
reorganizovat podle svého mdlého rozumu.

--Pavel Kankovsky aka Peak  [ Boycott Microsoft--http://www.vcnet.com/bms ]
"Resistance is futile. Open your source code and prepare for assimilation."





Další informace o konferenci Linux