Adaptec 2820 - HW RAID? SW RAID? SMART?

[Petr Stehlik]

Slávek Banko píše v St 26. 09. 2007 v 20:32 +0200:
> On ten řadič po přidání nového disku tento nastaví jako první ve svém pořadí 
> bootování? To zní neuvěřitelně.

Ne. On ten disk nastaví jako poslední ve svém pořadí bootování, které má
ale _špatně_ a pak se navzdory konfiguraci a dokumentaci z něj pokusí
bootovat.

> Jinak odlišnost pořadí disků v biosu × pořadí 
> v Linuxu by nemělo nijak vadit za předpokladu, že všechno máte v raidech. 
> Bios načte jádro a ramdisk z bootovacího disku

bohužel ne. Poslední disk byl spare a na něm nebylo nic, takže BIOS
nenačetl nic. Když jsem potom poměnil to pořadí disků, tak to sice
bootovalo, ale nějak podivně - jako by se část grubu načetla z jednoho
disku a zbytek se četl z jiného.. Navíc pořád hrozilo, že bootovací disk
(hd0,0) se změní v nějaký jiný, nově přidaný disk (nebo díky odebranému
se to posune na nějaký nečekaný, třeba opět na ten spare, na kterém nic
není).

> ramdisk sestaví raidy 
> nezávisle na pojmenování disků a systému pak už bude spokojeně 
> používat /dev/mdX nezávisle na nějakých /dev/sdX.

to ano, ale situace je nepřehledná ještě před načtením jádra a
ramdisku...

> Pro zajištění bootovatelnosti z kteréhokoliv disku případně můžete udělat na 
> všech discích malý oddíl pro /boot a ten dát do raid1 přes všechny disky 
> (takový ultra stabilní raid1 ;)

Tak to přesně mám - / je na RAID1 přes všechny disky - teda kromě spare,
který jsem chtěl uspat... Nemít ten RAID1, tak se s tím nedomluvím
vůbec. Vlastně pro úspěšné bootování z toho disku, který je právě
ADAPTECem podstrčen BIOSu za bootovací je potřeba mít nainstalovaný GRUB
s odpovídajícím root=(hdX,0) - kde X je nejvyšší číslo disku počítáno od
nuly, a platí to jen pokud se nezmění počet disků... Pokud využiju
výhodu root fs na RAID1 přes všechny disky a do GRUB konfigurace dám
fixní boot disk (třeba hd1,0), tak se musím modlit, aby to po přidání
nebo odebrání disku z řadiče neposunulo disky tak, že hd1 vyjde na
spare... Neboli bootování z ADAPTEcu jsem po dvou dnech všemožných
pokusů prostě vzdal.

> Pozn: Kvůli raidu stále před grubem preferuji lilo.

Uznávám, že s lilem by mohla být situace možná jednodušší. GRUB mě tady
šeredně pohonil (a to vůbec nezmiňuji dvoudenní martyrium při
rozbootovávání IDE flashky, komplikované jen jedním IDE konektorem
(takže nešlo použít bootovací/instalační/rescue CD), kde bootovací disk
pro BIOS taky cestoval podle toho, jestli jsem zrovna měl připojené jiné
bootovací disky na SATA nebo SCSI).


Každopádně jsem si dnes odpoledne myslel, že týdenní maraton se blíží k
závěru: bootuji z IDE, disky v SW RAID1/1/5 (root/swap/data), fungují
korektně jak na ADAPTECu přes logické Volume (těch asi 110 MB v 15
skrytých cylindrech jsem lehce oželel), tak i na on-board řadiči  - jen
mě ještě napadla taková drobnost - trochu otestovat výkon výsledného
pole...

Zatímco v zápisu na 5 ks 750 GB disků v SW RAID5 (spare nepočítám) oba
řadiče dělají shodných asi 88 MB/s, tak čtení je diametrálně odlišné -
on-board SATA klidně udělá 300 MB/s, ale ADAPTEC se přes ty Volumy
plouží na ostudných 90 MB/s. Čtení z jednoho fyzického disku je přes oba
řadiče shodné, 80 MB/s. Takže to vypadá, jakoby ADAPTEC nedokázal číst
ze všech 4 disků naráz a využít tak výhodu RAID5... Nevěřil jsem svým
očím, ale bonnie++ i iozone to do posledního puntíku potvrdily.

Teď tu zrovna sedím a dumám, jestli budu po osmé reinicializovat disky,
repartitionovat a reinstalovat systém, abych znovu zkusil ten HW RAID5,
jestli je výkonově v pořádku, nebo jestli taky trpí limitem 90 MB/s, což
si u PCI-X a 8x3Gb/s řadiče nějak neumím vysvětlit...

Petr