Nizky vykon SAN - VYŘEŠENO

[Jan Marek]

Zdravím,

jednak díky za odpověď, jednak mám aktualizaci celé situace, snad
to taky někomu pomůže...

Situce se vyvinula tak, že jsme se s dodavatelem serveru dohodli,
že mi poskytne k vyzkoušení 10Gbe síťovky s jiných chipsetem.

Dostal jsem Mellanox a Emulex.

Mellanox jel se stejným nastavením "na první cuk" se slušnou
propustností - cca 70MB/s, občas mi vyskočil na 100 - 120MB/s.
IOwait mi klesl na max 0.3%, p5i provádění záloh, kdy je na pole
spousta požadavků, se mi objevuje cca 3-4%. Spokojenost.

Podobnou propustnost jsem měl i na Emulexu, akorát jsem mu musel
zapnout TCP offloading. Od Emulex-u jsem měl model bez iSCSI
offloadingu, předpokládám, že ten by to možná trošku ještě
posunul výše, nebo by na kartu natáhl část zátěže, kterou teď
dělá procesor (vkládání SCSI do TCP/IP packetů).

Když se ještě vrátím k té kartě s Intel chipsetem - jejím
výrobcem je Supermicro - tak v okamžiku, kdy mi z pole četla
rychlostí cca 2-4MB/s (dd if=dev/sdg of=/dev/null bs=1M
iflag=direct), tak mi ale byla z FTP schopna stáhnout
soubor rychlostí 70MB/s (FTP bylo připojeno 1Gb síťovkou), takže
byl buďto problém někde v rozhraní mezi ovladačem síťovky a iSCSI
stackem, nebo se ta síťovka chovala nějak nestandardně vůči poli
- nevím, nejsem schopen to nějak dále zkoumat... Každopádně to
spolu nějak nefungovalo.

Nakonec jsme se s dodavatelem serveru domluvili na výměně té
síťovky za ten Mellanox.

Nicméně ještě jednou díky za postřeh.

Zdraví
Honza Marek
On Thu, Apr 19, 2012 at 07:02:38PM +0200, Pavel Kankovsky wrote:
> On Thu, 29 Mar 2012, Jan Marek wrote:
> 
> Snad bude i takto opožděná odpověď někomu k užitku...
> 
> > Potýkám se s vysokou latencí tohoto řešení (vysoké hodnoty wait
> > v iostat-u, dosahuju až 20-ti %).
> 
> To je trochu nicneříkající údaj, protože záleží na druhu zátěže. 
> 
> V první řadě je potřeba co nejpřesněji identifikovat úzké místo, které to 
> zdržuje. První, co bych použil, by byl asi sar a pak blktrace, kterými 
> bych změřil, jak moc je to diskové pole vytížené.
> 
> > Zvětšil jsem frontu na těchto dvou síťových kartách na 10000, a to jak
> > na vstupu, tak na výstupu.
> 
> To nemusí být moc dobrý nápad, protože bufferbloat může latence ještě
> zvětšovat. 9000-bajtových paketů přenesete po desetigigabitu nějakých 130
> tisíc za sekundu. Pokud chcete mít odezvu řekněme max. 10 ms, tak nelze ve
> frontě držet víc než 1300 paketů najednou.
> 
> -- 
> Pavel Kankovsky aka Peak                          / Jeremiah 9:21        \
> "For death is come up into our MS Windows(tm)..." \ 21st century edition /
> 
> 
> 
> _______________________________________________
> Linux mailing list
> Linux na linux.cz
> http://www.linux.cz/mailman/listinfo/linux

-- 
Ing. Jan Marek               | Nez mi poslete prilohu .doc, .xls 
University of South Bohemia  | nebo .ppt, prectete si, prosim,
Academic Computer Centre     | WWW stranku uvedenou na poslednim
Phone: +420-38-9032080       | radku signatury...
http://www.gnu.org/philosophy/no-word-attachments.cs.html