CEPH?

[Jan Marek]

Dd,

moc děkuju, docela jste mě povzbudil...

Už tady též dělám testovací prostředí ze 4 vyřazených serverů
(3 Ceph + 1 OpenNebula).

Mám to přes LACP propojené na dva HP switche (ty zase spojené
přes IRS)

Co se týče stability - pohoda. Už jsem několikrát restartoval
jednotlivé stroje s CEPH-em za současného provozu a vše OK (na
každém stroji mám 1 MON a 1 OSD) Data mám nastavena na 3
repliky s tím, že v případě havárie stačí 2 repliky.

Co se týče přenosové rychlosti (teď měřím pomocí bonnie++
rychlost uvnitř virtuálu) tak zatím tedy nic moc - ceph samotný
mi hlásí max. cca 160 iops a max 9MB/s. Instalace Debianu do
virtuálu, která mi běžně trvá cca 10-15min. mi trvala skoro 2
hodiny. bonnie++ mi změřil toto:

Version  1.97       ------Sequential Output------ --Sequential
Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr-
--Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec
%CP  /sec %CP
TEST             8G            2828   0  5713   1           37132
7  98.1   8
Latency                        9755ms    2063ms
1018ms    1729ms

1.97,1.97,TEST,1,1478687461,8G,,,,2828,0,5713,1,,,37132,7,98.1,8,,,,,,,,,,,,,,,,,,,9755ms,2063ms,,1018ms,1729ms,,,,,,

Což je dost drsné - cca 3MB/s při latenci skoro 10s. Uff.

Měřil jsem pomocí bonnie++ i jednotlivé nod-y - mají přenosovou
rychlost 70MB/s, na jednom nodu mám Arecu s RAID5 polem
(potřeboval jsem více než 1TB a byly tam jen 320GB disky), tam je
rychlost cca dvojnásobná.

No, je to asi zatím na delší trať :-(

Každopádně nekončím, budu zkoušet dál. :-)

Zdraví
Honza Marek

On Tue, Oct 18, 2016 at 10:56:57AM +0200, Jan Kasprzak wrote:
> Adam Pribyl wrote:
> : Nikdo neopovedel, zkusenosti nemam, ale na Linuxdays 2016 byla na
> : toto tema prednaska. Mela by byt dostupna na AVC, tak treba tam neco
> : zajimaveho nejdete.
> 
> 	Videl jsem slajdy, a moc me to nezaujalo. Na zaklade slajdu
> mi to prislo zhruba ve stylu "autorovi se rozpadl CEPH FS a ted je
> nastvany". Zaznamenal jsem tam prohlaseni typu "kdyz prijdete o vsechny OSD,
> tak se CEPH rozbije", coz je teda velke prekvapeni :-)
> 
> 	U me se zatim :-) CEPH nerozbil, ale pouzivam v podstate jen
> vrstvu RADOS, ne CEPH FS ani ten S3/SWIFT interface (radosgw).
> Na druhou stranu jsem to dal asi na 25 vyrazenych stroju s cca 50
> vyrazenymi disky, ktere jsou pouzite natvrdo bez jakehokoli RAIDu,
> a v prvnim cca mesici mi odchazel tak jeden disk za dva dny. Nektere disky
> jsem projel pres badblocks -w, aby tam byla cerstve zapsana data, a cast
> z nich se zase rozbehla. Jinak byly uplne vypadky, castecne vypadky,
> vadne sektory, atd. Nenarazil jsem zatim na situaci, kdy by se z tohoto
> CEPH nevzpamatoval nebo kdy bych prisel o data. Z meho pohledu tedy super,
> minimalne vrstva RADOS mi prijde fakt robustni. Doufam, ze jsem to nezakrikl :-)
> 
> 	Toz tak.
> 
> -Y.
> 
> -- 
> | Jan "Yenya" Kasprzak <kas at {fi.muni.cz - work | yenya.net - private}> |
> | http://www.fi.muni.cz/~kas/                         GPG: 4096R/A45477D5 |
>      "i wonder how it would be if joerg schilling wrote perl modules."
>                                          -- from perldoc common::sense
> _______________________________________________
> Linux mailing list
> Linux na linux.cz
> http://www.linux.cz/mailman/listinfo/linux

-- 
Ing. Jan Marek               | Nez mi poslete prilohu .doc, .xls 
University of South Bohemia  | nebo .ppt, prectete si, prosim,
Academic Computer Centre     | WWW stranku uvedenou na poslednim
Phone: +420-38-9032080       | radku signatury...
http://www.gnu.org/philosophy/no-word-attachments.cs.html