OT: veřejný datový sklad

Neděle Leden 6 14:40:25 CET 2013

Zdravím,

Ad1 - technologie: popis celého skladu je na 
www.mybak.cz/index.php?option=com_content&view=article&id=10:tech_details&catid=8:stories

Celá architektura je postavená na Linuxu a na Open Source. Takže jsou 
zde použity produkty jako různé distribuce specializované na firewall, 
nebo na NAS (OpenFiler). Centrální cluster používá Centos (potažmo 
RedHat) a jednotlivé programy v něm (vsftpd, httpd2, např.). K 
monitorování se používá Nagios. K managementu se používá Puppet (což je 
snad jediné, co není opravdu OpenSource).

Ad2 - rychlost. Z dříve řečeného a z architektury systému se dá na věc 
nahlížet z několika pohledů. Jednak je úložiště limitováno komunikační 
rychlostí vnitřní sítě (což je 3x1Gbit/s). Každý storage node je 
limitován rychlostí zápisu interních disků (což je víc, než rychlost 
komunikace sítě). Když se stavělo první úložiště řešila se ze začátku 
rychlost ale praxe brzo ukázala, že rychlost je snad to jediné, co 
zákazník nepožaduje. Jinak z našich vnitřních výzkumů víme, že:
-jeden thread (tedy jedno čtení, nebo zápis) jede asi na 100-150 mbit/s
-více threadů jede rychleji podle toho, kolik storage padů čte, nebo 
zapisuje současně (storage pady jsou připojene přes iSCSI) a jedou jako 
SCSI, to znamená, že se nečeká na vyplnění příkazů jednotlivým iSCSI 
diskům. Pokud se v rámci jednoho storage padu čte z více RAID naráz, 
rychlost opět vzroste (asi o 30 procent). Některá redundanční opatření 
jsou zároveň efektivní i co do zvýšení rychlosti, i když v některých 
případech komplikují konfiguraci (například redundance propojovací sítě 
s nutností dynamického routování a pod.).

Snad to tak bude stačit. Pokud máte ještě víc dotazů, budu se je snažit 
je zodpovědět.

IH

Dne 28.12.2012 1:52, jan.martinu na post.cz napsal(a):
> DV,
>
> me zajima technologicke reseni (pouzite produkty ze sveta OSS) te 
> redundance. V/V (IOPS) neni o rychlosti pres sit ani o rychlosti v 
> sekvencnich operacich, muze se stat, ze Vam tam potece nekolik Mbps a 
> presto storage nebude stihat prave kuli dosazeni max. poctu V/V, proto 
> se zajimam, jak to resite? Ale rozumim, ze pokdu jste na to nenarazil 
> jako na problem, ze to proste neni treba resit :-)
>
> Diky.
>
> JM
>
> Dne 27.12.2012 08:11, Ivo [Bear] Hanuska napsal(a):
>> Já něco podobného provozuju pro velkého zákazníka na jeho HW a 
>> redundance je OK. RAID6 + RAID 1 bohatě stačí. Za těch asi 40 měsíců, 
>> co to první úložiště provozuju se zatím nestalo, že by došlo k 
>> porušení dat (ani zdaleka). Stane se, že v průběhu prvních třiceti 
>> dní po instalaci dojde k "úmrtí" osamocených disků, ale nikdy to 
>> nedošlo tak daleko, jako že by některý RAID 6 spotřeboval všechny 
>> paritní disky a výpadek strany v RAID 1 je věc nevídaná.
>>
>> Prostupnost je reálně přes síť min. 1 gbit/s. Když jsme simulovali 
>> výpadek jedné strany, tak niky výkon neklesl pod 1 gbit/s. Simuloval 
>> jsem všecko možné a i případě rekonstrukce jedné strany se všechno 
>> chovalo korektně a zákazníci (na 155 mbit/s optice) nic nepoznali.
>>
>> IH
>>
>> Dne 27.12.2012 3:00, jan.martinu na post.cz napsal(a):
>>> DV,
>>>
>>> uz mate vymyslenou tu redundanci resp. replikaci v realnem case? A 
>>> co vykon resp. garance propustnosti a V/V operaci?
>>>
>>> JM
>>>
>>> Dne 26.12.2012 18:09, Ivo [Bear] Hanuska napsal(a):
>>>> Dobrý den Vám všem!
>>>> Po vlastních problémech s veřejnými úložišti jsem se rozhodl 
>>>> pokusit se vybudovat veřejný datový sklad pro soukromé osoby i 
>>>> soukromé podnikatele v ČR, popřípadě v EU a pro svůj plán hledám 
>>>> podporu (jak odbornou, tak finanční). Sklad by měl být realizován 
>>>> formou storage cloudu s několika vrstvami redundance dat tak, aby 
>>>> zde uložená data byla přístupna pro své majitele s vekou mírou 
>>>> spolehlivosti.
>>>>
>>>> Sklad by měl pracovat na Linuxových technologiích. Na rozdíl od 
>>>> komerčně orientovaných úložišť, by pro přístup k uloženým datům měl 
>>>> sklad používat pouze standardizované protokoly (jako FTPs, RSYNC, 
>>>> CVS, možná i Bacula, popřípadě jiný protokol) a v nejvyšší míře - 
>>>> pokud možno - open source software. Sklad by měl sloužit, jako 
>>>> bezpečné místo pro data uživatelů. Sklad bude organizován jako 
>>>> nezisková organizace (takže nebude vytvářet zisk a z příjmů bude 
>>>> pokrývat pouze své vlastní náklady) a jeho cenová politika by měla 
>>>> být velmi přátelská pro jeho uživatele.
>>>>
>>>> Lokalita pro umístění skladu je vybrána. Jedná se o místo s 
>>>> několika nezávislými přívody energie i datových sítí s vlastními 
>>>> náhradními zdroji el. energie, které disponuje dostatkem vhodných 
>>>> prostor v Olomouci.
>>>>
>>>> Žádám tímto členy konference, kteří by můj plán chtěli podpořit 
>>>> finančně, nebo jinak, aby mi možnost své podpory sdělili na můj 
>>>> e-mail. Podpora může spočívat například v odborné pomoci, 
>>>> předplacení služeb, předání nepotřebného hardwaru, nebo v jiné 
>>>> oblasti.
>>>>
>>>> Rád bych, aby sklad začal plnit svou funkci v druhé polovině února 
>>>> 2013.
>>>>
>>>> Budu se těšit na Vaše ohlasy!
>>>>
>>>> Ivo Hanuška
>>>> Olomouc
>>
>> _______________________________________________
>> Linux mailing list
>> Linux na linux.cz
>> http://www.linux.cz/mailman/listinfo/linux
>>
>
> _______________________________________________
> Linux mailing list
> Linux na linux.cz
> http://www.linux.cz/mailman/listinfo/linux
>