Bacula a pomalé zálohování

[Jan Krajdl]

iSCSI by mělo být v pohodě - pokud tam pošlu něco přímo ze stroje z baculy, tak zápis jede cca 60Mbps. SANka je nějaký
ne zrovna levný Infortrend s 10Gbps uplinkama, ten by něco dát měl (a kdyby mi to dávalo těch 15MB/s, tak bych se s tim
i spokojil, ale ono to jede 150kB/s :( ). Zkoušel jsem teď přes scp z jednoho z klientů kopírovat na stroj s baculou a
taky v pohodě (jelo to pořád stejně rychle). Ve stroji s Baculou jsou gigový síťovky od Intelu, v klientech nejspíš taky
a na cestě po síti by také žádný šmejd být neměl.

-- 
Jan Krajdl


On Sat, Feb 12, 2011 at 08:06:26PM +0100, Tomáš Koželuh wrote:
> Nemůže být problém přímo v iSCSI? My jsme s tím dost bojovali, ale teď
> nevím, jestli se nejednalo o stroj s Windows. Obecně byl velký problém
> rozumně připojit SANku a zkoušelo se více variant. Případně kopírovat přímo
> data na stroj s Baculou jede jak rychle? Dá se vyloučit problém se sítí
> (síťovky, switche,...)? A to úložiště je co? Má vůbec dostatečnou
> propustnost? Spousta těch levných krabiček má sice gigabit, ale propustnost
> bývá 10-15MB/s.
> 
> > -----Original Message-----
> > From: linux-bounces+mr.death=ipq.cz na linux.cz [mailto:linux-
> > bounces+mr.death=ipq.cz na linux.cz] On Behalf Of Jan Krajdl
> > Sent: Saturday, February 12, 2011 1:50 PM
> > 
> > Ahoj,
> > v práci nasazujeme na zálohování baculu a dostal jsem se do takového
> > problému. Dosud se zálohovaly jen stroje, kde moc
> > dat nebylo a vše bylo v pořádku. V pátek jsem přidal další dva, kde už
> > dat je poněkud více (řádově cca 200GB na
> > stroj). A při zálohování jsem narazil na problém - pustím ručně job v
> > consoli a záloha se spustí. Prvních několik sekund
> > jede vše jak má - data na SD přibývají poměrně rychle, na klientovi je
> > vidět, že proces bacula-fd pracuje. Avšak po
> > chvíli se to rázně zpomalí - bacula-fd se začne flákat (avg 2% CPU) a
> > data tečou strašně pomalu. Občas se stane, že se
> > to zase na chvíli rozjede, ale moc dlouho to netrvá. Záloha takhle pak
> > trvá skoro několik dní.
> > 
> > Co jsem našel na googlu, tak jediná rada bylo používání spoolu. To jsem
> > zkusil, ale výsledek byl stejný.
> > 
> > Co se týče konfigurace, tak directoru a sd mám spolu na jednom stroji.
> > Úložiště pro zálohování je připojeno přes
> > iSCSI. Stroj s directorem je debian squeeze, balíčky z repozitáře. Ze
> > zálohovaných strojů je jeden squeeze a druhý lenny
> > s baculou z backportů. Při zálohování byla zaplá komprese a TLS
> > šifrování - při zkoušení jsem postupně obojí vypnul, ale
> > též se nic nezměnilo (krom toho, že s kompresí se do sd přenese před
> > zpomalením řádově desítky MB, bez komprese pár
> > stovek). Konfigurace kliena v directoru:
> > Client {
> >   Name = posta
> >   Address = posta
> >   FDPort = 9102
> >   Catalog = BaculakCat
> >   Password = "heslo"
> >   File Retention = 1 month
> >   Job Retention = 1 month
> >   AutoPrune = yes
> > #  TLS Enable = yes
> > #  TLS Require = yes
> > #  TLS CA Certificate File = "/etc/bacula/ca.pem"
> > #  TLS Certificate = "/etc/bacula/baculak.pem"
> > #  TLS Key = "/etc/bacula/baculak.key"
> > }
> > Pool {
> >   Name = PostaFullPool
> >   Pool Type = Backup
> >   Recycle = yes
> >   AutoPrune = yes
> >   Label Format = "posta-"
> >   Recycle Current Volume = yes
> >   Recycle Oldest Volume = yes
> >   Volume Retention = 30 days
> >   Volume Use Duration = 1 days
> > }
> > Pool {
> >   Name = PostaIncPool
> >   Pool Type = Backup
> >   Recycle = yes
> >   AutoPrune = yes
> >   Label Format = "posta-"
> >   Recycle Current Volume = yes
> >   Recycle Oldest Volume = yes
> >   Volume Retention = 7 days
> >   Volume Use Duration = 1 days
> > }
> > FileSet {
> >   Name = "Posta Files"
> >   Include {
> >     Options {
> >       signature = MD5
> > #      Compression = GZIP
> >     }
> >     File = /home/exim
> >     File = /var/backups
> >   }
> > }
> > Job {
> >   Name = "PostaFiles"
> >   Pool = PostaFullPool
> >   Incremental Backup Pool = PostaIncPool
> >   Client = "posta"
> >   Type = "Backup"
> >   Level = "Incremental"
> >   FileSet = "Posta Files"
> >   Schedule = "DailyInc"
> >   Storage = BaculakStorage2Servers
> >   Messages = Standard
> > #  Spool Attributes = yes
> > #  Spool Data = yes
> > }
> > 
> > A konfigurace FD na klientovi:
> > Director {
> >   Name = baculak-dir
> >   Password = "heslo"
> >   TLS Enable = no
> > #  TLS Require = yes
> > #  TLS Verify Peer = yes
> > #  TLS Allowed CN = "baculak"
> > #  TLS CA Certificate File = "/etc/bacula/ca.pem"
> > #  TLS Certificate = "/etc/bacula/posta.pem"
> > #  TLS Key = "/etc/bacula/posta.key"
> > }
> > 
> > FileDaemon {                          # this is me
> >   Name = posta-fd
> >   FDport = 9102                  # where we listen for the director
> >   WorkingDirectory = /var/lib/bacula
> >   Pid Directory = /var/run/bacula
> >   Maximum Concurrent Jobs = 20
> >   FDAddress = ip
> > #  TLS Enable = no
> > #  TLS Require = yes
> > #  TLS CA Certificate File = "/etc/bacula/ca.pem"
> > #  TLS Certificate = "/etc/bacula/posta.pem"
> > #  TLS Key = "/etc/bacula/posta.key"
> > }
> > 
> > Messages {
> >   Name = Standard
> >   director = baculak-dir = all, !skipped, !restored
> > }
> > 
> > Výkonnově by nic nikde bránit nemělo - síť je propustná dost, QoS na ní
> > není, CPU na stroji s directorem je OK, I/O v
> > pořádku na obou strojích. Nesetkal se někdo s tím, případně neví, co by
> > mohlo zálohování takhle drasticky zpomalit?
>